Gemini v službe Workspace predstavuje jedinečné príležitosti pre podvody, varujú výskumníci. Nástroj umelej inteligencie (AI) môže byť oklamaný tak, aby zobrazoval falošné bezpečnostné varovania.
Firmy by sa mali uistiť, že neviditeľný text nie je spracovávaný AI. Kyberzločinci našli kreatívny nový spôsob, ako zneužiť generatívnu umelú inteligenciu (GenAI) spoločnosti Google na krádež účtov Gmail.
Google pred nejakým časom integroval Gemini, svojho chatbot asistenta poháňaného AI, do sady produktívnych aplikácií Workspace. Jednou z funkcií Gemini je sumarizácia prichádzajúcich e-mailov. Keď osoba dostane e-mail, môže na pravej strane obrazovky vyvolať vertikálny panel a požiadať Gemini o pomoc s rôznymi vecami, ako je zobrazenie dôležitých informácií z e-mailu, pridávanie kalendárových záznamov a podobne.
Odborníci však varovali, že to otvára účty Gmail aj pre takzvané „prompt-injection“ útoky. Ak prichádzajúca e-mailová správa obsahuje skrytý príkaz pre Gemini, môže byť vykonaný v paneli.
Môže Gemini získavať váš heslo?
Podľa bezpečnostného výskumníka Marca Figuerou je to presne to, čomu je e-mailový poskytovateľ teraz náchylný. Pomocou HTML a CSS môžu útočníci pridať príkaz pre Gemini s veľkosťou písma nastavenou na nulu a farbou na bielu. Obete ho preto neuvidia, ale Gemini naň bude reagovať. Ak tento príkaz spôsobí, že Gemini zobrazí phishingovú správu, presne to urobí, a keďže správa by pochádzala z dôveryhodného zdroja, zvyšuje to šance na úspech.
Figueroa ukázal, ako by škodlivý príkaz mohol obeť upozorniť, že ich e-mailový účet bol kompromitovaný a že musia „zavolať“ spoločnosti Google na telefónne číslo zobrazené v správe, aby problém vyriešili.
Na ochranu pred budúcimi útokmi prompt-injection by spoločnosti mali zabezpečiť, aby ich e-mailoví klienti odstránili, neutralizovali alebo ignorovali obsah, ktorý je štylizovaný tak, aby bol skrytý v tele textu. Okrem toho by mohli pridať post-processingový filter, ktorý skenuje schránku na „urgentné správy“, URL adresy alebo telefónne čísla.
Firmy by mali vzdelávať svojich zamestnancov, že súhrny poskytované nástrojom Gemini by nemali nahrádzať bezpečnostné upozornenia.
