Malvérové podnety zostávajú neviditeľné, kým zmenšenie obrazu neodhalí skryté inštrukcie.
Útok funguje na princípe zneužitia spôsobu, akým AI prevzorkováva nahraté obrázky.
Bikubická interpolácia môže odhaliť čierny text zo špeciálne vytvorených obrázkov.
S tým, ako sa nástroje AI viac integrujú do každodennej práce, bezpečnostné riziká s nimi spojené sa tiež vyvíjajú novými smermi.
Výskumníci preukázali metódu, kde sú malvérové podnety skryté v obrázkoch a následne odhalené počas spracovania rozsiahlymi jazykovými modelmi.
Technika využíva spôsob, akým AI platformy zmenšujú obrázky pre efektívnosť, čím odhaľujú vzory, ktoré sú v ich pôvodnej forme neviditeľné, ale čitateľné pre algoritmus po zmene veľkosti.
Skryté inštrukcie v zmenšených obrázkoch.
Myšlienka vychádza z článku z roku 2020 z TU Braunschweig v Nemecku, ktorý naznačil, že zmena mierky obrazu by sa mohla použiť ako útočná plocha pre strojové učenie.
Ukázalo sa, ako vytvorené obrázky môžu manipulovať so systémami, vrátane Gemini CLI, Vertex AI Studio, Google Assistant na Android a webového rozhrania Gemini.
V jednom prípade boli údaje z Kalendára Google odoslané na externú e-mailovú adresu bez súhlasu používateľa, čo zdôrazňuje reálny potenciál hrozby.
Útok využíva metódy interpolácie, ako je najbližší sused, bilineárne alebo bikubické prevzorkovanie.
Keď je obrázok zámerne pripravený, zmenšenie mierky zavádza artefakty aliasingu, ktoré odhaľujú skrytý text.
V ukážke sa tmavé oblasti posunuli počas bikubického prevzorkovania, aby zobrazili skrytý čierny text, ktorý potom LLM interpretoval ako vstup používateľa.
Z pohľadu používateľa sa nič neobvyklé nedeje. Avšak v zákulisí model sleduje vložené inštrukcie spolu s legitímnymi podnetmi.
Na ilustráciu rizika bol vytvorený „Anamorpher“, nástroj s otvoreným zdrojovým kódom, ktorý generuje takéto obrázky pre rôzne metódy škálovania.
Ukazuje to, že hoci je prístup špecializovaný, mohol by byť zopakovaný inými, ak chýbajú obranné mechanizmy.
Útok vyvoláva otázky o dôvere v multimodálne systémy AI, pretože mnohé platformy sa teraz na ne spoliehajú pri bežnej práci a jednoduché nahranie obrázka by mohlo potenciálne spustiť neúmyselný prístup k údajom.
Nebezpečenstvo krádeže identity nastáva, ak súkromné alebo citlivé informácie uniknú týmto spôsobom.
Keďže tieto modely sa často spájajú s kalendármi, komunikačnými platformami alebo nástrojmi pracovného toku, riziko sa rozširuje do širších kontextov.
Na zmiernenie tohto rizika musia používatelia obmedziť vstupné rozmery, prezerať si zmenšené výsledky a vyžadovať explicitné potvrdenie pre citlivé volania nástrojov.
Tradičné obrany, ako sú firewally, nie sú vytvorené na identifikáciu tejto formy manipulácie, čo ponecháva medzeru, ktorú môžu útočníci nakoniec využiť.
Zdôrazňuje sa, že iba vrstvené bezpečnostné balíky a silnejšie návrhové vzory môžu spoľahlivo obmedziť takéto riziká.
„Najsilnejšou obranou je však implementácia bezpečných návrhových vzorov a systematických obrán, ktoré zmierňujú účinné vkladanie podnetov nad rámec multimodálneho vkladania podnetov,“ uviedli výskumníci.
