ChatGPT nedokáže rozlíšiť, či bola stránka napadnutá, vypršala alebo bola premenená na kasínový spam.
Odpovede generované umelou inteligenciou sa môžu zdať dôveryhodné, aj keď citujú úplne prevzaté a falošné zdroje.
Expirované charitatívne domény sa znovuzrodili ako stránky hazardných hier a stále prechádzajú ako dôveryhodné zdroje umelej inteligencie.

ChatGPT sa rýchlo stáva obľúbeným zdrojom pre ľudí, ktorí hľadajú odporúčania, od online služieb až po miestne podniky, ale nové dôkazy naznačujú, že jeho návrhy generované umelou inteligenciou nemusia byť vždy založené na dôveryhodných zdrojoch.

V skutočnosti niektoré pochádzajú z webových stránok, ktoré boli buď napadnuté, alebo ktorých domény vypršali a boli premenené, často na propagáciu online kasín a platforiem hazardných hier.

James Brockbank dokumentuje už niekoľko mesiacov ako rozsiahly sa tento problém stal, a odhaľuje prípady, keď ChatGPT cituje obsah zo stránok, ktoré boli evidentne zmanipulované.

Využívanie medzier vo validácii zdrojov AI

V jednom prípade mala webová stránka fungujúcej právnickej praxe, ktorú prevádzkovala právnička Veronica T. Barton, na svojich stránkach skryté odporúčania pre britské kasína.

„Ich stránka bola napadnutá a táto stránka pridaná,“ poznamenal Brockbank po preskúmaní dôkazov.

V ďalšom prípade bola stránka, ktorá bola kedysi spojená s mládežníckou koalíciou Organizácie Spojených národov, premenená na platformu presadzujúcu „kasína mimo GamStop“.

Hoci zoznam, ktorý hostila, obsahoval iba jeden externý odkaz, viedol k ďalšej premenenej doméne.

Vzor pokračoval s vypršanými doménami, vrátane jednej, ktorá patrila zaniknutej umeleckej charite, ktorú predtým uvádzali BBC, CNN a Bloomberg.

Táto doména, ktorá teraz presadzuje hazardný obsah, bola citovaná ChatGPT v odpovedi na otázku týkajúcu sa kasín bez vkladu.

Tieto taktiky využívajú slabiny v tom, ako ChatGPT vyberá a cituje zdroje, pretože na rozdiel od tradičných vyhľadávačov modelu chýbajú mechanizmy na overenie legitimity vlastníctva alebo redakčného zámeru stránky.

Výsledkom je, že obsah vložený na kompromitované webové stránky sa môže objaviť v jeho odpovediach bez akýchkoľvek zjavných varovných signálov pre používateľa.

Zdá sa, že ChatGPT uprednostňuje nedávny obsah a stále pripisuje autoritu na základe dedičstva domény, aj keď obsah domény nemá žiadnu kontinuitu so svojou minulosťou – čo otvára dvere pre zlých aktérov, aby manipulovali s viditeľnosťou prostriedkami, ktoré majú málo spoločného s dôveryhodnosťou.

Podstatou je, že používatelia, ktorí sa obracajú na ChatGPT pre odporúčania, by nemali predpokladať, že každá odpoveď je podporená dôveryhodným zdrojom.

Rýchla kontrola autority citovanej stránky, jej histórie, vlastníctva a relevantnosti môže výrazne prispieť k tomu, aby sa predišlo zavádzajúcim alebo škodlivým návrhom.