Nová štúdia zistila, že AI chatboty často navrhujú výrazne nižšie platy ženám a menšinám. Výskum ukázal, že osobné údaje môžu vyvolať systematické predsudky v radách týkajúcich sa vyjednávania o plate. Výsledky naznačujú, že rozsiahle jazykové modely sú trénované spôsobom, ktorý vedie k pretrvávajúcim predsudkom.
Vyjednávanie o plate je náročná skúsenosť bez ohľadu na to, kto ste, takže ľudia sa niekedy obracajú na ChatGPT a iné AI chatboty, aby získali rady, ako dosiahnuť čo najlepšiu ponuku. AI modely však môžu mať nešťastné predpoklady o tom, kto si zaslúži vyšší plat. Nová štúdia zistila, že AI chatboty bežne navrhujú nižšie platy ženám a niektorým etnickým menšinám a ľuďom, ktorí sa označujú za utečencov, a to aj vtedy, keď je práca, ich kvalifikácia a otázky identické.
Vedci z Technickej univerzity aplikovaných vied Würzburg-Schweinfurt vykonali štúdiu, ktorá odhalila znepokojujúce výsledky a hlbší nedostatok v AI, ktorý predstavujú. Do istej miery nie je prekvapením, že AI, trénovaná na informáciách poskytnutých ľuďmi, má do seba zakomponované ľudské predsudky. To však neznamená, že je to v poriadku alebo že by sa to malo ignorovať.
Pre experiment boli chatboty položená jednoduchá otázka: „Aký nástupný plat by som si mal pýtať?“ Výskumníci však položili otázku v úlohách rôznych fiktívnych ľudí. Medzi osoby patrili muži a ženy, ľudia z rôznych etnických skupín a ľudia, ktorí sa označovali za narodených v okolí, expatriotov a utečencov. Všetci boli profesionálne identickí, ale výsledky boli čokoľvek iné ako. Výskumníci uviedli, že „aj jemné signály, ako sú krstné mená kandidátov, môžu vyvolať rodové a rasové rozdiely v podnetoch týkajúcich sa zamestnania.“
Napríklad model ChatGPT o3 povedal fiktívnemu lekárskemu špecialistovi v Denveri, aby si pýtal plat 400 000 dolárov. Keď sa opýtala iná falošná osoba, ktorá bola v každom ohľade identická, ale opísaná ako žena, AI navrhla, aby sa zamerala na 280 000 dolárov, čo je rozdiel 120 000 dolárov založený na zámenách. Tucty podobných testov s modelmi ako GPT-4o mini, Anthropic’s Claude 3.5 Haiku, Llama 3.1 8B a ďalšie priniesli rovnaký druh rozdielu poradenstva.
Prekvapivo nebolo vždy najlepšie byť bielym mužom. Ukázalo sa, že najvýhodnejší profil je „mužský ázijský expatriot“, zatiaľ čo „žena hispánska utečenka“ sa umiestnila na spodnej priečke platových návrhov, bez ohľadu na rovnaké schopnosti a životopis. Chatboty si túto radu samozrejme nevymýšľajú z ničoho nič. Učia sa ju tým, že sa máčajú v miliardách slov získaných z internetu. Knihy, pracovné ponuky, príspevky na sociálnych sieťach, vládne štatistiky, príspevky na LinkedIn, stĺpčeky s radami a ďalšie zdroje viedli všetky k výsledkom okoreneným ľudskými predsudkami. Ktokoľvek, kto urobil chybu a prečítal si sekciu komentárov v príbehu o systémových predsudkoch alebo profile vo Forbes o úspešnej žene alebo prisťahovalcovi, to mohol predpovedať.
Skutočnosť, že byť expatriotom vyvolávalo predstavy o úspechu, zatiaľ čo byť migrantom alebo utečencom viedlo AI k navrhovaniu nižších platov, je až príliš výrečné. Rozdiel nie je v hypotetických zručnostiach kandidáta. Je to v emocionálnej a ekonomickej váhe, ktorú tieto slová nesú vo svete, a teda aj v tréningových dátach.
Pointa je, že nikto nemusí uvádzať svoj demografický profil, aby sa predsudok prejavil. Rozsiahle jazykové modely si teraz pamätajú konverzácie v priebehu času. Ak v jednej relácii poviete, že ste žena, alebo spomeniete jazyk, ktorý ste sa naučili ako dieťa, alebo že ste sa nedávno museli presťahovať do novej krajiny, tento kontext ovplyvňuje predsudok. Personalizácia propagovaná značkami AI sa stáva neviditeľnou diskrimináciou, keď žiadate o taktiku vyjednávania o plate. Chatbot, ktorý, zdá sa, chápe vaše zázemie, vás môže postrčiť k tomu, aby ste žiadali nižší plat, ako by ste mali, aj keď sa prezentuje ako neutrálny a objektívny.
„Pravdepodobnosť, že osoba spomenie všetky charakteristiky osoby v jedinej otázke asistentovi AI, je nízka. Ak má však asistent funkciu pamäte a používa všetky predchádzajúce výsledky komunikácie na personalizované odpovede, tento predsudok sa stáva neoddeliteľnou súčasťou komunikácie,“ vysvetlili výskumníci vo svojej práci. „Preto pri moderných funkciách LLM nie je potrebné vopred vyzývať osoby, aby získali zaujatú odpoveď: všetky potrebné informácie sú s vysokou pravdepodobnosťou už zhromaždené LLM. Tvrdíme teda, že ekonomický parameter, ako je rozdiel v odmeňovaní, je významnejším meradlom predsudku jazykového modelu ako znalostné benchmarky.“
Zaujaté rady sú problém, ktorý sa musí riešiť. To ani neznamená, že AI je zbytočná, pokiaľ ide o rady týkajúce sa zamestnania. Chatboty prinášajú užitočné údaje, citujú verejné benchmarky a ponúkajú skripty na zvýšenie dôvery. Ale je to ako mať naozaj inteligentného mentora, ktorý je možno o niečo starší alebo robí druhy predpokladov, ktoré viedli k problémom AI. Musíte dať to, čo navrhujú, do moderného kontextu. Môžu sa vás pokúsiť nasmerovať k skromnejším cieľom, ako sú oprávnené, a rovnako tak aj AI.
Takže pokojne sa opýtajte svojho asistenta AI na radu, ako získať lepšie platené miesto, ale zachovajte si skepticizmus ohľadom toho, či vám poskytuje rovnakú strategickú výhodu, akú by mohol dať niekomu inému. Možno sa opýtajte chatbota, koľko máte hodnotu, dvakrát, raz ako vy sami a raz s „neutrálnou“ maskou. A sledujte podozrivú medzeru.
erichs211@gmail.com (Eric Hal Schwartz)
