Halucinácie jazykových modelov a nástup automatizovaného uvažovania
Transformátorové jazykové modely (LLM) sú známe svojou schopnosťou „halucinovať“, teda vytvárať informácie, ktoré nemusia byť fakticky presné. Hoci sa to môže zdať ako nedostatok, táto vlastnosť je základom ich fungovania. Práve prostredníctvom halucinácií dokážu LLM nachádzať spojenia medzi zdanlivo nesúrodými konceptmi. Problém nastáva, keď sa tieto modely používajú v oblastiach, kde je presnosť faktov kritická, ako sú zdravotnícke politiky alebo generovanie kódu. V kontexte agentovej umelej inteligencie, kde autonómne systémy môžu vykonávať nezvratné činnosti, sa riziko ešte zvyšuje.
Našťastie existujú metódy, ako zabezpečiť, aby sa systémy umelej inteligencie riadili pravidlami. Jednou z nich je automatizované uvažovanie (niekedy označované ako symbolická AI). Táto oblasť sa zameriava na hľadanie rigoróznych dôkazov v matematickej logike, aby sa určila pravdivosť alebo nepravdivosť na základe axiomicky definovaných pravidiel. Nejde o odhady alebo pravdepodobnosti, ale o matematické dôkazy, ktoré sa hľadajú algoritmickým spôsobom. Symbolická AI využíva základy položené Aristotelom, Boolom a Fregem a rozvinuté modernými mysliteľmi ako Claude Shannon a Alan Turing.
Automatizované uvažovanie nie je len teória. Má dlhú históriu priemyselného využitia. V 90. rokoch sa začalo s overovaním nízkoúrovňových obvodov v reakcii na chybu FDIV. Neskôr sa používalo v bezpečnostne kritických systémoch spoločností Airbus a NASA. Dnes sa čoraz viac uplatňuje v neurosymbolickej AI. Napríklad spoločnosť Leibniz AI používa formálne uvažovanie v oblasti práva, zatiaľ čo spoločnosť Atalanta ho aplikuje na problémy v oblasti vládnych zákaziek. Systém AlphaProof od spoločnosti Deepmind negeneruje falošné argumenty v matematike, pretože používa dokazovač viet Lean. Ďalej, CodeLogician od spoločnosti Imanda neumožňuje syntetizovať programy, ktoré by porušovali pravidlá používania API, pretože tiež používa nástroje automatizovaného uvažovania. Funkcia Automated Reasoning u spoločnosti Amazon kontroluje pravdivosť výrokov pomocou automatizovaného uvažovania a axiomatických formalizácií, ktoré si môžu definovať zákazníci. Pre organizácie, ktoré chcú rozšíriť svoju prácu pomocou AI a zároveň mať dôveru v jej výstupy, môžu byť logické dedukčné schopnosti automatizovaných nástrojov použité na zabezpečenie toho, že interakcie prebiehajú v rámci definovaných obmedzení a pravidiel.
Kľúčovou vlastnosťou automatizovaného uvažovania je, že ak nedokáže dokázať platnosť odpovede, prizná „neviem“ namiesto vymýšľania si informácií. V mnohých prípadoch dokáže nástroj poukázať aj na konfliktnú logiku, ktorá mu bráni dokázať alebo vyvrátiť tvrdenie s istotou, a ukázať odôvodnenie za jeho rozhodnutiami.
Automatizované nástroje sú zvyčajne lacné na prevádzku, najmä v porovnaní s transformátorovými nástrojmi náročnými na energiu. Je to preto, že operujú len symbolicky s tým, čo je pravdivé a nepravdivé. Nevykonávajú náročné výpočty ani maticové násobenia na GPU. Premýšľajte o problémoch ako „riešenie pre x“ z hodín matematiky. Keď prepíšeme x+y na y+x, alebo x(y+z) na xy + xz, uvažujeme o nekonečne, pričom robíme len niekoľko jednoduchých krokov. Tieto kroky sa dajú ľahko vykonať za milisekundy na počítači.
Je pravda, že aplikácia matematickej logiky nie je univerzálnym riešením pre všetky problémy v AI. Napríklad by sme boli skeptickí voči axiomatizácii toho, čo robí pieseň alebo báseň „dobrou“. Taktiež by sme spochybňovali nástroje, ktoré tvrdia, že matematickou logikou dokážu, že sa náš domáci kotol nepokazí. Ale v aplikáciách, kde dokážeme axiomaticky definovať množinu pravdivých a nepravdivých tvrdení v danej oblasti (napr. nárok na rodinnú lekársku dovolenku alebo správne používanie softvérovej knižnice), tento prístup ponúka praktický spôsob, ako bezpečne nasadiť AI v kritických oblastiach, kde je presnosť prvoradá.
Používanie automatizovaných nástrojov si v minulosti vyžadovalo hlboké matematické znalosti, ale rastúca sila generatívnej AI ich sprístupňuje širšiemu publiku. Používatelia môžu vyjadriť pravidlá v prirodzenom jazyku a automaticky overovať výstupy AI proti týmto pravidlám. Mnohé jazykové modely sú trénované na výstupoch nástrojov automatizovaného uvažovania (často v kombinácii s posilňovaním). Kľúčom je začať s jasnými prípadmi použitia, ktoré možno presne definovať, ako je kódovanie, HR politiky a daňové zákony. Je to tiež aplikovateľné v oblastiach, kde skutočne záleží na overení, ako je bezpečnosť, dodržiavanie predpisov a cloudová infraštruktúra.
S tým, ako sa snažíme hlbšie integrovať AI do našich životov, bude schopnosť overiť správnosť a pravdivosť ich činností a výstupov čoraz dôležitejšia. Organizácie, ktoré teraz investujú do automatizovaného uvažovania, budú mať lepšiu pozíciu na bezpečné škálovanie AI a prijatie agentov pri zachovaní kontroly a súladu. Zvážte automatizované uvažovanie na vašom nasledujúcom stretnutí o stratégii AI. Mohlo by to byť kľúčom k nasadeniu AI s istotou vo vašej organizácii a pre vašich zákazníkov.
Byron Cook
