Využitie umelej inteligencie v zdravotníctve má potenciál ušetriť čas, peniaze a životy. Avšak, keď sa do starostlivosti o pacientov zavádza technológia, ktorá je známa tým, že občas klame, vznikajú aj vážne riziká.

Jeden pacient z Londýna nedávno zažil, aké vážne tieto riziká môžu byť, keď dostal list s pozvánkou na skríning diabetickej retinopatie – štandardnú ročnú prehliadku pre ľudí s cukrovkou vo Veľkej Británii. Problém bol v tom, že mu nikdy nediagnostikovali cukrovku a nejavil žiadne známky tohto ochorenia.

Po otvorení listu s termínom neskoro večer sa pacient, zdravý muž v stredných dvadsiatich rokoch, krátko obával, že mu bola nevedome diagnostikovaná táto choroba, potom dospel k záveru, že list musí byť len administratívna chyba. Nasledujúci deň, na vopred dohodnutom bežnom krvnom teste, sestra spochybnila diagnózu a keď pacient potvrdil, že nemá cukrovku, obaja preskúmali jeho zdravotnú anamnézu.

Ukázal mi poznámky v systéme, a to boli zhrnutia generované umelou inteligenciou. Vtedy som si uvedomil, že sa deje niečo čudné,“ povedal pacient, ktorý požiadal o anonymitu, aby mohol hovoriť o súkromných zdravotných informáciách.

Po vyžiadaní a preskúmaní celej svojej zdravotnej dokumentácie si pacient všimol, že záznam, ktorý zaviedol diagnózu cukrovky, bol uvedený ako zhrnutie, ktoré „vygenerovala Annie AI.“ Záznam sa objavil približne v čase, keď bol v nemocnici so závažným prípadom angíny. Záznam sa však o angíne nezmieňoval. Namiesto toho uvádzal, že mal bolesti na hrudníku a dýchavičnosť, pripisované „pravdepodobnej angíne pectoris v dôsledku koronárnej choroby tepien.“ V skutočnosti nemal žiadne z týchto príznakov.

Záznamy tiež uvádzali, že pacientovi bola koncom minulého roka diagnostikovaná cukrovka 2. typu a v súčasnosti užíva sériu liekov. Obsahovali aj údaje o dávkovaní a spôsobe podávania liekov. Podľa pacienta a niekoľkých ďalších zdravotných záznamov však ani jeden z týchto údajov nebol presný.

„Zdravotnícka nemocnica“ v „Zdravotnom meste“

Ešte zvláštnejšie bolo, že záznam pripisoval adresu zdravotníckeho dokumentu, ktorý spracovával, fiktívnej „Zdravotníckej nemocnici“ so sídlom na „456 Care Road“ v „Zdravotnom meste.“ Adresa obsahovala aj vymyslené poštové smerovacie číslo.

Zástupca NHS, Dr. Matthew Noble, povedal, že praktický lekár zodpovedný za dohľad využíva „obmedzené používanie kontrolovanej AI“ a chyba bola „jednorazový prípad ľudskej chyby.“ Uviedol, že zdravotnícky sumarizátor pôvodne spozoroval chybu v pacientovom zázname, ale bol vyrušený a „nedopatrením uložil pôvodnú verziu namiesto aktualizovanej verzie, na ktorej pracoval.“

Zdá sa však, že fiktívny záznam, ktorý vygenerovala AI, mal následky, pretože pozvánka pacienta na skríning diabetickej retinopatie bola pravdepodobne založená na chybných údajoch.

Zatiaľ čo väčšinu nástrojov AI používaných v zdravotníctve monitoruje prísny ľudský dohľad, ďalší pracovník NHS povedal, že skok od pôvodných príznakov – angíny – k tomu, čo bolo vrátené – pravdepodobnej angíny pectoris v dôsledku koronárnej choroby tepien – vyvolal poplach.

„Tieto chyby spôsobené ľudskou chybou sú pomerne nevyhnutné, ak máte systém AI, ktorý vytvára úplne nepresné zhrnutia,“ uviedol zamestnanec NHS. „Mnoho starších alebo menej gramotných pacientov si nemusí ani uvedomiť, že existuje problém.“

Spoločnosť, ktorá stojí za technológiou, Anima Health, neodpovedala na otázky o tomto probléme. Dr. Noble však povedal: „Anima je systém správy dokumentov schválený NHS, ktorý pomáha zamestnancom praxe pri spracovaní prichádzajúcich dokumentov a riešení akýchkoľvek potrebných úloh.“

„Žiadne dokumenty nie sú spracovávané AI, Anima len navrhuje kódy a zhrnutie ľudskému posudzovateľovi s cieľom zlepšiť bezpečnosť a efektívnosť. Každý dokument vyžaduje pred prijatím opatrení a uložením kontrolu človekom,“ dodal.

Nervózne zavádzanie AI do zdravotníctva

Incident je do istej miery symbolický pre rastúce problémy súvisiace so zavádzaním AI do zdravotníctva. Keďže sa nemocnice a praktickí lekári usilujú o zavedenie automatizačných nástrojov, ktoré sľubujú uľahčenie pracovného zaťaženia a zníženie nákladov, zároveň sa potýkajú s výzvou integrácie technológie, ktorá stále dozrieva, do prostredia s vysokými stávkami.

Tlak na inovácie a potenciálne záchranu životov pomocou tejto technológie je vysoký, ale rovnako dôležitá je aj potreba prísneho dohľadu, najmä keď nástroje, ktoré sa kedysi považovali za „pomocné“, začínajú ovplyvňovať skutočnú starostlivosť o pacientov.

Spoločnosť Anima Health sľubuje zdravotníckym pracovníkom, že „ušetria hodiny denne prostredníctvom automatizácie.“ Spoločnosť ponúka služby vrátane automatického generovania „komunikácie s pacientmi, klinických poznámok, administratívnych požiadaviek a administratívnych úkonov, s ktorými sa lekári denne stretávajú.“

Nástroj AI spoločnosti Anima, Annie, je zaregistrovaný u britskej agentúry pre reguláciu liekov a zdravotníckych výrobkov (MHRA) ako zdravotnícka pomôcka triedy I. To znamená, že sa považuje za nízkorizikovú a je určená na pomoc klinickým lekárom, ako sú vyšetrovacie svetlá alebo obväzy, skôr ako na automatizáciu lekárskych rozhodnutí.

Nástroje AI v tejto kategórii vyžadujú, aby výstupy pred prijatím opatrení alebo zadaním položiek do záznamu pacienta posúdil klinický lekár. V prípade nesprávnej diagnózy pacienta sa však zdalo, že prax primerane neriešila faktické chyby predtým, ako boli pridané do záznamov pacienta.

K incidentu dochádza uprostred zvýšenej kontroly používania a kategorizácie technológií AI v rámci britskej zdravotníckej služby. Vedúci pracovníci zdravotníckej služby minulý mesiac varovali praktických lekárov a nemocnice, že niektoré súčasné spôsoby používania softvéru AI by mohli porušovať pravidlá ochrany údajov a ohrozovať pacientov.

NHS England varovala, že neschválený softvér AI, ktorý porušuje minimálne štandardy, by mohol ohroziť pacientov. List sa konkrétne zaoberal používaním technológie Ambient Voice Technology, alebo „AVT“ u niektorých lekárov.

Hlavným problémom pri prepisovaní alebo sumarizácii informácií AI je manipulácia s pôvodným textom, povedal profesor medicínskej informatiky a rozhodovania na Imperial College London a praktický lekár Brendan Delaney.

Nedávne usmernenie vydané NHS však znamenalo, že niektoré spoločnosti a praktiky dobiehajú regulačné resty.

Či by sa zariadenie malo definovať ako lekárska pomôcka triedy 2a, závisí v podstate od jeho zamýšľaného účelu a úrovne klinického rizika. Podľa britských pravidiel pre zdravotnícke pomôcky, ak sa na výstup nástroja spolieha pri informovaní o rozhodnutiach v starostlivosti, môže byť potrebné preklasifikovať ho ako zdravotnícku pomôcku triedy 2a, kategóriu podliehajúcu prísnejším regulačným kontrolám.

Spoločnosť Anima Health, spolu s ďalšími britskými spoločnosťami v oblasti zdravotníckych technológií, v súčasnosti usiluje o registráciu triedy 2a.

Snaha Spojeného kráľovstva o AI pre zdravie

Britská vláda prijíma možnosti AI v zdravotníctve a dúfa, že by mohla posilniť národný systém zdravotnej starostlivosti v krajine.

Britská vláda uviedla, že jej cieľom je, aby sa NHS stal najviac AI systémom starostlivosti na svete, pričom táto technológia sa má využívať na zníženie administratívnej záťaže, podporu preventívnej starostlivosti a posilnenie postavenia pacientov prostredníctvom technológie.

Ale zavádzanie tejto technológie spôsobom, ktorý spĺňa súčasné pravidlá v rámci organizácie, je zložité. Zdá sa, že dokonca aj britský minister zdravotníctva už skôr v tomto roku naznačil, že niektorí lekári možno posúvajú hranice, pokiaľ ide o integráciu AI technológie do starostlivosti o pacientov.

“Počul som neoficiálne v krčme, naozaj v krčme, že niektorí klinickí lekári sú vpredu a už používajú ambientnú AI na nahrávanie poznámok a podobne, aj keď ich prax alebo ich dôvera ich ešte nedohnali,“ povedal Wes Streeting.

“Teraz je tam veľa problémov – nepodporujeme to – ale hovorí mi to, že na rozdiel od toho, že ‘ach, ľudia sa nechcú meniť, zamestnanci sú veľmi spokojní a naozaj sa bránia zmenám’, je to naopak. Ľudia požiadavky na tieto veci,” dodal.

Technológia AI má určite obrovské možnosti na dramatické zlepšenie rýchlosti, presnosti a prístupu k starostlivosti, najmä v oblastiach, ako je diagnostika, vedenie lekárskych záznamov a oslovovanie pacientov v nedostatočne vybavených alebo odľahlých oblastiach. Prekračovanie hranice medzi potenciálom a rizikami technológie je však ťažké v odvetviach, ako je zdravotníctvo, ktoré sa zaoberajú citlivými údajmi a môžu spôsobiť značné škody.

Pri hodnotení svojej skúsenosti pacient povedal, že vo všeobecnosti si myslí, že by sme mali používať nástroje AI na podporu NHS. Má obrovský potenciál na úsporu peňazí a času. Avšak LLM sú stále skutočne experimentálne, takže by sa mali používať s prísnym dohľadom. Nechcel by som, aby sa to použilo ako výhovorka na to, aby sa neuskutočňovali inovácie, ale namiesto toho by sa to malo použiť na zdôraznenie toho, kde je potrebná opatrnosť a dohľad.

Beatrice Nolan