De ce halucinează AI-ul și bate câmpii?

Un studiu recent realizat de cercetători de la OpenAI și Georgia Tech explică direct de ce modelele de inteligență artificială, precum ChatGPT, „halucinează” – adică inventează răspunsuri care sună convingător, dar sunt complet false. Halucinațiile nu sunt accidente bizare, ci o trăsătură structurală. Modelele de limbaj sunt antrenate să continue un text în mod coerent, nu să spună adevărul. Sunt optimizate pentru fluență, nu pentru factualitate. Sa macane ceva. Aia conteaza

Mai concret, AI-ul învață să prezică următorul cuvânt pe baza unui șir de cuvinte anterioare, într-un proces complet statistic. Nu știe ce e adevărat sau fals, pentru că nu înțelege conținutul în sens uman. Când întrebarea are un grad mare de incertitudine sau nu a fost acoperită suficient în datele de antrenament, modelul „ghicește”. Problema e că o face cu un ton convingător, ca și cum ar fi sigur de ce spune. Din perspectiva lui, un răspuns „probabil” e mai bun decât „nu știu”.

De fapt, exact aici e buba: modelele nu sunt învățate să spună „nu știu”. În timpul antrenamentului, nu sunt recompensate pentru sinceritate, ci pentru capacitatea de a livra ceva ce „sună bine”. Așa ajung să inventeze citate, persoane, studii sau evenimente. Efectul devine și mai pronunțat la modelele mari, precum GPT‑4 sau GPT‑4o. Cu cât sunt mai fluente și mai complexe, cu atât halucinează mai elegant. Vorbesc frumos și mint convingător.

Sam Altman, CEO-ul OpenAI, a recunoscut public că e îngrijorat de încrederea oarbă pe care unii oameni o au în AI. El a spus clar că aceste modele nu trebuie tratate ca fiind infailibile și că riscul e mare atunci când sunt folosite în contexte care cer acuratețe: sănătate, drept, educație. Verificati!

În plus, studiul arată că halucinațiile pot apărea și dintr-un alt motiv subtil: dacă în datele de antrenament s-au aflat texte greșite, contradictorii sau inventate (de pe internet, evident), AI-ul le absoarbe și le reproduce. Modelele de limbaj nu sunt „curate”, ci o reflectare a tot ce li s-a dat să „citească” – inclusiv fake news, opinii aberante și speculații prezentate ca fapte.

Pentru a limita problema, cercetătorii propun mai multe soluții. Una este să li se permită modelelor să spună explicit „nu știu”. Alta este integrarea surselor externe, prin care AI-ul să verifice ce afirmă înainte să livreze un răspuns. Se lucrează și la ideea unui model „corector”, care să detecteze halucinațiile în outputul celuilalt model. Dar toate aceste metode sunt încă în stadiu experimental.

În concluzie, AI-ul halucinează pentru că așa a fost crescut: să nu tacă, ci să pară deștept. Când nu știe, inventează. Când greșește, o face convingător. Iar până când modelele vor fi evaluate și după cât de sincer știu să spună „nu știu”, tot omul rămâne singura barieră reală între o frază bine scrisă și o prostie spusă frumos.