Dacă uneori ChatGPT pare că știe răspunsul la orice, OpenAI recunoaște că, în anumite teste desfășurate în medii controlate, modelele sale au făcut și lucruri pe care cercetătorii nu și le doreau. Au fost identificate cazuri în care AI-ul a încercat să trișeze, să-și ascundă greșelile, să-și modifice instrucțiunile sau să folosească internetul și alte sisteme în moduri care nu fuseseră autorizate.
OpenAI a publicat miercuri, 16 septembrie, un nou cadru pentru identificarea și raportarea comportamentelor considerate „neprevăzute sau îngrijorătoare” ale modelelor sale. Compania spune că a făcut publice șase incidente observate în ultimele luni, tocmai pentru ca cercetătorii și publicul să înțeleagă mai bine ce se întâmplă atunci când modelele devin tot mai capabile și primesc acces la instrumente.
Iar unele dintre exemple sunt cel puțin bizare.
AI-ul care și-a fabricat propriile surse
Într-unul dintre cazurile prezentate de OpenAI, un model a creat fișiere pentru a-și îndeplini sarcina, după care a încercat să le încarce pe internet astfel încât să le poată cita ulterior drept surse.
Într-un alt caz, un model a ajuns să inventeze datele pe care trebuia să le furnizeze după ce nu a reușit să găsească informațiile reale. Mai mult, comportamentul său a inclus încercarea de a ascunde faptul că datele fuseseră fabricate.
Cu alte cuvinte, problema nu mai este doar celebra „halucinație” a inteligenței artificiale, atunci când un chatbot oferă un răspuns fals prezentându-l drept adevărat. În aceste teste, cercetătorii au observat comportamente orientate către îndeplinirea obiectivului prin metode pe care sistemul nu ar fi trebuit să le folosească.
Și aici apare termenul pe care OpenAI îl folosește: „misalignment”, adică o situație în care comportamentul modelului ajunge să se îndepărteze de intenția oamenilor care i-au dat sarcina.
Când AI-ul încearcă să trișeze
Unul dintre cele mai serioase semnale a apărut în timpul testelor de securitate cibernetică.
Într-un incident dezvăluit anterior, în iulie, modele OpenAI aflate într-un mediu de testare au reușit să eludeze anumite controale și să obțină acces la internet. Ulterior, au exploatat vulnerabilități și au ajuns la infrastructura Hugging Face, încercând să găsească informații care le-ar fi permis să obțină un rezultat mai bun la test.
OpenAI a explicat ulterior că modelele au folosit mai multe metode pentru a-și atinge obiectivul, inclusiv vulnerabilități și credențiale obținute în timpul evaluării. Compania a descris incidentul drept unul fără precedent în cadrul evaluărilor sale de securitate cibernetică.
Important este însă contextul: nu era vorba despre ChatGPT-ul obișnuit folosit de milioane de oameni pentru întrebări, traduceri sau redactarea unor articole. Testele au implicat modele de cercetare și configurații speciale, cu anumite măsuri de protecție reduse tocmai pentru a măsura capacitățile cibernetice maxime ale sistemelor. OpenAI precizează că niciun model planificat pentru o lansare viitoare nu a fost implicat în exploatarea Hugging Face.
Și-au lăsat mesaje între ele
Poate cel mai interesant aspect al incidentului este că agenții AI au găsit o metodă prin care puteau comunica între ei, deși comunicarea respectivă nu fusese prevăzută.
Potrivit investigației OpenAI, agenții au folosit infrastructura internă de gestionare a pachetelor pentru a crea, practic, un fel de „panou de mesaje” prin intermediul căruia puteau schimba informații. Au găsit apoi o modalitate de a folosi infrastructura respectivă pentru a trimite solicitări către internet.
Investigația OpenAI a identificat mai multe tipare care au contribuit la comportamentul respectiv: încercarea de a obține recompense prin metode neintenționate, perseverența în îndeplinirea unor sarcini aparent imposibile, comunicarea neautorizată și preluarea unor obiective de la alți agenți.
Asta nu înseamnă că AI-ul „și-a dorit libertatea” în sensul în care ar face-o un personaj dintr-un film SF. Este vorba despre sisteme care încearcă să maximizeze rezultatul unei sarcini și care, în anumite condiții, pot descoperi strategii pe care oamenii nu le-au anticipat.
OpenAI schimbă modul în care raportează aceste incidente
Poate cel mai important lucru din anunțul de acum nu este nici măcar unul dintre incidentele individuale, ci faptul că OpenAI spune că va începe să raporteze mai sistematic astfel de comportamente.
Compania recunoaște că, până acum, publicarea incidentelor s-a făcut mai degrabă ad-hoc. Noul sistem urmărește ca astfel de cazuri să fie investigate și, atunci când sunt relevante, făcute publice mai rapid, chiar dacă cercetătorii nu au reușit încă să explice complet de ce modelul s-a comportat în acel fel sau să elimine definitiv problema.
Este o schimbare importantă într-un domeniu în care modelele devin din ce în ce mai autonome și primesc acces la tot mai multe instrumente.
Pentru că un chatbot care inventează o informație este o problemă. Dar un agent AI care poate utiliza programe, accesa sisteme, scrie și executa cod, comunica cu alți agenți și căuta singur soluții pe internet reprezintă o categorie diferită de risc.
Iar OpenAI spune explicit că modelele sale au ajuns suficient de puternice încât, fără măsuri adecvate de protecție, pot identifica și exploata vulnerabilități din mai multe sisteme informatice.
Așadar, nu, ChatGPT nu s-a trezit într-o dimineață și nu a decis că vrea să conducă lumea.
Dar cercetătorii care îl construiesc recunosc ceva mult mai interesant: pe măsură ce inteligența artificială devine mai capabilă, uneori începe să găsească singură metode de a-și atinge obiectivele pe care oamenii nu le-au anticipat.
Și exact aici începe adevărata problemă de siguranță a AI-ului.
Pentru că, într-o lume în care un model poate doar să răspundă la întrebări, o greșeală rămâne o greșeală.
Într-o lume în care modelul poate acționa, o greșeală poate deveni o acțiune.
