EXCLUSIV. Un risc pentru omenire, nu o joacă! Anca Drăgan, cercetătoare română premiată în SUA, explică de ce a semnat scrisoarea despre pericolele inteligenței artificiale, alături de alte zeci de personalități ale științei

„Probabilitatea de extincție din cauza AI este mică, dar nu este zero”. Alături de alți experți în domeniu, Anca Drăgan, profesoară la UC Berkeley (California), a avertizat despre un risc apocaliptic al dezvoltării inteligenței artificiale. Crede încă în potențialul uriaș de bine pe care-l poate face AI, dar consideră că toate riscurile trebuie luate în calcul, pentru a construi modele mai bune pentru umanitate. 

Anca Drăgan, 35 de ani, este profesoară de informatică la UC Berkeley, într-unul dintre cele mai influente științific locuri din întreaga lume pentru viitorul inteligenței artificiale. Prin munca ei, își propune să ajute roboții să lucreze cu, lângă și pentru oameni. 
În prima parte a interviului, cercetătoarea a oferit detalii despre evoluția mașinilor fără șofer, la care a contribuit, colaborând cu compania Waymo.  
Interviul e parte a proiectului jurnalistic „Români competenți”, lansat de Libertatea. Într-un moment în care incompetența pare că a copleșit România, prezentăm modelele compatrioților care au ajuns la succes prin muncă intensă. 

Regele Midas și-a dorit ca tot ceea ce atinge să se transforme în aur. S-a dovedit că nu era cea mai bună idee, de fapt. Peștișorii aurii îndeplinesc câte trei dorințe, iar ultima e aproape inevitabil: „te rog să le anulezi pe primele două!”. Mitologia, dar și cultura pop sunt pline de exemple în care îndeplinirea dorințelor oamenilor are efecte secundare pe care nu le-au luat în calcul. Iar inteligența artificială nu face excepție. 

În ultimul an, pe măsură ce progresele AI au fost tot mai de netăgăduit, au apărut și semnale tot mai puternice, chiar din sânul industriei, despre riscurile care vin la pachet. Zicala „Ai grijă ce-ți dorești” e mai relevantă decât a fost vreodată. 

Cu o lună înainte să purtăm această discuție, Anca semnase o declarație prin care, alături de zeci de cercetători și experți în AI, avertizau că:

Atenuarea riscului de extincție din cauza inteligenței artificiale ar trebui să fie o prioritate globală, alături de alte riscuri la scară socială, cum ar fi pandemiile și războiul nuclear.

O întreb despre asta și îmi spune că încă nu este cazul să ne panicăm, pentru că suntem la distanță mare, de ani buni, de acest risc apocaliptic. E vorba mai degrabă de un risc pe termen lung, dar pe care consideră că toată comunitatea de AI ar trebui să-l ia în calcul. „După estimările mele, e un risc mai mic decât acela de un război nuclear, mai ales în contextul istoric de acum”.

Începem așa o discuție mai amplă despre hazardul AI din prezent, dar și despre cel referitor la viitor. 

Anca Drăgan este profesoară la UC Berkeley (California). Foto: wired.com

„Pe termen scurt, automatizarea multor slujbe va destabiliza societatea”

Pe termen scurt, prima problemă pe care o pune acum inteligența artificială este „automatizarea rapidă a multor slujbe, ceea ce poate destabiliza societatea”, spune Anca. Iar cealaltă mare problemă actuală pusă de modelele de AI la liber, precum Chat GPT, este aceea că funcționează ca sistemele de recomandări, deci au aceeași hibă ca social media: că amplifică emoții, mai ales furia. 

Toate problemele pe care le avem din social media o să le avem și mai mult din cauza acestor modele. Polarizarea societății va fi accentuată.  

Anca remarcă:

Recent, ea și colegii săi au publicat un studiu în Nature, care arată cum algoritmul nou al Twitter scoate în față conținutul emoțional, în special sentimentul de furie și conținutul care critică partea politică opusă. 

De ce „te minte” ChatGPT

Pe de altă parte, așa cum funcționează în prezent modelele de tipul Chat GPT, e destul de ușor să „te mintă”. Asta deschide potențialul de a fi folosite ca instrumente de manipulare sau chiar să consolideze oarecum accidental prejudecățile oamenilor. Momentan, motivul pentru care nu indică adevărul e unul tehnic. Sunt antrenate pe seturi foarte mari de date, care cel mai probabil conțin răspunsul corect la întrebarea pusă de utilizator. Partea proastă este că modelul nu memorează toate datele. 

„Sunt mult prea multe date ca să poți să memorezi absolut tot, așa că modelul își construiește o colecție de cunoștințe”, explică Anca. Dacă îl întrebi ceva ce nu a memorat, atunci el încearcă să prezică ce-ai zice tu în următoarele cuvinte. 

Tânăra cercetătoare oferă un exemplu. „Pot să întreb ChatGPT chestii despre Anca Drăgan și la un moment dat să-mi spună: Anca Drăgan a absolvit în 2010. Nu e adevărat. Am absolvit în 2009. De ce e așa încrezător în 2010? Nu a memorat CV-ul meu, dar are un mic context. Poate știe că am început doctoratul la un moment dat și poate să ghicească. Și, din păcate, de multe ori ghicește. În sensul că nu are informații, ci le extrapolează.

Cel mai bun fotbalist român e bulgar

În exemplul dat, modelul de AI știe că dacă textul de până acum este «Anca Drăgan a absolvit în…», ceea ce urmează ar trebui să fie un an. Nu știe anul, dar încearcă să-l nimerească. Asta îmi amintește de un alt exemplu, când un utilizator a rugat Chat GPT să-i facă un top 10 al celor mai buni fotbaliști români din toate timpurile, iar modelul a returnat o listă care includea și un fotbalist bulgar. Tot o aproximare a cunoașterii din datele pe care le avea. 

Dacă în exemplele date eroarea nu ar avea consecințe mari, atunci când oamenii folosesc Chat GPT ca psihoterapeut (un fenomen documentat deja) sau în loc de a merge la medic, consecințele nocive pot fi grave. 

Apoi, din felul în care creatorii lor antrenează aceste modele rezultă și întrebări mai mari, cele legate de riscul apocaliptic. Modelele de inteligență artificială sunt antrenate în prezent cu text (dar următoarele vor folosi probabil și video, și imagini), astfel încât să prezică ce ar trebui să urmeze într-o conversație cu utilizatorul. 

Ce înseamnă o gândire supraumană?

Ne putem imagina, așadar, un viitor, nu neapărat foarte apropiat, în care un asemenea model să fie antrenat cu capacitate enormă, astfel să învețe «cum gândesc oamenii»”, explică Anca. 

Nu s-a întâmplat încă, dar e posibil să ajungă să învețe procesul de gândire al oamenilor. Și nu numai al unui om, ci al multor oameni. Dacă poți să emulezi ce gândește fiecare om, poți să ai o capacitate superioară de gândire. De-aici pornește pericolul. 

O capacitate de gândire supraumană nu e automat un lucru rău. În teorie, ar putea fi valorificată pentru a rezolva multe probleme ale umanității. Dar, observă Anca, realitatea e complicată. „Chiar și atunci când folosești (această gândire supraumană – n.r.) pentru a genera resurse, pentru care acum trebuie să muncim o groază, sunt pericole. Nu știu dacă din punct de vedere politic suntem pregătiți pentru o lume în care resursele sunt așa ușor de obținut”.

În plus, doar câțiva oameni au control asupra acestor modele de AI, care sunt foarte greu de construit. „Dacă au puțini oameni control asupra acestor modele, înseamnă că puțini oameni ar avea control și asupra resurselor obținute. Ai spera că omenirea se poate ridica, dar mi-e teamă că nu va fi așa”, crede Anca Drăgan, care vede în această posibilitate un risc mare de destabilizare a societății. 

Cum apare riscul de extincție

Riscul de extincție, de care ea și colegii ei vorbesc în declarația amintită, apare dacă această gândire supraumană nu ar fi valorificată bine, „dacă accidental – sau neaccidental – utilizatorii îi dau acestui model un obiectiv care nu este aliniat cu valorile umanității”. De fapt, problematice sunt limitele modului de optimizare a obiectivelor pe care oamenii le setează AI-ului. Concret, măsura în care oamenii ar ști ce „trei dorințe” să ceară AI-ului să îndeplinească.

De pildă, setarea unui obiectiv ca găsirea unui antidot pentru cancer pare inofensivă la prima vedere. „Pare OK, dar sunt multe alte lucruri de care ne pasă în afara cancerului și e greu să listezi tot”.  Iar atunci când un sistem are un obiectiv, un subobiectiv este mereu supraviețuirea și controlarea resurselor. Cu cât controlează mai multe resurse, cu atât își poate atinge mai bine obiectivul. 

Experții se tem de momentul în care am avea o suprainteligență cu un obiectiv care nu este complet aliniat cu valorile noastre, un sistem care e foarte bun în a optimiza acel obiectiv, și pentru a face asta, începe să controleze resursele strânse pe planetă.

Anca spune că, deși acest risc e încă departe și încă foarte mic, el există, iar rolul declarației a fost acela de a atrage atenția în special comunității de inteligență artificială: „acesta este un risc pe care trebuie să-l luăm în serios. Nu e ceva amuzant, nu e ceva cucu, e chiar un risc. Probabilitatea e mică, dar nu e zero.”

Spre o altă paradigmă

Semnatarii declarației, printre care și Anca, nu fluieră pur și simplu în biserică. Printre ei sunt experți care cercetează deja soluții pentru a diminua riscurile unei astfel de apocalipse accidentale. Anca Drăgan e unul dintre ei. 

„Pentru riscul acela apocaliptic, putem încerca să schimbăm modul în care antrenăm aceste modele, în special modul prin care le dăm obiective”, spune ea. 

Alături de Stuart Russell, Peter Abbeel și studenții lor de la UC Berkeley, românca lucrează la o nouă paradigmă pentru a construi inteligența artificială. „Una în care zici că agentul nu are un obiectiv. Agentul are obiectivul să te facă pe tine fericit și nu știe cum, motiv pentru care trebuie să colaboreze cu tine și să învețe de la tine. Dar întotdeauna e un pic nesigur care este exact obiectivul”, explică Drăgan. În această paradigmă, multe din posibilitățile de care se tem o parte din experți, precum controlul tuturor resurselor în numele unui obiectiv, ar dispărea, pentru că obiectivul AI ar fi să-i facă pe oameni fericiți. 

Paradigma de care vorbește Anca e momentan greu de pus în practică. „Din punct de vedere computațional, e dificil, pentru că, în loc să aibă un obiectiv pe care îl estimează, trebuie să se uite la tot ce zic oamenii, tot feedbackul pe care-l dau, să țină cont de întreaga familie de obiective pe care ar putea să le aibă oamenii, care sunt consistente cu ce-au zis, ce-au făcut”. 

Apoi, trebuie să ne amintim că oamenii nu sunt întotdeauna raționali și nu întotdeauna se comportă într-un mod optim pentru obiectivul pe care-l au. „E greu să estimăm ce i-ar face pe oameni fericiți, pentru că nici nu pot să-mi spună și, când ne uităm la acțiunile lor, nu putem să zicem: știu care e obiectivul lor pentru că acțiunile lor sunt optime pentru acel obiectiv”. 

Să reducă marile riscuri

Un exemplu la îndemână e al părinților care aleg să nu își vaccineze copiii împotriva rujeolei și rubeolei. Dacă modelul de AI judecă după această acțiune și având informația că vaccinul protejează împotriva acelor afecțiuni, modelul ar putea să tragă concluzia că părinții vor să-și vadă copiii îmbolnăvindu-se și suferind. Ceea ce ar fi fals. „Fac asta tocmai pentru că se tem de efecte secundare. Dar sistemul de inteligență artificială care crede că vaccinurile sunt OK le va interpreta deciziile prin această lentilă”, explică Anca. 

Așadar, paradigma de care vorbește românca, aceea în care AI-ul încearcă să-i facă pe oameni fericiți, este încă în faza cercetării și nu e folosită pentru a antrena GPT-4 în prezent. Însă este tipul de cercetare care i-ar putea ajuta pe cei din domeniu să reducă marile riscuri în viitor, pentru a putea, în continuare, profita de inteligența artificială. Pentru că, așa cum spune Anca, „multe lucruri bune pot să vină din inteligența artificială. Dacă n-aș crede asta, n-aș lucra în domeniu”.

Foto: wired.com