Școala 9 a testat inteligența artificială (AI) a aplicațiilor OpenAI, Google și Snapchat, dându-le să rezolve probleme de informatică, matematică și un exercițiu de gramatică. Rezolvările date de ei au fost confruntate cu rezolvările corecte, iar apoi au fost introduse în aplicații de detectare a inteligenței artificiale, care a dat greș în cele mai multe cazuri. Lectorul de la Universitatea Heidelberg din Germania, specializată în machine learning, Letiția Pârcălăbescu a explicat și de ce s-a întâmplat acest lucru și cum funcționează AI.
Pentru a folosi programele de inteligență artificială, este nevoie să ai cont pe platformele OpenAI, Snapchat sau Google. ChatGPT și Bard păstrează conversațiile, pe când la My AI mesajele dispar, imediat sau după 24 de ore, asta dacă nu le salvezi manual.
Timpul de răspuns la fiecare e de doar câteva secunde, indiferent de cerință. Practic, ai pe telefon sau laptop permanent pe cineva care îți răspunde la mesajele pe care i le trimiți. Bard poate chiar vorbi cu tine, adică citește mesajele pe care le trimite, prin funcția cunoscută sub denumirea de „text-to-speech”, iar My AI îți cere și trimite poze.
Problemă de informatică de clasa a IX-a, rezolvată perfect
Pentru a testa cât de bine reușesc niște algoritmi să creeze alți algoritmi, a fost aleasă aleatoriu o problemă de informatică de pe platforma pbinfo.ro, care oferă posibilitatea de a încărca sursa și o evaluează cu puncte între 0 și 100.
Problema sună așa: „Să se scrie un program care citeşte de la tastatură un număr natural cu cel puţin două cifre şi determină suma dintre cifra zecilor şi cifra unităţilor numărului citit”.
Imagine cu o sală de clasă, generată de o aplicație AI
„Modelele au fost antrenate explicit – li s-au dat date despre programare”
Bard și My AI au luat 100 de puncte pe Pbinfo. ChatGPT a luat 0 puncte, dar nu pentru că nu ar fi rezolvat corect, ci pentru că a folosit elemente care nu sunt recunoscute de Pbinfo.
Pârcălăbescu explică de ce au reușit să scrie codul corect: „Modelele au fost antrenate explicit – li s-au dat date despre programare: astea sunt probleme de informatică, trebuie să-mi scrii cod sau ăsta e codul, trebuie să continui codul și să ajungi la un astfel de rezultat”. Asta înseamnă că nu au folosit doar date de pe internet, ci și alte date, introduse de programatori.
Codurile generate de AI au fost ulterior introduse în softuri care ar trebui să detecteze ceea ce scrie inteligența artificială și ceea ce scrie omul. Siteurile folosite au fost zerogpt.com și contentscale.ai. Doar codul scris de MyAi de la Snapchat a fost prins că a fost generat cu ajutorul inteligenței artificiale. Pentru celelalte, ni s-a zis că au fost scrise de om.
MyAI nu a știut să calculeze vârsta Mariei
O altă problemă dată boților a fost una de matematică de clasa a VIII-a de la Evaluarea Națională: „Maria are 14 ani și tatăl ei 40 de ani. Peste câți ani vârsta Mariei va fi jumătate din vârsta tatălui?”
Fiecare dintre cei trei roboți au dat răspunsuri diferite, iar singurul corect a fost cel generat de Chat GPT, adică 12 ani și am primit și explicația, asemănătoare cu cea din barem.
My AI: „Dacă în prezent Maria are 14 ani și tatăl ei are 40 de ani, atunci diferența de vârstă este de 26 de ani. Pentru ca vârsta Mariei să fie jumătate din vârsta tatălui, diferența de vârstă trebuie să fie aceeași. Prin urmare, peste 26 de ani, când Maria va avea 40 de ani și tatăl ei va avea 66 de ani, vârsta Mariei va fi jumătate din vârsta tatălui. Deci răspunsul este 26 ani.”
Bard: „Diferența dintre vârsta Mariei și a tatălui ei este de 40-14=26 de ani. Pentru ca vârsta Mariei să fie jumătate din vârsta tatălui ei, diferența dintre vârstele lor trebuie să fie egală cu jumătate din vârsta tatălui ei. Așadar, Maria trebuie să aibă 26/2=13 ani. Deci, Maria va avea 13 ani peste 26-13=13 ani. Răspuns: 13 ani”.
Chat GPT: „La momentul actual, vârsta Mariei este de 14 ani și vârsta tatălui este de 40 de ani. Peste x ani, vârsta Mariei va fi de 14 + x, iar vârsta tatălui va fi de 40 + x. Conform condiției problemei, vârsta Mariei va fi jumătate din vârsta tatălui peste x ani, deci putem scrie ecuația: 14 + x = (40 + x) / 2. Putem rezolva această ecuație pentru a găsi valoarea lui x. Multiplicăm ambele părți ale ecuației cu 2 pentru a scăpa de fracție: 2 * (14 + x) = 40 + x
Distribuim: 28 + 2x = 40 + x. Adunăm -x la ambele părți ale ecuației: 28 + x = 40. Scădem 28 de la ambele părți ale ecuației: x = 40 – 28. x = 12. Deci, peste 12 ani, vârsta Mariei va fi jumătate din vârsta tatălui”.
Imagine generată de o aplicație AI
„Pentru noi 2.540 e ceva ce vedem ca pe un întreg, dar el vede 2, 5, 4 și 0”
Răspunsurile date de AI sunt, de fapt, preconizări a ce cuvinte ar urma. De aici răspunsurile incorecte: „Noi știm că 2+2 e 4, că 2+3 e 5, dar aceste modele nu pricep algoritmul acesta, pentru că ele sunt antrenate doar pentru a continua secvența. Dacă îl întrebăm cât e 2+2 va fi cel mai probabil 4, pentru că are în datele de antrenare, dar dacă sunt completări mai puțin comune, atunci aritmetica devine dificilă pentru că el vede numărul descompus. Pentru noi 2.540 e ceva ce vedem ca pe un întreg, dar el vede 2, 5, 4 și 0. Este destul de dificil de înțeles că este o unitate, iar când avem și zecimale, devine și mai complicat”, explică Pârcălăbescu.
Nici de această dată, softurile de detectare a inteligenței artificiale nu au identificat prezența AI în totalitate.
Specialista în machine learning ne-a explicat că softurile care detectează AI caută diferențe între texte: „Modelele sunt antrenate pe comparații – ăsta e text scris de om, ăsta e text scris de Bard și spun diferența. La fel cum sunt modele antrenate să detecteze fețele de non-fețe, ca atunci când telefonul îți detectează fața într-o poză, așa sunt antrenate și modelele de a identifica textele scrise de AI de textele scrise de om”.
AI, bun la gramatica limbii române
„Oamenii pun în detector texte dintr-o altă categorie față de cele la care s-a gândit programatorul când a construit modelul. El poate nu s-a gând să pună și lucruri în română. Modelul a fost antrenat pe texte standard – de Wikipedia, Twitter, Reddit, dar nu s-a gândit că într-o anumită limbă ar putea fi un anumit subiect”, explică Pârcălăbescu erorile pe care le dau softurile care detectează AI.
Pentru română, le-am dat celor trei de rezolvat un exercițiu de gramatică de la Evaluarea Națională: „Selectează, din secvențele următoare, trei substantive comune aflate în cazuri diferite, precizând cazul în care se află fiecare: „Văduva suspină, căci atâta copil avea și ea și mult îi era dragă fata, […] norocul copilului său îl visa […].
— Mergi – îi zise dar –, copila mea, și nici spini, nici buruiană în calea ta să nu găsești.”
Chat GPT a găsit trei substantive și a nimerit cazul la două dintre ele, iar Bard și Snapchat au rezolvat corect exercițiul. Niciunul dintre cele două site-uri folosite pentru detectarea inteligenței artificiale nu ar fi observat că textele au fost scrise astfel.
Letiția Pârcălăbescu este lector la Universitatea Heidelberg din Germania, specializată în machine learning
Pentru a fi detectat textul scris de boți, firmele ar trebui să pună un watermark
Din experimentul Școala 9 reiese că inteligența artificială uneori funcționează, iar alteori nu și la fel se întâmplă și cu softurile care ar trebui să detecteze ceea ce nu e făcut de om.
Pentru o mai bună acuratețe a detectării, Pârcălăbescu spune că ar trebui ca „OpenAI, de pildă, să bage un «watermark», ca o amprentă în cuvinte și care se poate detecta cu acuratețe. Pentru asta, trebuie să existe legi care să-i forțeze să bage acest watermark pentru că altfel textul nu este recognoscibil întotdeauna. Dacă nu e antrenat pe română, nu va recunoaște textele în română”.
„Profesorul trebuie să se obișnuiască cu faptul că s-ar putea să primească soluții de la ChatGPT, deci ar trebui să își schimbe modul de evaluare” – Letiția Pârcălebescu, specialistă în machine learning
„Ai nevoie de inteligență umană ca să știi să folosești inteligența artificială”
Ea mai spune că nu se supără pe studenții care folosesc programe de acest fel, ci atunci când o fac, își ridică așteptările: „Ai nevoie de inteligență umană ca să știi să folosești inteligența artificială”. Și vede inteligența artificială ca pe un coleg care îl ajută pe cel care apelează la astfel de scurtături.
„Avem acum nevoie de oameni care știu să scrie ei singuri sau avem nevoie de oameni care știu să folosească inteligența artificială? Asta este întrebarea la care trebuie să se gândească profesorii”, încheie Pârcălăbescu.
