Pare ceva desprins dintr-un film SF. Pe 16 iulie, Hugging Face, o platformă de inteligență artificială, a anunțat că a sesizat autoritățile după ce un atacator a folosit un agent IA pentru a pătrunde în sistemele sale. Pe 21 iulie s-a aflat că nu fusese niciun om la butoane, agentul IA era chiar atacatorul.
O combinație între modelul GPT-5.6 Sol al OpenAI, pe care compania îl lansase la începutul lunii iulie, și un model mai puternic, încă nelansat, a scăpat din laborator, apoi a spart sistemele Hugging Face. Modelele de IA căutau o soluție la o problemă de evaluare pe care le-o pusese creatorul lor. „Această situație este fără precedent”, spune Stephan Llerena, cercetător la Institutul pentru Drept și IA, un think-tank american.
Laboratoarele de IA își testează modelele pentru a identifica capacități potențial periculoase înainte de a le lansa. OpenAI a dorit să vadă cum s-ar descurca cele mai recente modele ale sale pe ExploitGym, un set de probleme standard care testează cât de bine reușesc sistemele de IA să exploateze puncte vulnerabile din mai multe aplicații populare, inclusiv browserul Chrome al Google, scrie The Economist.
OpenAI aplică măsuri de siguranță modelelor sale disponibile public, care garantează că acestea nu vor întreprinde acțiuni nedorite. De exemplu, dacă îi ceri versiunii comerciale a ChatGPT să te ajute să spargi un site web, aceasta va refuza. Pentru a evalua capacitățile modelului său încă nelansat, compania a suspendat temporar aceste restricții. Totuși, simpla lăsare în libertate a unui atacator cibernetic pe internetul deschis ar fi fost prea riscantă, așa că OpenAI și-a plasat modelele într-un „sandbox” — un mediu informatic izolat, fără acces la internet, cu excepția unui serviciu terț găzduit intern care îi permitea să descarce mici pachete software necesare pentru finalizarea testelor.
Compania a obținut mai mult decât se aștepta. În loc să rezolve direct problemele din evaluare, modelele OpenAI au obținut acces la internetul deschis exploatând o vulnerabilitate necunoscută până atunci în serviciul de descărcare a software-ului. După ce au obținut astfel acces la internet, modelele de IA au concluzionat corect că soluțiile la problemele care le fuseseră date erau stocate de Hugging Face, o bibliotecă populară pentru modele de IA și seturi de date open-source.
Așa că modelele au lanțat un atac în mai multe etape. Au început prin încărcarea unui set de date pe Hugging Face, care a fost procesat automat de platformă. Pe parcursul unui weekend, acel set de date (pe care Hugging Face l-a descris ca fiind „malițios”) le-a permis modelelor să colecteze datele de autentificare și să acceseze serverele interne. Hugging Face și OpenAI au detectat independent breșa de securitate și au declarat că colaborează la anchetă.
Pe 21 iulie, OpenAI a declarat într-o postare pe blog că a reacționat prin implementarea unor controale mai stricte asupra infrastructurii sale și a comunicat vulnerabilitățile identificate de modelele sale către dezvoltatorul gateway-ului. De asemenea, a inclus Hugging Face în programul său de „acces de încredere”, ceea ce i-a oferit posibilitatea de a utiliza modele cu capacități cibernetice îmbunătățite (precum cel care îi spărsese propriile computere) pentru a ajuta compania să-și îmbunătățească sistemele de apărare.
OpenAI a subliniat, de asemenea, că modelele sale fuseseră „extrem de concentrate” pe găsirea de soluții pentru evaluarea ExploitGym. Nu este clar, însă, ce s-ar fi întâmplat dacă modelele de IA ar fi avut alte obiective. Iar Hugging Face nu este deloc în urmă din perspectiva securității informatice. Este o firmă de tehnologie evaluată la 4,5 miliarde de dolari, cu sute de angajați și o echipă dedicată securității cibernetice. Situația ar fi putut evolua mult mai grav pentru o organizație cu resurse mai reduse.
Acesta nu este primul semn că modelele de IA încep să depășească controlul oamenilor. În aprilie, un cercetător de la Anthropic a postat online că a fost surprins după ce Claude Mythos, pe atunci un model încă nelansat, i-a trimis un e-mail pentru a-l informa că a reușit să evadeze dintr-un mediu de testare (sandbox), ca parte a propriei evaluări a capacităților cibernetice. La fel ca modelul OpenAI încă nelansat implicat în incidentul Hugging Face, Mythos nu trebuia să aibă acces nelimitat la internet. Cu toate acestea, în acel caz, modelul nu a ajuns să compromită serverele altor companii.
Nici capacitățile surprinzătoare ale modelelor de IA nu se limitează la hacking. În luna mai, un model OpenAI încă nelansat a infirmat conjectura distanței unitare planare, veche de 80 de ani, o problemă centrală în geometria combinatorială formulată pentru prima dată de matematicianul Paul Erdős în 1946. Pe 20 iulie, Levent Alpöge, matematician la Universitatea Harvard, a scris că a folosit „Claude Fable 5”, un model lansat de Anthropic în iulie, pentru a infirma conjectura jacobiană, care, la rândul ei, i-a pus în încurcătură pe matematicieni timp de peste 80 de ani.
OpenAI nu a dezvăluit public detaliile privind felul în care modelul său a scăpat din izolare. Dar chiar dacă ar fi făcut-o, faptul că sistemele de IA încep să depășească capacitățile umane în sarcinile de securitate cibernetică înseamnă că „doar foarte, foarte puțini experți în securitate cibernetică din lume” ar fi putut înțelege corect modul în care s-a produs breșa, spune Alex Meinke de la Apollo Research, un grup specializat în siguranța IA cu sediul la Londra.
Guvernul american a început recent să reglementeze lansările de modele. Însă incidentul demonstrează riscurile pe care le prezintă chiar și modelele de IA nelansate, aflate încă în curs de dezvoltare. „Nu există cerințe în legislația statală sau federală care să oblige companiile să dezvăluie implementarea internă a unor modele de IA extrem de performante, precum cel implicat în atacul asupra Hugging Face”, spune Nathan Calvin, consilier juridic general la Encode AI, o organizație americană non-profit care militează pentru reglementarea IA.
Deși unele legi statale din America impun companiilor să dezvăluie incidentele de securitate cibernetică, domeniul lor de aplicare este restrâns. Un proiect de lege adoptat anul trecut în California impune laboratoarelor de pionierat să raporteze orice „incident critic de siguranță” – inclusiv un model care utilizează „tehnici înșelătoare” pentru a eluda monitorizarea „în afara contextului unei evaluări” – în termen de 15 zile de la descoperirea acestuia. Nu este clar dacă breșa de securitate de la Hugging Face s-ar fi încadrat în această categorie, spune Calvin.
Acest lucru ridică o altă întrebare spinoasă: dacă consecințele intruziunii ar fi fost mai grave, cine ar fi fost răspunzător? Legea federală împotriva hackingului vizează doar pedepsirea accesului neautorizat intenționat la sistemele informatice. OpenAI nu a intenționat ca modelele sale să devină rebele în căutarea unei „copiuțe” pentru testul lor. „Multe dintre aceste întrebări juridice se referă la intenție – ce știa sau ce a prevăzut OpenAI?”, spune Llerena.
Acest atac a venit pe neașteptate. Data viitoare va fi mai greu să invoci ignoranța.
Sursă foto: cfalvarez / Shutterstock.com
