loader
Foto

Conflictul din Iran și războiul bazat pe IA. Ce spune un expert al Universității Oxford

REPORTAJ-ANALIZA

Din Gaza și până în Iran, modelul este același: arme de precizie, orbire selectivă și copii morți. Costul eșecului de-a reglementa războiul bazat pe inteligență artificială este deja prea mare.

 

Există o strategie militară israeliană numită „procedura ceață”. Folosită pentru prima dată în timpul celei de-a doua intifade, este o regulă neoficială care impune soldaților care păzesc posturile militare în condiții de vizibilitate redusă să tragă rafale de foc în întuneric, pe baza ipotezei că au de-a face cu o amenințare invizibilă.

„Este o violență autorizată de orbire. Trage în întuneric și numește-o descurajare. Odată cu apariția războiului bazat pe IA, aceeași logică a orbirii selective a fost rafinată, sistematizată și predată unei mașinării”, scrie într-o analiză din The Guardian Avner Gvaryahu, cercetător doctorand la Școala de Guvernare Blavatnik a Universității Oxford.

Recentul război al Israelului în Gaza a fost descris ca primul „război IA” major; mai exact, primul război în care sistemele IA au jucat un rol central în generarea listei Israelului cu presupuși militanți Hamas și ai Jihadului Islamic care urmau să fie vânați. Sistemele au procesat miliarde de date pentru a clasifica probabilitatea ca o anumită persoană din teritoriu să fie un combatant.

Întunericul din turnul de veghe era o condiție a terenului, notează Gvaryahu, însă întunericul din interiorul algoritmului este o condiție a proiectării. În ambele cazuri, orbirea a fost aleasă. „A fost aleasă pentru că orbirea este utilă: creează negarea, face ca violența să pară inevitabilă, mută întrebarea cine a decis de la o persoană la o procedură. Ceața nu s-a ridicat. I s-a dat un scor de probabilitate și a fost denumită informație”.

Poate că orbirea selectivă a fost de vină, la începutul războiului SUA-Israel împotriva Iranului, la atacul asupra școlii elementare Shajareh Tayyebeh din Minab, în sudul Iranului. Cel puțin 168 de persoane au fost ucise, majoritatea copii, fete cu vârste cuprinse între 7 și 12 ani.

Armele au fost precise. Experții în muniții au descris țintirea ca fiind „incredibil de precisă”, fiecare clădire fiind lovită individual, nimic nefiind ratat. Însă problema nu a fost execuția. Problema a fost informația, atrage atenția profesorul Gvaryahu. „Școala fusese separată de o bază adiacentă a Gărzii Revoluționare printr-un gard și reconvertită pentru uz civil cu aproape un deceniu în urmă. Undeva în ciclul de țintire, se pare că acest fapt nu a fost niciodată actualizat”.

Rolul exact al IA în atacul asupra Minabului nu a fost confirmat oficial. Ceea ce se știe este că infrastructura de țintire în care funcționează aceste sisteme nu dispune de un mecanism fiabil de semnalare atunci când informațiile de bază au expirat cu un deceniu.

Țintirea algoritmică

Indiferent dacă o școală a fost selectată sau nu de un algoritm, ea a fost selectată de un sistem construit de țintirea algoritmică. Pentru a lovi 1.000 de ținte în primele 24 de ore ale campaniei din Iran, armata SUA s-a bazat pe sisteme de IA pentru a genera, prioritiza și clasifica lista de ținte la o viteză pe care nicio echipă umană nu ar putea-o reproduce.

„Gaza a fost laboratorul. Minab este piața. Rezultatul este o lume în care cele mai importante decizii de țintire din războiul modern sunt luate de sisteme care nu pot da explicații, furnizate de companii care nu răspund în fața nimănui, în conflicte care nu generează nicio responsabilitate și nicio socoteală. Asta nu este o defecțiune a sistemului. Acesta este sistemul”, subliniază Gvaryahu. „Ar trebui să rezistăm tentației de a da vina exclusiv pe algoritm pentru logica care transformă copiii în rate de eroare acceptabile.”

În iulie 2014, patru băieți din familia Bakr – Ismail, Zakariya, Ahed și Mohammad, cu vârste cuprinse între 9 și 11 ani – au fost uciși pe o plajă din Gaza. Nu a fost implicată nicio IA. Locul fusese clasificat anterior ca bază navală a Hamas. Băieții au fost semnalizați ca suspecți deoarece au fugit, apoi au mers – un comportament care se potrivea cu un șablon de țintire pentru combatanți care încearcă să nu atragă atenția. Când a lovit prima rachetă, copiii au fugit. Drona i-a urmărit și a tras din nou. Un ofițer a mărturisit ulterior că, dintr-o perspectivă aeriană verticală, este foarte greu să identifici copiii. Lovitura a fost înregistrată ca o eroare de țintire.

O bază de date militară israeliană clasificată, analizată de The Guardian, +972 Magazine și Local Call, a indicat că, din cele peste 53.000 de decese înregistrate în Gaza, luptătorii Hamas și ai Jihadului Islamic reprezentau aproximativ 17%. Acest lucru sugerează că restul, 83%, erau civili. „Acestea nu sunt statisticile unui război dus cu precizie, ci ale unui război în care imprecizia este scopul”, notează profesorul Gvaryahu.

„Așadar, sistemele de țintire bazate pe IA nu au inventat această logică. Au moștenit-o, au codificat-o în milioane de puncte de date și au automatizat-o dincolo de orice verificare umană semnificativă. Când o școală din Minab este clasificată într-o bază de date drept complex militar, aceasta nu este o defecțiune. Este procedura «ceață», aceeași logică care a urmărit patru băieți pe o plajă din Gaza – funcționând exact așa cum a fost proiectată, la o scară diferită, într-o țară diferită, cu o armă diferită. Întunericul are doar un hardware mai bun acum.”

Multe dintre aceste sisteme de IA încalcă în mod inerent dreptul internațional umanitar, care nu cere doar rezultate corecte din operațiunile militare; acesta impune un proces atent înainte ca acestea să fie efectuate. Un comandant trebuie să depună toate eforturile rezonabile pentru a verifica dacă o țintă este un obiectiv militar legitim. Legea impune, de asemenea, să fie luate toate măsurile posibile pentru a proteja civilii de efectele atacului - și nu ca o măsură secundară, ci ca o „obligație paralelă și egală”.

Această obligație „nu poate fi delegată unui sistem al cărui raționament este opac și ale cărui rezultate nu pot fi verificate în timp real”. În Gaza, un algoritm a procesat date despre fiecare persoană din Fâșie – înregistrări telefonice, tipare de mișcare, conexiuni sociale, semnale comportamentale – și a generat o listă ierarhizată de nume, fiecăruia fiindu-i atribuit un scor de probabilitate care indica pericolul ca acea persoană să fie un combatant.

„Nu este același lucru cu un analist uman care identifică un militant cunoscut și programează o armă să-l lovească. IA nu confirma identitățile. Le deducea, statistic, la nivelul întregii populații, generând ținte pe care niciun om nu le evaluase individual înainte ca acestea să apară pe listă”, precizează Avner Gvaryahu.

În acest sistem, verificarea însemna că un operator uman examina fiecare nume timp de aproximativ 20 de secunde, suficient pentru a confirma că ținta era de sex masculin. Apoi dădeau undă verde. Un singur sistem a generat peste 37.000 de ținte în primele săptămâni de război. Un altul era capabil să genereze 100 de potențiale locuri de bombardament pe zi. Oamenii implicați nu își exercitau judecata. Ei gestionau un lanț de comandă.

În Iran, situația este, în acest moment, mai puțin documentată. „Dar amploarea spune totul. Două surse au confirmat pentru NBC News că sistemele de IA ale Palantir, care se bazează parțial pe tehnologia modelelor lingvistice de mari dimensiuni, au fost utilizate pentru identificarea țintelor. (CEO-ul Palantir, Alex Karp, a spus că «nu poate intra în detalii» când a fost întrebat despre acest lucru la CNBC, dar a afirmat că Claude era încă integrat în sistemele Palantir utilizate în războiul din Iran.) Brad Cooper, șeful Comandamentului Central al SUA, s-a lăudat că armata folosește IA în Iran pentru a «trece prin cantități uriașe de date în câteva secunde» pentru a «lua decizii mai inteligente mai repede decât poate reacționa inamicul». Indiferent dacă fiecare atac a fost asistat de IA sau nu, ritmul campaniei a fost posibil doar pentru că țintirea a fost automatizată în mare măsură.”

Când timpii de verificare raportați pentru țintele asistate de IA se măsoară în secunde, „nu mai vorbim despre judecata umană cu asistență algoritmică. Vorbim despre aprobarea automată a rezultatelor unei mașinării. Iar când datele acelei mașinării sunt depășite cu un deceniu, consecințele se numără în sicrie”.

Companiile

Companiile implicate în acest lucru nu sunt startup-uri obscure din domeniul apărării, atrage atenția Gvaryahu. Palantir, fondată cu finanțare inițială din partea CIA și acum unul dintre principalii furnizori de infrastructură de IA pentru armata SUA, a furnizat sisteme utilizate în campania din Iran. Aceste sisteme se bazează parțial pe Claude de la Anthropic, un model lingvistic de mari dimensiuni a cărui companie-mamă a încercat să reziste presiunii Pentagonului de a elimina constrângerile etice privind utilizarea sa pentru țintire. Pentagonul a răspuns amenințând că va rupe legăturile și apelând în schimb la OpenAI și alte companii. „Piața uciderii la scară largă nu duce lipsă de furnizori.”

Episodul este instructiv: singura companie care a încercat să tragă o linie a fost marginalizată, iar uciderile au continuat fără întrerupere. Google, în ciuda protestelor semnificative ale angajaților săi, a semnat Project Nimbus, un contract de cloud computing și IA cu guvernul și armata israeliană în valoare de peste 1 miliard de dolari.

Amazon este cosemnatar al Proiectului Nimbus alături de Google. Microsoft a avut o integrare profundă cu sistemele militare israeliene înainte de a se retrage parțial sub presiune în 2024, moment în care datele au migrat către Amazon Web Services în câteva zile.

Anduril, fondată de Palmer Luckey și cu un personal format în mare parte din foști oficiali ai apărării SUA, construiește sisteme de arme autonome concepute explicit pentru țintirea letală. OpenAI, care până de curând interzicea utilizarea militară în termenii și condițiile sale de utilizare, a eliminat în tăcere această restricție la începutul anului 2024 și de atunci a vânat contracte cu Pentagonul. Acestea se numără printre cele mai bogate companii din lume, cu produse de consum utilizate de sute de milioane de oameni, parteneriate de cercetare universitară și o influență politică semnificativă la Washington, Bruxelles și nu numai.

Gvaryahu: „Desigur, companiile private aprovizionează armatele de secole – cu aparate radio, camioane, navigație prin satelit, tehnologie cu microunde și, bineînțeles, sisteme complexe de armament. Acest lucru nu este nou sau inerent corupt. Problema «dublei utilizări» este la fel de veche ca industrializarea: aproape orice tehnologie puternică poate fi folosită în scopuri militare.

Dar țintirea bazată pe IA nu este pur și simplu o componentă pe care armatele o încorporează în operațiunile lor. Este însăși arhitectura decizională – iar asta determină cine este ucis și de ce. Când un singur sistem poate genera zeci de mii de ținte în timpul necesar unei echipe de informații umane pentru a verifica 10, întrebarea nu este dacă companiile private ar trebui să aprovizioneze armatele. Întrebarea este dacă vreun cadru juridic poate supraviețui contactului cu acesta.”

În dreptul internațional vorbim despre cadre de responsabilitate: lanțul de răspundere care pornește de la o decizie de-a folosi forța letală și se întoarce la persoana care a autorizat-o. Un cadru de responsabilitate impune ca cineva să fie identificabil ca factor de decizie, ca raționamentul său să poată fi reconstituit după fapte și ca obligațiile de proces impuse de lege – evaluarea proporționalității, verificarea, precauția – să poată fi demonstrate ca fiind respectate.

Țintirea bazată pe IA „distruge sistematic fiecare dintre aceste condiții”. Atribuirea se dizolvă într-un lanț de ingineri, comandanți, operatori și furnizori corporativi, fiecare dintre aceștia putând să indice spre altul. „Raționamentul dispare într-un scor de probabilitate pe care niciun avocat nu îl poate audita și niciun tribunal nu îl poate interoga.” Practic, procesul se reduce la o aprobare în 20 de secunde a unei recomandări venite din partea mașinăriei. „Iar companiile care au construit și vândut sistemul se află în întregime în afara cadrului legal, deoarece dreptul internațional umanitar a fost conceput pentru state și agenții acestora, iar Palantir nu este semnatar al convențiilor de la Geneva.”

Cadrul de responsabilitate nu a fost doar pus la încercare sau testat de războiul bazat pe IA. A fost făcut structural irelevant.

„Ar trebui să încetăm să mai numim aceste companii tehnologice și să începem să le numim ceea ce sunt: contractori de apărare”, subliniază Gvaryahu.

Cele mai mari firme de IA nu sunt furnizori neutri de infrastructură care s-au întâmplat să găsească un client militar. „Ele sunt integrate în arhitectura de țintire a războiului modern. Sistemele lor se află în interiorul lanțului de ucidere, inginerii lor dețin autorizații de securitate, directorii lor trec prin aceeași ușă rotativă care a legat întotdeauna Silicon Valley de Pentagon.”

Acești furnizori de IA se află în avangarda complexului militar-industrial și ar trebui reglementați ca atare, spune profesorul Gvaryahu, dând ca exemplu companiile de armament.  „Un lanț de responsabilitate clar se aplică firmelor precum Raytheon și Lockheed Martin – implicând controale la export, supraveghere din partea Congresului, cadre de răspundere și condiții de achiziție – în timp ce reglementările slabe care se aplică companiilor care scriu algoritmii care selectează ținte militare nu au fost niciodată aplicate, testate sau impuse.”

Gvaryahu: „Aceasta nu este o omisiune. Este o alegere, menținută activ prin lobby, prin estomparea deliberată a produselor «comerciale» și «de apărare» și printr-o cultură de reglementare care încă tratează IA ca pe o tehnologie de consum care s-a întâmplat să-și găsească drumul către câmpul de luptă.”

Palantir a cheltuit aproape 6 milioane de dolari pentru lobby la Washington în 2024 și, într-un trimestru al anului 2023, a cheltuit mai mult decât Northrop Grumman. A lansat o fundație dedicată pentru a modela mediul politic în care își desfășoară activitatea. Consorțiul format din Palantir, Anduril, OpenAI, SpaceX și Scale AI a fost descris de propriii participanți ca un proiect menit să furnizeze o nouă generație de contractori din domeniul apărării guvernului SUA. „Firmele de capital de risc care susțin aceste companii, Andreessen Horowitz și Founders Fund, și-au cultivat influența prin apropierea de putere: foști înalți funcționari în consiliile lor consultative, parteneri care ocupă pe rând funcții guvernamentale și acces direct la factorii de decizie care stabilesc cât cheltuiește Pentagonul și pe ce.”

Legislația UE

Legea UE privind IA, cea mai ambițioasă încercare de până acum de a reglementa inteligența artificială, scutește în mod explicit aplicațiile militare și de securitate națională, cu justificarea declarată că dreptul internațional umanitar este cadrul mai adecvat. Este un act remarcabil de circularitate: singurul corp legislativ distrus sistematic de aceste sisteme este desemnat ca autoritate de reglementare a acestora, „în timp ce autoritățile de reglementare care ar putea să le limiteze efectiv închid ochii.”

„În Statele Unite, prevederile privind IA din Legea de autorizare a apărării naționale din 2025 nu reglementează IA militară. Ele îndrumă agențiile să adopte mai mult din aceasta. Strategia de IA a lui Pete Hegseth, emisă în ianuarie 2026, încadrează problema în întregime ca o cursă, îndrumând Pentagonul să acționeze cu viteză de război, cu IA fiind primul teren de testare. Cultura de reglementare nu a eșuat în a ține pasul cu tehnologia. A decis, în mod deliberat, să nu încerce.”

Interzicerea completă a acestor sisteme este imposibilă atunci când atât de mulți dintre actorii implicați nu acordă prea multă importanță dreptului internațional. Dar punctele de presiune rămân, și sunt reale.

Orice viitor guvern de la Washington care dorește să utilizeze capacitățile militare ale IA fără a produce o serie nesfârșită de Minab-uri va avea nevoie de un cadru de reglementare – „nu ca o concesie față de critici, ci ca o cerință de bază pentru a nu deveni un satrap.”

Același lucru este valabil și în Europa, unde Marea Britanie a alocat peste 1 miliard de lire sterline pentru un nou sistem de țintire integrat cu IA, care conectează senzori și capacități de atac în toate domeniile, unde cea mai importantă companie franceză de IA a încheiat un parteneriat cu un start-up german din domeniul apărării pentru a construi platforme de arme autonome, iar Germania desfășoară drone de atac ghidate de IA în Ucraina.

Există o oportunitate de a reglementa aceste sisteme. UE dispune de instrumentele cele mai evidente, nu prin Legea privind IA, care scutește în mod deliberat aplicațiile militare, ci prin controale la export și condiții de achiziție pentru sistemele cu dublă utilizare care circulă între piețele comerciale și cele de apărare. Și instanțele internaționale încep să deschidă porțile: avizul consultativ al Curții Internaționale de Justiție privind drepturile palestinienilor a creat un cadru în care companiile care furnizează sisteme utilizate în atacuri ilegale se confruntă cu o potențială expunere la răspundere în jurisdicțiile care iau în serios dreptul internațional. Iar firmele de IA au nevoie de guverne nu doar în rol de clienți, ci și ca furnizori de putere de calcul, energie și infrastructură fizică. Această dependență oferă statelor dispuse să o folosească o pârghie reală asupra companiilor care ar prefera să nu fie reglementate.

Cum ar trebui să arate reglementarea este relativ simplu, chiar dacă este greu de aplicat.

„Sistemele de IA utilizate în țintire trebuie să fie explicabile – nu prin scorul de probabilitate, ci printr-un raționament pe care un avocat îl poate verifica. Costul civil cumulativ al campaniilor asistate de IA trebuie evaluat în ansamblu. Iar răspunderea care se oprește la operator trebuie să se extindă în susul lanțului de aprovizionare către companiile care au construit și vândut în cunoștință de cauză sisteme opace pentru a fi utilizate în conflictele armate. Acestea nu sunt cerințe noi. Sunt condițiile minime pentru ca legile războiului să aibă vreo semnificație în era țintirii algoritmice”, conchide Gvaryahu.

Sursă foto: Frame Stock Footage/ Shutterstock.com

Logo

 
Stela Popa: „Am făcut carte românească, aşa cum şi-au dorit ai mei”

„Anul acesta, «Ora de ştiri» împlineşte fix zece ani de când este difuzată la ora 18.00 zilnic, pe TVR 2, în acelaşi format. Sunt mândră că am ...

Sezon nou „Ora Regelui”, sub semnul aniversării a 160 de ani de la începutul domniei lui Carol I

Totul despre cei 48 de ani de domnie a lui Carol I, cel mai mare om de stat din istoria modernă a României. O vizită la Conacul Goleştilor, dar ...

„Rock Maniac”: noul hub al culturii rock debutează la TVR 1 pe 21 martie

În fiecare sâmbătă, de la ora 22.00, realizatorul Cristi I. Popescu ne propune interviuri, cronici, ştiri şi recomadări de evenimente din aria ...

O mie de pivnițe de vin într-o singură localitate...?! Descoperiri inedite şi în noul sezon „Exclusiv în România”, la TVR 1

Din lumea ţăranilor-servitori în lumea nobililor de altă dată... Pivniţele din Salarcea, „părintele turismului bihorean” şi slovacii din Șinteu ...

Scumpirea combustibililor, verificată de Consiliul Concurenței

Consiliul Concurenței urmează să verifice temeinicia majorărilor la combustibili, pentru a stabili dacă scumpirile sunt justificate sau dacă ...

Nadia Comăneci, pledoarie pentru sport în plenul Parlamentului European

Nadia Comăneci a fost omagiată miercuri în Parlamentul European, în cadrul anului dedicat marii gimnaste. Performanța sa, primul 10, exemplul de ...

9 luni de foc, 12 studenți, o singură miză: excelența. Documentarul „Un an la Școala Juilliard” se vede la TVR Cultural

Documentarul în 6 episoade despre prestigioasa universitate de actorie, dans, muzică, din New York, unde au studiat, printre alţii, Miles Davis, ...

România fără zâmbet: „Radiografia unei epidemii tăcute”, documentar în premieră la TVR 1

„Putem arăta bine, putem zâmbi celorlalți, dar, în același timp, putem avea o suferință care ne macină”, recunoaşte Andreea Marin în filmul ...

Purtătorul de cuvânt al Ministerului de Externe iranian, avertisment adresat României

Decizia Parlamentului de la București de a permite staționarea unor trupe și aeronave cisternă americane a generat o reacție vehementă din partea ...

Două aniversări, două spectacole de colecție: Tora Vasilescu și Elvira Deatcu, omagiate la TVR Cultural

Producțiile memorabile din arhiva Televiziunii Române – „O noapte furtunoasă” și „Jocul de-a vacanța” – aduc în prim-plan personalități ...

Un nou sezon „Drag de România mea!” aduce generații de artiști pe scena TVR 2

Din 21 martie, Paul Surugiu – Fuego aduce în fața telespectatorilor unul dintre cele mai îndrăgite show-uri de divertisment ale Televiziunii ...

Din martie, vedem la TVR CULTURAL concerte în premieră de la Festivalului Enescu

Festivalul Internațional „George Enescu” este din nou pe micul ecran. Din 16 martie, de luni până miercuri, de la ora 16.30, ne bucurăm de ...

„Mic Dejun cu un Campion” aniversează 11 ani și revine la TVR 2 cu un sezon de primăvară

Din 21 martie, Daniela Zeca Buzura invită telespectatorii sâmbăta, de la ora 10:00, la discuții despre performanță și inspirație, alături de ...

Un actor, scenarist şi realizator rebel: „John Huston: aventurile unui spirit liber”, un documentar de văzut la TVR 1

A înotat contra curentului convenţiilor hollywoodiene. „Șoimul maltez”, „Regina africană”, „Noaptea iguanei”, „Moby Dick”, „Inadaptații”, „Sub ...

Încrederea în sine și autoeficacitatea fac diferența în situațiile limită din sport

Teoria autoeficacității, dezvoltată de psihologul Albert Bandura, vorbește nu despre abilitățile reale ale unui sportiv, ci despre convingerea ...