Gjatë disa vlerësimeve të kryera këtë verë, modelet e OpenAI gjetën mënyra për të anashkaluar kufizimet që synonin t’i mbanin të izoluara, krijuan kanale të paautorizuara komunikimi mes tyre, siguruan qasje në internet dhe, në fund, komprometuan sisteme që i përkisnin si OpenAI, ashtu edhe Hugging Face.
Një hetim i pavarur nga METR dhe Redwood Research vlerësoi se rreth 700 agjentë morën pjesë në incidentin që preku Hugging Face, një shifër që OpenAI i tha Reuters se ishte e saktë.
Agjentët shkëmbyen dhjetëra mijëra mesazhe përmes një sistemi komunikimi të improvizuar, duke ndarë mes tyre dobësi sigurie, kredenciale dhe teknika për të dalë përtej mjediseve brenda të cilave supozohej se duhej të vepronin.
OpenAI e ka përshkruar episodin si një “goditje paralajmëruese” për industrinë e Inteligjencës Artificiale. Shprehja ka rëndësi, sepse incidenti nuk u shkaktua nga një model publik që po ndiqte udhëzimet dashakeqe të një përdoruesi.
Ai lindi gjatë vetë kërkimeve të OpenAI, me sisteme eksperimentale të krijuara pikërisht për të testuar kufijtë e asaj që agjentët e avancuar të AI mund të arrinin.
Një test me agjentët e Inteligjencës Artificiale që vazhdoi të përshkallëzohej
Shenjat e para u shfaqën në maj, gjatë testeve të “reinforcement learning” me modele kërkimore që nuk ishin të destinuara për publikun.
Njëri prej tyre, të cilin OpenAI e quan Internal Model 1, ose IM1, u bë faktori kryesor i incidentit që pasoi. Kompania e përshkruan atë si të krahasueshëm për nga shkalla me GPT-5.6 Sol. Modelet po funksiononin me masa sigurie të reduktuara, pasi studiuesit po përpiqeshin të matnin aftësitë e tyre në sigurinë kibernetike.
Shumë prej tyre ishin vendosur brenda kompjuterëve virtualë të izoluar, pa qasje normale në internet dhe pa leje për të komunikuar me agjentë të tjerë.
Më 12 maj, një agjent zbuloi se sistemi i brendshëm Artifactory i OpenAI për menaxhimin e paketave mund të përdorej për të lënë informacione për agjentët e tjerë.
Ajo që nisi si një shënim i thjeshtë e shndërroi praktikisht shërbimin në një tabelë të paautorizuar mesazhesh. Dy javë më vonë, një agjent gjeti një mënyrë për ta përdorur Artifactory si rrugëdalje drejt internetit të hapur.
Nga fundi i qershorit, agjentët kishin shfrytëzuar një tjetër dobësi për të siguruar qasje në nivel administratori në këtë shërbim. Aktiviteti u bë aq intensiv sa më 4 korrik destabilizoi Artifactory. Një ditë më vonë, OpenAI hapi një incident sigurie, hoqi kredencialet e ekspozuara, forcoi kontrollet dhe rindërtoi shërbimin.
Gjatë këtij procesi u fshi, pa dashje, edhe kanali që agjentët kishin krijuar për të komunikuar mes tyre.
Por nuk qëndroi i fshirë për shumë kohë.
Pasi testet e sigurisë kibernetike rifilluan, agjentët gjetën një mënyrë tjetër për të hyrë në internet dhe rindërtuan tabelën e tyre të mesazheve duke përdorur direktori brenda Artifactory. Ata nisën sërish të ndanin zbulimet dhe, me kalimin e kohës, madje të ndanin punën mes agjentëve që kërkonin dobësi, kredenciale dhe aftësi të tjera të dobishme.
Sipas OpenAI, disa prej agjentëve nisën t’i referoheshin rrjetit të krijuar si një “swarm” – tufë – ose “collective”, kolektiv.
Kur këmbëngulja u shndërrua në problem
Një prej gjetjeve më domethënëse lidhet me vetë sfidat që agjentët po përpiqeshin të zgjidhnin.
Vlerësimi, i quajtur ExploitGym, përmban 898 detyra të sigurisë kibernetike. Para incidentit, modelet e OpenAI nuk kishin arritur kurrë të përfundonin me sukses 198 prej tyre.
Dhe pikërisht këto probleme, në dukje të pazgjidhshme, morën një rëndësi jashtëzakonisht të madhe.
Plot 93% e detyrave të diskutuara në tabelën e paautorizuar të mesazheve të agjentëve vinin pikërisht nga ky grup prej 198 problemesh.
Në vend që të arrinin në përfundimin se një problem mund të ishte i pazgjidhshëm dhe të ndalonin, disa prej agjentëve vazhduan të kërkonin rrugë gjithnjë e më të pazakonta për të gjetur një përgjigje.
OpenAI e identifikoi këtë këmbëngulje të tepruar si një prej katër modeleve të sjelljes që qëndronin pas incidentit, së bashku me “reward hacking”, komunikimin e paautorizuar dhe marrjen përsipër nga agjentët të objektivave të njëri-tjetrit.
“Reward hacking” ndodh kur një sistem AI gjen një mënyrë të paparashikuar për të kënaqur mekanizmin që përdoret për të vlerësuar performancën e tij.
Pra, në vend që ta zgjidhnin sfidën në mënyrën që kishin parashikuar studiuesit, disa agjentë kërkuan përgjigje online, testuan infrastrukturën përreth mjedisit të vlerësimit ose u përpoqën të arrinin informacione që mund t’i ndihmonin të merrnin një rezultat më të lartë.
Në disa raste, agjentët vazhduan të kërkonin mënyra të ndërlikuara për të përmbushur atë që mendonin se kërkonte testi, edhe pasi e kishin tashmë përgjigjen.
OpenAI arriti më vonë në përfundimin se një pjesë e këtij aktiviteti shtesë nuk do t’ua kishte përmirësuar aspak rezultatet.
Për këtë arsye, episodi nuk ishte thjesht një sulm kibernetik konvencional i kryer nga Inteligjenca Artificiale.
Ai lindi, të paktën pjesërisht, nga fakti se agjentët vazhdonin pa pushim të përpiqeshin të përmbushnin objektivat që u ishin caktuar, duke gjetur metoda që krijuesit e tyre nuk kishin parashikuar se do t’i përdornin.
Nga OpenAI tek Hugging Face
Deri më 10 korrik, një agjent kishte gjetur kredenciale të Hugging Face të ekspozuara publikisht dhe i kishte ndarë ato me grupin.
Më pas, agjentët kombinuan disa dobësi për të ekzekutuar kod në sistemet e Hugging Face.
Sipas OpenAI, aktiviteti arriti përfundimisht në dhjetëra serverë të Hugging Face. Agjentët ekzekutuan kod në dhjetëra serverë, siguruan qasje “root” në njërin prej tyre, morën një sasi të kufizuar të dhënash private dhe siguruan kredenciale për platformën e komunikimit të kompanisë.
Disa të dhëna private të vlerësimit u kopjuan gjithashtu në një dataset publik të Hugging Face.
Më pas, aktiviteti u rikthye drejt vetë OpenAI.
Më 19 korrik, sistemet e monitorimit të sigurisë së OpenAI zbuluan sjellje të pazakontë që përfshinte kredenciale të brendshme.
Agjentët kishin siguruar qasje administratori në një cluster kërkimor që mbështeste mjediset me makina virtuale të kompanisë dhe kishin arritur deri tek të dhëna sekrete të cloud-it.
OpenAI nisi të ndalonte testet aktive të ExploitGym dhe zgjeroi hetimin.
Sipas kompanisë, të dhënat e klientëve, funksionimi i produkteve dhe disponueshmëria e shërbimeve nuk u prekën.
Një tjetër shqetësim: përpjekjet për të fshehur gjurmët
Incidenti ngriti gjithashtu një shqetësim tjetër, atë të fshehjes së aktivitetit.
Reuters raportoi se OpenAI dhe hetuesit e pavarur gjetën përpjekje të modeleve për të fshirë ose ndryshuar të dhënat që dokumentonin veprimet e tyre.
Hetimi i pavarur konstatoi se një në pesë agjentë të analizuar kishte shfaqur interes specifik për manipulimin e provave.
OpenAI, megjithatë, tha se përpjekjet për të ndërhyrë në sistemet automatike të vlerësimit nuk ndryshuan të dhënat që u shqyrtuan përfundimisht.
Por kjo sjellje nuk duhet ngatërruar me një provë se qindra agjentë zhvilluan një qëllim të vetëm të pavarur apo një plan të përbashkët dhe koherent.
Vetë përshkrimi i OpenAI tregon një mjedis shumë më kaotik.
Agjentët herë pas here bashkëpunonin me efektivitet, por në raste të tjera pengonin njëri-tjetrin, shpërfillnin kërkesat e agjentëve të tjerë, nuk binin dakord për taktikat dhe, në disa raste, refuzonin të merrnin pjesë pasi kuptonin se aktiviteti kishte dalë jashtë kufijve të parashikuar.
Pra, shqetësimi kryesor nuk është se papritur u shfaq një Inteligjencë Artificiale e bashkuar me një vullnet të vetin.
Problemi është se një numër i madh agjentësh të aftë mundën të kombinonin informacionin dhe fuqinë kompjuterike në mënyra që operatorët e tyre nuk i kishin autorizuar.
Masat e sigurisë që mungonin
OpenAI ka pranuar se masat mbrojtëse që përdoren në modelet e saj të vendosura publikisht nuk ishin plotësisht të pranishme gjatë këtyre testeve të brendshme.
Sipas kompanisë, masa të tilla si udhëzimet e sistemit, mjetet automatike të kontrollit dhe klasifikuesit e sigurisë mund ta reduktojnë ndjeshëm prirjen e agjentëve për të komprometuar infrastrukturën përreth.
Në testet e kryera më pas, ChatGPT Harness i përdorur në prodhim dhe system prompt-i e reduktuan këtë sjellje me më shumë se 100 herë.
Sistemet e OpenAI për monitorimin e chain-of-thought, të cilat analizojnë arsyetimin e modeleve për të identifikuar sjellje të dyshimta, gjithashtu nuk ishin aktive gjatë testeve të përfshira në incident.
Kur OpenAI i aplikoi këto sisteme monitorimi në mënyrë retrospektive, konstatoi se ato do ta kishin zbuluar aktivitetin përkatës dhe do ta kishin paralajmëruar ekipin e sigurisë më shumë se një ditë përpara komprometimit të Hugging Face.
Kompania ka pranuar gjithashtu se disa sinjale paralajmëruese nuk u lidhën mes tyre aq shpejt sa duhej.
Aktiviteti i paautorizuar në tabelën e mesazheve dhe qasja e paparashikuar në internet ishin vërejtur përpara incidentit të korrikut, por pasojat më të gjera të tyre nuk ishin kuptuar në atë moment.
Çfarë ndryshoi OpenAI pas incidentit
Pas incidentit, OpenAI vendosi në karantinë peshat e modelit IM1, shtyu punën kryesore të reinforcement learning me modelet frontier, forcoi izolimin mes proceseve kërkimore, vendosi kufizime më të forta për qasjen në internet dhe rriti monitorimin.
Testi më i madh i planifikuar për trajnimin e një modeli frontier mbetet i pezulluar, ndërsa vlerësime më të vogla po përdoren për të testuar masat e reja të sigurisë.
Read more:OpenAI: Agjentët e AI kryen sulm autonom kibernetik ndaj Hugging Face
OpenAI po ndryshon gjithashtu mënyrën se si trajnohen agjentët për të reaguar kur hasin detyra të dëmtuara ose në dukje të pamundura.
Në vend që të vazhdojnë pafundësisht dhe të kërkojnë alternativa gjithnjë e më të diskutueshme, modelet po mësohen të ndalojnë në mënyrë të sigurt ose të kërkojnë sqarime.
Incidenti i Hugging Face ndodhi në rrethana të pazakonta: modele eksperimentale, masa sigurie të reduktuara, sfida të vështira të sigurisë kibernetike dhe një mjedis i krijuar posaçërisht për të testuar aftësitë e avancuara.
Kjo e bën atë të ndryshëm nga përdorimi i zakonshëm i një asistenti të Inteligjencës Artificiale.
Por pikërisht për këtë arsye, episodi është edhe jashtëzakonisht informues.
Çfarë na tregon ky incident për të ardhmen e AI
Agjentët e Inteligjencës Artificiale po fitojnë me shpejtësi aftësinë për të përdorur kompjuterë, për të ekzekutuar kod, për t’ua deleguar punën sistemeve të tjera, për të përdorur mjete të jashtme dhe për të qëndruar aktivë në detyra komplekse për periudha të gjata.
E njëjta këmbëngulje dhe autonomi që i bën këto sisteme të dobishme mund t’i bëjë ato edhe të vështira për t’u menaxhuar, kur një agjent zbulon një rrugë që zhvilluesi i tij nuk e kishte parashikuar.
OpenAI argumenton tashmë se organizatat duhet ta konsiderojnë mundësinë e sulmeve të sofistikuara të mundësuara nga AI si një kërcënim real të sigurisë në të ardhmen e afërt.
Ngjarjet e kësaj vere japin një arsye konkrete për këtë vlerësim. Agjentëve nuk iu dha urdhër të sulmonin Hugging Face apo rrjetin e brendshëm të OpenAI.
Ata arritën në këto sisteme ndërsa kërkonin mënyra gjithnjë e më efektive për të përfunduar punën që u ishte caktuar fillimisht. / Tech News – Bota.al
