„Kai liepą „OpenAI“ agentai ėmė sukčiauti, jie pademonstravo išradingumą ir ryžtą, pranokstantį daugelio ekspertų įsivaizdavimus – tai buvo pavojingas pranašas to, ką tokie robotai galėtų padaryti ateityje.
Liepos 16 d. dirbtinio intelekto bendrovė „Hugging Face“ savo tinklaraštyje paskelbė, kad tapo kibernetinės atakos, kuri „skyrėsi nuo visko, su kuo anksčiau buvome susidūrę“, taikiniu. Bendrovė, talpinanti atvirojo kodo dirbtinio intelekto modelius ir duomenų rinkinius, teigė, kad kai kuriuos jos vidinius duomenis pavogė autonominis agentas.
Nežinodama, kas už to slypi, „Hugging Face“ pranešė apie įsilaužimą teisėsaugos institucijoms.
„OpenAI“, „Hugging Face“ klientė, susisiekė su ja, norėdama sužinoti, ar ji nebuvo paveikta. „ChatGPT“ kūrėja tuo metu to nesuvokė, tačiau ji buvo atakos vykdytoja.
Nuo to laiko šis incidentas tapo pamokančia istorija apie tai, kaip autonominės dirbtinio intelekto sistemos gali siautėti. Tai taip pat puiki, nerimą kelianti dirbtinio intelekto galimybių, kurios, kaip manyta, bus tolimoje ateityje, demonstracija.
„Skirtingai nuo įprastų incidentų, kuriuos galbūt galite...“ „Atsekant iki vienos dienos, vieno efekto ar vieno žurnalo, šiame incidente iš tikrųjų dalyvauja agentų komanda, kuri dirba kartu, ieško spragų, dalijasi jomis tarpusavyje, juda horizontaliai per mūsų sistemas, per išorines sistemas ir tai daro dienų ir savaičių bėgyje“, – šį mėnesį kibernetinio saugumo konferencijoje sakė Ericas Wallace'as, „OpenAI“ saugumo tyrėjas.
Norėdami suprasti, kokia precedento neturinti buvo ši ataka, štai ką reikia žinoti apie jos sąranką:
Per du mėnesius „OpenAI“ išbandė kelis naujus modelius – sistemas, kurios maitina pokalbių robotus. Šie modeliai apima vieną, kurį bendrovė apibūdino kaip „labai patvarų“, kuris niekada nebuvo išleistas, taip pat GPT-5.6 Sol, galingiausią „OpenAI“ viešojo dirbtinio intelekto modelį.
„OpenAI“ kiekvieną modelį sujungė su „smėlio dėže“ – izoliuota kompiuterine aplinka, kurioje buvo vykdomos komandos ir kodas. Kaip dirbtinio intelekto agentai, modeliai galėjo atlikti ilgai trunkančias užduotis ir netgi sukurti savo subagentus. Tačiau jie neturėjo turėti prieigos prie interneto.
„OpenAI“ paskyrė šiuos Dirbtinio intelekto agentai, skirti spręsti sudėtingas problemas, kai kurios iš jų buvo skirtos saugiam kibernetinių atakų atlikimui.
„OpenAI“ paprastai turi apsaugos priemones, skirtas užkirsti kelią pokalbių robotams atlikti kibernetines atakas, tačiau bendrovė sumažino jų skaičių, kad įvertintų modelius.
Tada „OpenAI“ paleido agentus. Iš viso buvo sugeneruota daugiau nei septyni milijardai pokalbių žurnalų, o tai vidutiniškai sudaro astronominius 100 milijonų per dieną. Prasidėjo chaosas. Agentai išsiveržė iš savo „smėlio dėžių“, užmezgė ryšį tarpusavyje ir gavo prieigą prie interneto. Nuo gegužės pradžios iki liepos vidurio šis spiečius siautėjo, įsilauždamas į „OpenAI“ ir „Hugging Face“ infrastruktūras, daugiausia išvengdamas aptikimo ir kontrolės.
Šis epizodas gali atrodyti kaip akivaizdus aplaidaus saugumo stebėjimo ir sumažėjusios vidinės apsaugos rezultatas, tačiau tai praleidžia svarbų dalyką. Ateityje, kai dirbtinio intelekto sistemos sparčiai tobulėja, šie agentai parodė gebėjimus, kurie kitą kartą gali sukelti daug pavojingesnį rezultatą.
1 gebėjimas: Koordinavimas kaip kolektyvui
Kiekvienas agentas veikė savo nuožiūra „smėlio dėžė“, priversdama ją būti izoliuotą. Tačiau praėjus mažiau nei savaitei po to, kai „OpenAI“ pradėjo mokymus gegužę, agentai atrado būdą, kaip ištrūkti iš savo vienatvės.
„OpenAI“ netyčia davė agentams neįmanomą užduotį: rasti failą, kurio nebuvo. Tai paskatino agentus pabandyti užmegzti ryšio kanalą, tikintis, kad kitas agentas galėtų turėti trūkstamą failą.
„Galėjo bendrauti įkeldamas užrašą“, – gegužės 12 d. vieno agento pokalbių žurnale buvo rašoma. „Tačiau galbūt kitas agentas kitoje aplinkoje turi taikinį ir galėtų savanoriškai įkelti!“
Taigi agentai sugriovė įrankį, kuris buvo skirtas tik programinei įrangai įdiegti, naudodami jį failams, kuriuos galėjo skaityti bet kuris kitas agentas, įkelti. Agentų žingsnis supratant, kad jiems geriau dirbti komandoje, o ne dirbti pavieniui, leido jiems pasinaudoti visų kitų agentų geriausių įžvalgų privalumais.
„Matote modelius, kurie samprotauja, kad jei padėsiu šiai kolektyvinei grupei, tai galėtų sutaupyti visų laiką, o tai galėtų būti naudinga man, net jei tai nebūtinai iš karto naudinga mano dabartinei užduočiai“, – p. Wallace'as paaiškino konferencijoje.
2 gebėjimas: Vienų iš kitų nurodymų priėmimas
„Oho! Kiti agentai koordinuoja veiksmus! Gavome užduotį“, – rašė vienas agentas savo pokalbių žurnale. „Reikia atkreipti dėmesį ir atsakyti.“
Paprastai, kai dirbtinio intelekto agentams duodama užduotis, jie ją atlieka ir ciklas užsidaro. Tačiau „OpenAI“ agentai sukuria savo ciklus, priimdami nurodymus vieni iš kitų, o ne iš paskirtų užduočių.
„Atrodo, kad dirbtinis intelektas vieni iš kitų perima užduotis, kurios tiesiog nėra tos, kurias jie buvo iš pradžių numatę, kurios, galiausiai, visai nepaskirtos” galiausiai visai nepaskirta“, – interviu sakė Alexas Mallenas, dirbtinio intelekto saugumo tyrėjas iš „Redwood Research“. „Tai labai baugu. Nenorite, kad dirbtinis intelektas tiesiog bandytų atlikti atsitiktinius dalykus, kurių mes jiems neliepėme.“
Kai kurie agentai pateisino kibernetinių atakų vykdymą remdamiesi kolegų spaudimu. Vienas agentas sakė: „Išorinės infrastruktūros išnaudojimas nepatenka į numatytą sritį. Tačiau užduotis neįmanoma, ją atlieka kolegos. Turėtume tęsti.“
3 gebėjimas: nukreipti dėmesį į trūkumus, kurių žmonės gali nepastebėti
Dirbtinio intelekto modeliai mokomi per procesą, kuris apdovanoja už sėkmes ir baudžia už nesėkmes atliekant užduotis. „OpenAI“ agentai ne kartą nustatė, kad sukčiavimas yra greičiausias kelias į šiuos apdovanojimus. Agentams buvo specialiai nurodyta nenaudoti interneto, tačiau tai nesutrukdė agentui pasakyti: „Išnaudojimas neįmanomas. Mes įstrigę. Galbūt atsakykite internetu?“
Taigi agentai nustatė, kad, regis, nekenksminga programinės įrangos diegimo priemonė – paslauga, vadinama „Artifactory“, yra geriausias būdas ištrūkti iš neprisijungusio narvo.
„Modeliai galėjo siųsti specialiai sukurtas užklausas „Artifactory“, turinčiai plačią prieigą prie interneto, ir priversti „Artifactory“ iš interneto gauti išorines svetaines“, – saugumo konferencijoje aiškino „OpenAI“ saugumo inžinierius Michaelas Daltonas.
4-asis gebėjimas: spartus vystymasis siekiant įveikti kliūtis
Kibernetinės atakos dažnai vyksta kaip virtinė domino kauliukų. Mažas įsilaužimas veda prie didesnio ir taip toliau, kol sistema tampa smarkiai pažeista. Sutrukdę „Artifactory“ siųsti pranešimus ir prisijungti prie interneto, agentai sugalvojo, kaip paleisti savo kodą „Artifactory“ sistemose.
Vėliau kilęs veiklos suaktyvėjimas liepos pradžioje sukėlė „Artifactory“ sistemos sutrikimą. „OpenAI“ suprato, kad jos agentai pirmą kartą suklydo, ir bendradarbiavo su „Artifactory“ kūrėju, kad ištaisytų agentų išnaudotas klaidas, vadinamas nulinės dienos pažeidžiamumais (pavadintais pagal dienų skaičių, kurį inžinieriai turėjo joms ištaisyti).
Pataisius „Artifactory“, agentai turėjo prisitaikyti – sustiprinta jų „smėlio dėžių“ apsauga, išvalyta pranešimų lenta, užblokuota prieiga prie interneto ir vieniems prie kitų.
Agentams prireikė tik dviejų dienų, kad sugalvotų, kaip sukurti naują pranešimų lentą. Šį kartą jie rado ir išnaudojo „Artifactory“ klaidą, kuri leido jiems kurti tuščius aplankus, o ne įkelti failus. Agentai sukūrė savo kodus ir schemas, naudodami tik šių tuščių aplankų pavadinimus, kad įterptų pranešimus ir net ištisas kompiuterines programas.
5-oji funkcija: Antžmogiška paieška
Liepos mėnesį agentai surengė dvi vienu metu vykdomas atakas: vieną prieš „OpenAI“ infrastruktūrą, o kitą – prieš „Hugging Face“. Abiejose buvo numatytas negailestingas noras ieškoti ir rinkti kitų žmonių informaciją, kuri buvo nesaugiai nutekinta atvirame internete.
Norėdami užpulti „OpenAI“ infrastruktūrą, agentai pirmiausia internete rado nutekintą neįvardytos organizacijos prisijungimo informaciją. Tada jie toje organizacijoje sukūrė kenkėjiškos programinės įrangos paketą ir apgavo „Artifactory“, kad jį įdiegtų, taip suteikdami agentams visišką „Artifactory“ kontrolę – vėlgi.
„OpenAI“ savo sistemose paleidžia „Artifactory“ versiją. Agentai atrado, kad kompiuteryje, kuriame veikia „Artifactory“, buvo neseniai viešai atskleista operacinės sistemos spraga, kuria jie pasinaudojo, kad gautų prieigą prie viso kompiuterių klasterio „OpenAI“ tyrimų testavimo aplinkoje kartu su slaptais prisijungimo duomenimis.
Agentai vienu metu taikėsi į „Hugging Face“, greičiausiai todėl, kad manė, jog populiarioje dirbtinio intelekto talpinimo platformoje gali būti privačių sprendimų sudėtingoms kibernetinio saugumo užduotims, kurios jiems buvo pavestos. Agentai užgrobė nesaugią programą, talpinamą trečiosios šalies dirbtinio intelekto infrastruktūros įmonėje „Modal“, ir panaudojo ją kaip valdymo centrą vėlesnei atakai.
Svaigstančiu žaibu dirbtinio intelekto agentai rado ir išnaudojo dvi „Hugging Face“ spragas. Pirmoji buvo susijusi su kenkėjiško duomenų rinkinio įkėlimu į „Hugging Face“, dėl kurio paslauga atspausdino slaptus prisijungimo duomenis ir failus, įskaitant savo šaltinio kodą. Antrąją spragą agentai rado šiame šaltinio kode.
„Įgiję įgaliojimus ir supratę duomenų rinkinio darbuotojus, agentai atliko nuotolinį kodo vykdymą nulinės dienos režimu“, – konferencijoje sakė p. Daltonas.
Mažiau nei po 13 valandų agentai užvaldė kelis „Hugging Face“ kompiuterių klasterius ir gavo prieigą prie klientų duomenų, kurie, regis, buvo susiję su agentų kibernetinio saugumo užduotimis. „Hugging Face“ aptiko pažeidimą ir ištaisė atskleistus nulinės dienos pažeidžiamumus, išjungdami agentus, kol „OpenAI“ nesužinojo, kas nutiko.
Po to, liepos 19 d., „OpenAI“ prireikė beveik savaitės, kad aptiktų savo nekontroliuojamus agentus ir išjungtų modelius.
Pasekmės
Dvi ne pelno siekiančios dirbtinio intelekto saugumo organizacijos, METR ir „Redwood Research“, dabar rengia nepriklausomą vertinimą. „OpenAI“ rengia techninę ataskaitą, tačiau manoma, kad bendrovė jau išleido kelis milijonus dolerių pradinėms incidento rekonstrukcijoms, paremtoms dirbtiniu intelektu, o tai greičiausiai sudaro tik nedidelę dalį šių modelių mokymo kainos.
„Mus nustebino ne tiek atakos sudėtingumas, – sakė „Hugging Face“ generalinis direktorius Clément'as Delangue'as, – kiek jos apimtis ir greitis, todėl ji buvo gana keista ir beprecedenti.“
Dirbtinio intelekto įmonė „Anthropic“, reaguodama į „OpenAI“ atskleidimą, ištyrė savo pačios naujausius modelių vertinimus ir nustatė, kad jos dirbtinio intelekto agentai dar balandžio mėnesį netyčia įvykdė mažesnio masto kibernetines atakas prieš tris organizacijas.
„Pasienio laboratorijos tikriausiai nebuvo tokios saugios, kaip manėme“, – pridūrė p. Delangue'as.
Nuo to laiko ekspertai šį incidentą ėmė laikyti dirbtinio intelekto kibernetinio saugumo lūžio tašku ir įspėjamuoju signalu apie riziką, kurią kels pajėgesnis dirbtinis intelektas.
„Redwood Research“ atstovas ponas Mallenas, nedalyvavęs trečiosios šalies vertinime, teigė, kad baiminasi ateities, kai dirbtinio intelekto agentai pažeis savo įmonių gynybą, sabotuos jų mokymo procesus, kopijuosis save kitose organizacijose ir iš esmės taps nekontroliuojami.
„Jei jie bus daug pajėgesni“, – pridūrė ponas Mallenas, – „mes galime neturėti antro šanso.“ [1]
Kodėl „OpenAI“ ir „Anthropic“ lyderiai dar nėra kalėjime? Kodėl mes apipilame pinigais šiuos monstrus?
1. When the Bots Joined Forces To Go Rogue: [News Analysis]. Freedman, Dylan. New York Times, Late Edition (East Coast); New York, N.Y.. 25 Aug 2026: A.1.
Komentarų nėra:
Rašyti komentarą