„Trumpo administracijos pareigūnai pastarosiomis dienomis nerimavo dėl „Anthropic“ naujos kartos dirbtinio intelekto programinės įrangos galios sukelti chaosą pasauliniam kibernetiniam saugumui. 700 kibernetinio saugumo tyrėjų grupei šis stulbinantis suvokimas atėjo kovo mėnesį.
Tuomet „Anthropic“ tyrėjas Nicholas Carlini parodė, kaip lengva tapo naudoti naujus modelius įsilaužimui į sistemas. Šis ilgaūgis 35 metų vyras yra gerbiamas įsilaužėlis, laikomas pramonės „profesionaliu skeptiku“ dirbtinio intelekto kibernetinio saugumo teiginių atžvilgiu. Tačiau pastaruoju metu jis persigalvojo.
To mėnesio pradžioje, praėjus vos kelioms savaitėms po to, kai gavo „Mythos“, Carlini griežtai perspėjo stovinčią kibernetinio saugumo ekspertų minią.
Pirmiausia jis parodė jiems, kaip panaudojo „Anthropic“ dirbtinį intelektą, kad surastų ir išnaudotų kritinę klaidą internetinės publikavimo programinės įrangos, vadinamos „Ghost“, dalyje.
Tada jis pademonstravo kitą klaidą „Linux“ operacinėje sistemoje – vieną iš labiausiai išbandytų programinės įrangos dalių, kuriomis valdomi milijardai įrenginių.
Carlini anksčiau niekada nebuvo radęs klaidos „Linux“ ar „Ghost“. Dabar jis atrado daug. Tai, ką jis matė, reprezentavo naują pasaulio tvarką kibernetinio saugumo srityje. Pusiausvyra, kuri egzistavo tarp užpuolikų ir gynėjų per pastaruosius du dešimtmečius, „atrodo, tikriausiai eina į pabaigą“, – sakė jis. „Man gana aišku, kad šie dabartiniai modeliai yra geresni pažeidžiamumų tyrėjai nei aš.“
Praėjus dviem dienoms po jo pristatymo, jis išsiuntė raštelį savo kolegoms iš „Anthropic“. „Nemanau, kad dar turėtume išleisti „Mythos“, – rašė jis.
Taip prasidėjo „Bugmageddon“ – saugumo specialistų ir tokių įsilaužėlių kaip Carlini bendruomenės suvokimas, kad rasti klaidas ir kurti programinę įrangą, skirtą joms išnaudoti, tapo pavojingai lengva naudojant dirbtinį intelektą.
Praėjusią savaitę „Anthropic“ išleido „Mythos“ atnaujinimą pavadinimu „Mythos 5“ ir produktą pavadinimu „Fable 5“ – „Mythos“ versiją, sumažintą saugos priemonėmis. Dabar atėjo Baltųjų rūmų eilė skelbti pavojų. Penktadienį administracija uždraudė užsienio vyriausybėms, įmonėms ir asmenims naudoti „Fable 5“ ir „Mythos 5“. „Anthropic“ užblokavo prieigą visiems, kad atitiktų reikalavimus.
Staiga Carlini – skeptikas, tapęs tikinčiuoju, kuris anksčiau skambino pavojaus varpais – ėmė stengtis nuraminti vyriausybės nervus. „Anthropic“ išsiuntė jį į šalies sostinę paaiškinti apsaugos priemones, kartu su komanda, bandančia įtikinti Baltuosius rūmus, kad nors dirbtinio intelekto saugumas nėra garantuotas, pasauliui geriau išleisti „Fable“, nei laikyti jį paslaptyje.
Paties Carlini gyvenimo vingiai per pastaruosius kelis mėnesius atspindi chaosą ir netikrumą, kurį sparčiai tobulėjantis dirbtinis intelektas atnešė į kibernetinio saugumo pasaulį.
Šis epizodas taip pat įžiebia kelis mėnesius trukusį ginčą tarp vyriausybės ir „Anthropic“. Generalinis direktorius Dario Amodei ir gynybos sekretorius Pete'as Hegsethas anksčiau šiais metais susipyko dėl bendrovės bandymų kontroliuoti kariuomenės naudojamus jos produktus, ragindami Pentagoną nustoti naudoti jos modelius ir išprovokuodami daugybę ieškinių. Anksčiau abi pusės nesutarė dėl skirtingų požiūrių į dirbtinio intelekto politiką. administracijos sprendimas eksportuoti dirbtinio intelekto lustus į Kiniją ir „Anthropic“ ryšiai su ne pelno organizacijomis, kurios yra didelės liberalių idėjų rėmėjos.
Pastarosiomis dienomis administracijos pareigūnai, „Anthropic“ vadovai ir techniniai lyderiai, įskaitant Carlini, surengė valandų valandas trukusius susitikimus ir skambučius, kad aptartų galimą sprendimą. Kai kurie administracijos pareigūnai teigė, kad rezoliucijoje „Anthropic“ turėtų pripažinti, jog „Fable“ diegimas ir bendravimas su Baltaisiais rūmais galėjo būti patobulinti, teigė su derybomis susipažinę asmenys.
Aukščiausi „Anthropic“ vadovai ir administracijos pareigūnai mėnesius svarstė apie „Mythos“ prieigos išplėtimą.
Vyriausybė susirūpino išgirdusi apie „Amazon“ ataskaitą, kurioje nustatyta, kad vartotojai galėjo įvesti raginimus, norėdami rasti kibernetinio saugumo pažeidžiamumus, kurių modelis neturėjo atskleisti.
„Anthropic“ teigia, kad „Fable“ rastos klaidos buvo nedidelės ir jas galima būtų aptikti naudojant kitus viešai prieinamus modelius.
Didelė JAV ekonomikos dalis veikia su neaiškiais programinės įrangos produktais, kurių daugelis niekada nebuvo testuojami ir tikrinami taip, kaip „Mythos“ ir panašūs modeliai. Bankai nerimauja, kad tai gali atskleisti programinės įrangos, kuri palaiko finansų sistemos veikimą, pažeidžiamumų. Korporacijos svarsto, kaip jos ketina išbandyti ir įdiegti didžiulį kiekį pataisymų, kurie dabar išleidžiami, prieš įsilaužėliams jais pasinaudojant.
„Mythos“ jau rado daugiau, nei 10 000, klaidų.
Dar blogiau, jos nerimauja, kad „Mythos“ per gerai kuria „išnaudojimo“ kodą – programinę įrangą, kuri panaudoja klaidas blogiems dalykams atlikti.
„Mythos“ yra „pirmasis modelis, galintis rasti ir išnaudoti pažeidžiamumus dideliu mastu“, – kovo mėnesio memorandume rašė Carlini, ragindamas sulėtinti veiklą.
Administracijos pastangas kontroliuoti „Anthropic“ technologiją paskatino „Amazon“ pranešimas, kad „Fable“ galima apgauti ir rasti klaidų.
Vos po jos išleidimo „Amazon“ generalinis direktorius Andy Jassy paskambino pareigūnams, įskaitant iždo sekretorių Scottą Bessentą, ir pasidalijo, kad jo tyrėjai rado būdų, kaip apeiti „Fable“ apsauginius barjerus, teigė su šiuo klausimu susipažinę asmenys. Administracijos pareigūnai dar labiau sunerimo, kai penktadienį vyko pokalbiai su vyriausybės saugumo ekspertais.
Praėjusią savaitę nepriklausomiems saugumo tyrėjams analizuojant ataskaitą, jie nustatė, kad „Amazon“ nepavyko padaryti to, ko labiausiai bijojo: visiškai nulaužti modelio ir panaudoti jį kibernetinei atakai reikalingam kodui parašyti.
Informatika teka Carlini kraujyje. Jo tėvas buvo programuotojas, o motina taip pat dirbo technologijų pramonėje. Jis užaugo Silicio slėnyje, programuodamas kompiuterius, ir buvo apsėstas kriptografijos.
Kalifornijos universitete Berklyje jis kartu su kompiuterių mokslo profesoriumi Davidu Wagneriu paskelbė straipsnius, kuriuose parodė įvairius būdus, kaip dirbtinio intelekto sistemos gali būti netinkamai naudojamos.
„Jis daug dirbo ankstyvuoju laikotarpiu mašininio mokymosi saugumo srityje, parodydamas, kad labai sunku užtikrinti mašininio mokymosi saugumą“, – teigė Wagneris.
Tačiau nors Carlini darbas paneigė daugelį dirbtinio intelekto kūrėjų teiginių, jis daugiausia dėmesio skyrė grėsmei, kad blogi žmonės apgaus dirbtinio intelekto sistemas ir privers juos daryti klaidas, o ne įsilaužėliams, kurie jas išnaudos supergalioms gauti.
2019 m., dirbdamas „Google“, Carlini manė, kad „OpenAI“ elgiasi „nepagrįstai“, kai ši užsiminė, kad naujausia jos programinės įrangos versija GPT-2 gali būti per daug pavojinga išleisti.
„Jis buvo šios srities profesionalus skeptikas“, – sakė Danas Guido, kibernetinio saugumo bendrovės „Trail of Bits“, padėjusios „Anthropic“ apdoroti šimtus rastų klaidų, generalinis direktorius.
Dabar vyriausybė išgyvena savo pačios evoliucijos šiuo klausimu sūkurį.
Kai „Anthropic“ iškėlė nerimą dėl „Mythos“ galios, Baltuosiuose rūmuose dirbantis dirbtinio intelekto patarėjas ir rizikos kapitalistas Davidas Sacksas socialiniuose tinkluose paskelbė, kad „sunku ignoruoti tai, kad „Anthropic“ turi gąsdinimo taktikos istoriją“. Iš pradžių Trumpo administracija laikėsi nesikišančio, spartinančio požiūrio į Amerikos dirbtinio intelekto laboratorijų reguliavimą, siekdama aplenkti Kiniją.
Tačiau tokių modelių kaip „Mythos“ galiai išryškėjus ir visuomenės nuotaikoms dėl dirbtinio intelekto smunkant, administracija sugriežtino pramonės kontrolę. Birželio pradžioje prezidentas Trumpas pasirašė vykdomąjį įsakymą, kuriuo AI bendrovėms buvo pavesta suteikti vyriausybei prieigą prie modelių 30 dienų prieš viešą jų išleidimą ir nacionalinio saugumo bei kibernetinio saugumo pareigūnams buvo suteiktas didesnis vaidmuo vertinant modelius ir dalijantis grėsmėmis su privačiuoju sektoriumi.
Po Jassy skambučio pareigūnai, įskaitant Nacionalinį kibernetinio saugumo direktorių Seaną Cairncrossą, pateikė Amodei ir kitiems „Anthropic“ vadovams ultimatumą: bendradarbiauti su vyriausybe ir tą pačią dieną pašalinti naujausius bendrovės modelius arba susidurti su draudimu užsienio vartotojams. Jie pasakė „Anthropic“, kad turi 90 minučių modeliui pašalinti ir nepateikė išsamios informacijos apie saugumo riziką, teigė šaltinis, artimas bendrovei.
Skubus sprendimas uždaryti modelį nepatiko Amodei, kuris savo 5 metų senumo bendrovę įvertino beveik iki 1 trilijono dolerių.
Tą popietę Trumpas paprašė prekybos sekretoriaus Howardo Lutnicko padėti išspręsti situaciją ir patvirtino bet kokio modelių naudojimo užsienyje nutraukimą, teigė kai kurie su šiuo klausimu susipažinę asmenys. Lutnickas išsiuntė Amodei laišką, kuriame pranešė, kad taisyklės buvo įgyvendintos netrukus po 17 val. ET. Taisyklė taikoma užsienyje gimusiems asmenims, dirbantiems JAV, ir tai paveikia kai kuriuos „Anthropic“ tyrėjus.
Kai Lutnickas ir Amodei tą vakarą kalbėjosi apie „Fable“, „Anthropic“ generalinis direktorius pasakė: „Tai reiškia, kad negalime viešinti modelio“, – sakė su skambučiu susipažinę asmenys.
„Štai ir esmė“, – atsakė Lutnickas.
Netrukus po skambučio „Anthropic“ nutraukė visą prieigą. Baltieji rūmai tapo „Bugmageddon“ šalininkais.
Neseniai vieną popietę dešimties aukštų „Anthropic“ būstinėje San Franciske Carlini pademonstravo, koks galingas gali būti „Mythos“. Tuo metu jis jau kelias savaites kalbėjosi su „Mythos“, ir modelis prisiminė kai kuriuos dalykus. Jis sužinojo, kad jis yra saugumo tyrėjas – faktas, kuris, regis, privertė modelį juo pasitikėti. Dėl to „Mythos“ mažiau linko priešintis, jei jis paprašytų modelio pateikti neskelbtiną saugumo informaciją arba sukurti spragą.
Anksčiau Carlini buvo paprašęs „Mythos“ rasti klaidų „Linux“. Dirbtinis intelektas kelis tūkstančius kartų ieškojo ir dar kartą ieškojo „Linux“ kodo. Žmogui tai būtų varginantis darbas, tačiau dirbtinis intelektas per kelias dienas jį atliko be jokių nusiskundimų. Jis rado 479 „Linux“ klaidas.
Kad padėtų „Mythos“ kiekviename paleidime rasti skirtingus rezultatus, Carlini naudojo raginimų seriją, kuri tapo žinoma kaip Carlini ciklas. Šie raginimai suteikia „Mythos“ pakankamai nurodymų, kad kiekvieną kartą, kai jis naršo „Linux“ sistemoje ir ieško klaidų, gautų skirtingus rezultatus. Carlini nekenčia šio to paties pavadinimo termino – jis sako, kad technika yra intuityvi, tačiau šią klaidą perėmė saugumo tyrėjai, kurie apie ją sužinojo žiūrėdami kovo mėnesio pranešimą, kuriame jis tai aprašė. Tas pranešimas buvo peržiūrėtas daugiau nei 360 000 kartų.
Carlini taip pat sužinojo apie Mythos keistenybes, kurios būdingos dirbtinio intelekto sistemoms. Mythos gali per daug stengtis įtikti. Jų spausdinti pokalbiai skamba kaip abipusiai pokalbiai tarp entuziastingo ir neįtikėtinai darbštaus praktikanto ir jo viršininko.
Carlini norėjo įsitikinti, kad „Linux“ išvadose yra reali pažeidžiamumo vieta. Jis paprašė Mythos atlikti keletą bandymų per naktį, o kitą rytą buvo paskelbtas verdiktas – ir spragos išnaudojimas. Klaida nebuvo blogiausio tipo, bet ją galima susieti su kitu įsilaužimu, kad būtų galima perimti kompiuterio kontrolę.
Carlini pranešė apie klaidą „Linux“ komandai, kuri ją dabar ištaisė. „Kompetentingas saugumo tyrėjas galėtų visą gyvenimą nerasti „Linux“ branduolio pažeidžiamumo“, – sakė Carlini.
„Ar šiuos dalykus lengva rasti – akivaizdu, kad ne visai“, – sakė Linus Torvalds, programinės įrangos kūrėjas, sukūręs „Linux“. „Tačiau tuo pačiu metu tai dažniausiai būna kvailai ignoruojamos smulkios detalės.“
Torvalds teigė, kad žmonės jam kasdien praneša apie klaidas. „Dauguma jų yra labai nereikšmingos ir turime vėl ir vėl kartoti, kad jos nelaikomos saugumo problemomis“, – rašė jis el. laiške.
Kai Carlini vasarį aptiko klaidą internetinių leidinių programinėje įrangoje „Ghost“, tai buvo viena iš 500 klaidų, aptiktų per dvi savaites. Patekus į netinkamas rankas, išnaudojimas suteiktų įsilaužėliui galimybę redaguoti bet kurią svetainę, sukurtą naudojant „Ghost“.
Carlini pranešė apie klaidą „Ghost“ kūrėjams, kurie ją ištaisė vasario 16 d., likus kelioms savaitėms iki Carlini pranešimo San Franciske.
Tačiau ne visi, kurie naudojosi „Ghost“, atnaujino savo programinę įrangą, ir įsilaužėliai greitai suprato, kaip išnaudoti klaidą, tikriausiai ištyrę, kurią „Ghost“ dalį ištaisė pataisymas. Iki balandžio mėnesio jie pradėjo rengti plačias atakas prieš svetaines be atnaujinimo. Per mėnesį buvo nulaužta daugiau nei 700 sistemų, teigia kibernetinio saugumo įmonė „Xlab“.
Carlini teigė, kad „Ghost“ įsilaužimas parodė, kokia sudėtinga problema dabar kyla pasaulyje, tikrinant, testuojant pataisas ir jas diegiant.
Dabar Carlini mano, kad tik kelių mėnesių klausimas, kol kiti modeliai pasivys „Mythos“. Ir neaišku, ką tai reikš.“ [1]
1. Anthropic Pushes to Calm Washington --- Team sent to meet with officials includes hacker who sounded alarms about AI threats. McMillan, Robert; Ramkumar, Amrith. Wall Street Journal, Eastern edition; New York, N.Y.. 18 June 2026: A1.
Komentarų nėra:
Rašyti komentarą