„Trumpo administracijos pareigūnai pastarosiomis dienomis
nerimavo dėl „Anthropic“ naujos kartos dirbtinio intelekto programinės įrangos
galios sukelti chaosą pasauliniam kibernetiniam saugumui. 700 kibernetinio
saugumo tyrėjų grupei šis stulbinantis suvokimas atėjo kovo mėnesį.
Tuomet „Anthropic“ tyrėjas Nicholas Carlini parodė, kaip
lengva tapo naudoti naujus modelius įsilaužimui į sistemas. Šis ilgaūgis 35
metų vyras yra gerbiamas įsilaužėlis, laikomas pramonės „profesionaliu
skeptiku“ dirbtinio intelekto kibernetinio saugumo teiginių atžvilgiu. Tačiau
pastaruoju metu jis persigalvojo.
To mėnesio pradžioje, praėjus vos kelioms savaitėms po to,
kai gavo „Mythos“, Carlini griežtai perspėjo stovinčią kibernetinio saugumo
ekspertų minią.
Pirmiausia
jis parodė jiems, kaip panaudojo „Anthropic“ dirbtinį intelektą, kad surastų ir
išnaudotų kritinę klaidą internetinės publikavimo programinės įrangos,
vadinamos „Ghost“, dalyje.
Tada jis
pademonstravo kitą klaidą „Linux“ operacinėje sistemoje – vieną iš labiausiai
išbandytų programinės įrangos dalių, kuriomis valdomi milijardai įrenginių.
Carlini anksčiau niekada nebuvo radęs klaidos „Linux“ ar
„Ghost“. Dabar jis atrado daug. Tai, ką jis matė, reprezentavo naują pasaulio
tvarką kibernetinio saugumo srityje. Pusiausvyra, kuri egzistavo tarp užpuolikų
ir gynėjų per pastaruosius du dešimtmečius, „atrodo, tikriausiai eina į
pabaigą“, – sakė jis. „Man gana aišku, kad šie dabartiniai modeliai yra geresni
pažeidžiamumų tyrėjai nei aš.“
Praėjus dviem dienoms po jo pristatymo, jis išsiuntė raštelį
savo kolegoms iš „Anthropic“. „Nemanau, kad dar turėtume išleisti „Mythos“, –
rašė jis.
Taip prasidėjo „Bugmageddon“ – saugumo specialistų ir tokių
įsilaužėlių kaip Carlini bendruomenės suvokimas, kad rasti klaidas ir kurti
programinę įrangą, skirtą joms išnaudoti, tapo pavojingai lengva naudojant
dirbtinį intelektą.
Praėjusią savaitę „Anthropic“ išleido „Mythos“ atnaujinimą
pavadinimu „Mythos 5“ ir produktą pavadinimu „Fable 5“ – „Mythos“ versiją,
sumažintą saugos priemonėmis. Dabar atėjo Baltųjų rūmų eilė skelbti pavojų.
Penktadienį administracija uždraudė užsienio vyriausybėms, įmonėms ir asmenims
naudoti „Fable 5“ ir „Mythos 5“. „Anthropic“ užblokavo prieigą visiems, kad
atitiktų reikalavimus.
Staiga Carlini – skeptikas, tapęs tikinčiuoju, kuris
anksčiau skambino pavojaus varpais – ėmė stengtis nuraminti vyriausybės nervus.
„Anthropic“ išsiuntė jį į šalies sostinę paaiškinti apsaugos priemones, kartu
su komanda, bandančia įtikinti Baltuosius rūmus, kad nors dirbtinio intelekto
saugumas nėra garantuotas, pasauliui geriau išleisti „Fable“, nei laikyti jį
paslaptyje.
Paties Carlini gyvenimo vingiai per pastaruosius kelis
mėnesius atspindi chaosą ir netikrumą, kurį sparčiai tobulėjantis dirbtinis
intelektas atnešė į kibernetinio saugumo pasaulį.
Šis epizodas taip pat įžiebia kelis mėnesius trukusį ginčą
tarp vyriausybės ir „Anthropic“. Generalinis direktorius Dario Amodei ir
gynybos sekretorius Pete'as Hegsethas anksčiau šiais metais susipyko dėl
bendrovės bandymų kontroliuoti kariuomenės naudojamus jos produktus, ragindami
Pentagoną nustoti naudoti jos modelius ir išprovokuodami daugybę ieškinių.
Anksčiau abi pusės nesutarė dėl skirtingų požiūrių į dirbtinio intelekto
politiką. administracijos sprendimas eksportuoti dirbtinio intelekto lustus į
Kiniją ir „Anthropic“ ryšiai su ne pelno organizacijomis, kurios yra didelės
liberalių idėjų rėmėjos.
Pastarosiomis dienomis administracijos pareigūnai,
„Anthropic“ vadovai ir techniniai lyderiai, įskaitant Carlini, surengė valandų
valandas trukusius susitikimus ir skambučius, kad aptartų galimą sprendimą. Kai
kurie administracijos pareigūnai teigė, kad rezoliucijoje „Anthropic“ turėtų
pripažinti, jog „Fable“ diegimas ir bendravimas su Baltaisiais rūmais galėjo
būti patobulinti, teigė su derybomis susipažinę asmenys.
Aukščiausi „Anthropic“ vadovai ir administracijos pareigūnai
mėnesius svarstė apie „Mythos“ prieigos išplėtimą.
Vyriausybė susirūpino išgirdusi apie „Amazon“ ataskaitą,
kurioje nustatyta, kad vartotojai galėjo įvesti raginimus, norėdami rasti
kibernetinio saugumo pažeidžiamumus, kurių modelis neturėjo atskleisti.
„Anthropic“ teigia, kad „Fable“ rastos klaidos buvo
nedidelės ir jas galima būtų aptikti naudojant kitus viešai prieinamus
modelius.
Didelė JAV
ekonomikos dalis veikia su neaiškiais programinės įrangos produktais, kurių
daugelis niekada nebuvo testuojami ir tikrinami taip, kaip „Mythos“ ir panašūs
modeliai. Bankai nerimauja, kad tai gali atskleisti programinės įrangos, kuri
palaiko finansų sistemos veikimą, pažeidžiamumų. Korporacijos svarsto, kaip jos
ketina išbandyti ir įdiegti didžiulį kiekį pataisymų, kurie dabar išleidžiami,
prieš įsilaužėliams jais pasinaudojant.
„Mythos“ jau
rado daugiau, nei 10 000, klaidų.
Dar blogiau,
jos nerimauja, kad „Mythos“ per gerai kuria „išnaudojimo“ kodą – programinę
įrangą, kuri panaudoja klaidas blogiems dalykams atlikti.
„Mythos“ yra „pirmasis modelis, galintis rasti ir išnaudoti
pažeidžiamumus dideliu mastu“, – kovo mėnesio memorandume rašė Carlini,
ragindamas sulėtinti veiklą.
Administracijos pastangas kontroliuoti „Anthropic“
technologiją paskatino „Amazon“ pranešimas, kad „Fable“ galima apgauti ir rasti
klaidų.
Vos po jos išleidimo „Amazon“ generalinis direktorius Andy
Jassy paskambino pareigūnams, įskaitant iždo sekretorių Scottą Bessentą, ir
pasidalijo, kad jo tyrėjai rado būdų, kaip apeiti „Fable“ apsauginius barjerus,
teigė su šiuo klausimu susipažinę asmenys. Administracijos pareigūnai dar
labiau sunerimo, kai penktadienį vyko pokalbiai su vyriausybės saugumo
ekspertais.
Praėjusią savaitę nepriklausomiems saugumo tyrėjams
analizuojant ataskaitą, jie nustatė, kad „Amazon“ nepavyko padaryti to, ko
labiausiai bijojo: visiškai nulaužti modelio ir panaudoti jį kibernetinei
atakai reikalingam kodui parašyti.
Informatika teka Carlini kraujyje. Jo tėvas buvo
programuotojas, o motina taip pat dirbo technologijų pramonėje. Jis užaugo
Silicio slėnyje, programuodamas kompiuterius, ir buvo apsėstas kriptografijos.
Kalifornijos universitete Berklyje jis kartu su kompiuterių
mokslo profesoriumi Davidu Wagneriu paskelbė straipsnius, kuriuose parodė
įvairius būdus, kaip dirbtinio intelekto sistemos gali būti netinkamai
naudojamos.
„Jis daug dirbo ankstyvuoju laikotarpiu mašininio mokymosi
saugumo srityje, parodydamas, kad labai sunku užtikrinti mašininio mokymosi
saugumą“, – teigė Wagneris.
Tačiau nors Carlini darbas paneigė daugelį dirbtinio
intelekto kūrėjų teiginių, jis daugiausia dėmesio skyrė grėsmei, kad blogi
žmonės apgaus dirbtinio intelekto sistemas ir privers juos daryti klaidas, o ne
įsilaužėliams, kurie jas išnaudos supergalioms gauti.
2019 m., dirbdamas „Google“, Carlini manė, kad „OpenAI“
elgiasi „nepagrįstai“, kai ši užsiminė, kad naujausia jos programinės įrangos
versija GPT-2 gali būti per daug pavojinga išleisti.
„Jis buvo šios srities profesionalus skeptikas“, – sakė
Danas Guido, kibernetinio saugumo bendrovės „Trail of Bits“, padėjusios
„Anthropic“ apdoroti šimtus rastų klaidų, generalinis direktorius.
Dabar vyriausybė išgyvena savo pačios evoliucijos šiuo
klausimu sūkurį.
Kai „Anthropic“ iškėlė nerimą dėl „Mythos“ galios,
Baltuosiuose rūmuose dirbantis dirbtinio intelekto patarėjas ir rizikos
kapitalistas Davidas Sacksas socialiniuose tinkluose paskelbė, kad „sunku
ignoruoti tai, kad „Anthropic“ turi gąsdinimo taktikos istoriją“. Iš pradžių
Trumpo administracija laikėsi nesikišančio, spartinančio požiūrio į Amerikos
dirbtinio intelekto laboratorijų reguliavimą, siekdama aplenkti Kiniją.
Tačiau tokių modelių kaip „Mythos“ galiai išryškėjus ir
visuomenės nuotaikoms dėl dirbtinio intelekto smunkant, administracija
sugriežtino pramonės kontrolę. Birželio pradžioje prezidentas Trumpas pasirašė
vykdomąjį įsakymą, kuriuo AI bendrovėms buvo pavesta suteikti vyriausybei
prieigą prie modelių 30 dienų prieš viešą jų išleidimą ir nacionalinio saugumo
bei kibernetinio saugumo pareigūnams buvo suteiktas didesnis vaidmuo vertinant
modelius ir dalijantis grėsmėmis su privačiuoju sektoriumi.
Po Jassy skambučio pareigūnai, įskaitant Nacionalinį
kibernetinio saugumo direktorių Seaną Cairncrossą, pateikė Amodei ir kitiems
„Anthropic“ vadovams ultimatumą: bendradarbiauti su vyriausybe ir tą pačią
dieną pašalinti naujausius bendrovės modelius arba susidurti su draudimu
užsienio vartotojams. Jie pasakė „Anthropic“, kad turi 90 minučių modeliui
pašalinti ir nepateikė išsamios informacijos apie saugumo riziką, teigė
šaltinis, artimas bendrovei.
Skubus sprendimas uždaryti modelį nepatiko Amodei, kuris
savo 5 metų senumo bendrovę įvertino beveik iki 1 trilijono dolerių.
Tą popietę Trumpas paprašė prekybos sekretoriaus Howardo
Lutnicko padėti išspręsti situaciją ir patvirtino bet kokio modelių naudojimo
užsienyje nutraukimą, teigė kai kurie su šiuo klausimu susipažinę asmenys.
Lutnickas išsiuntė Amodei laišką, kuriame pranešė, kad taisyklės buvo
įgyvendintos netrukus po 17 val. ET. Taisyklė taikoma užsienyje gimusiems
asmenims, dirbantiems JAV, ir tai paveikia kai kuriuos „Anthropic“ tyrėjus.
Kai Lutnickas ir Amodei tą vakarą kalbėjosi apie „Fable“,
„Anthropic“ generalinis direktorius pasakė: „Tai reiškia, kad negalime viešinti
modelio“, – sakė su skambučiu susipažinę asmenys.
„Štai ir esmė“, – atsakė Lutnickas.
Netrukus po skambučio „Anthropic“ nutraukė visą prieigą.
Baltieji rūmai tapo „Bugmageddon“ šalininkais.
Neseniai vieną popietę dešimties aukštų „Anthropic“
būstinėje San Franciske Carlini pademonstravo, koks galingas gali būti
„Mythos“. Tuo metu jis jau kelias savaites kalbėjosi su „Mythos“, ir modelis
prisiminė kai kuriuos dalykus. Jis sužinojo, kad jis yra saugumo tyrėjas –
faktas, kuris, regis, privertė modelį juo pasitikėti. Dėl to „Mythos“ mažiau
linko priešintis, jei jis paprašytų modelio pateikti neskelbtiną saugumo
informaciją arba sukurti spragą.
Anksčiau Carlini buvo paprašęs „Mythos“ rasti klaidų
„Linux“. Dirbtinis intelektas kelis tūkstančius kartų ieškojo ir dar kartą
ieškojo „Linux“ kodo. Žmogui tai būtų varginantis darbas, tačiau dirbtinis
intelektas per kelias dienas jį atliko be jokių nusiskundimų. Jis rado 479
„Linux“ klaidas.
Kad padėtų „Mythos“ kiekviename paleidime rasti skirtingus
rezultatus, Carlini naudojo raginimų seriją, kuri tapo žinoma kaip Carlini
ciklas. Šie raginimai suteikia „Mythos“ pakankamai nurodymų, kad kiekvieną
kartą, kai jis naršo „Linux“ sistemoje ir ieško klaidų, gautų skirtingus
rezultatus. Carlini nekenčia šio to paties pavadinimo termino – jis sako, kad
technika yra intuityvi, tačiau šią klaidą perėmė saugumo tyrėjai, kurie apie ją
sužinojo žiūrėdami kovo mėnesio pranešimą, kuriame jis tai aprašė. Tas
pranešimas buvo peržiūrėtas daugiau nei 360 000 kartų.
Carlini taip pat sužinojo apie Mythos keistenybes, kurios
būdingos dirbtinio intelekto sistemoms. Mythos gali per daug stengtis įtikti.
Jų spausdinti pokalbiai skamba kaip abipusiai pokalbiai tarp entuziastingo ir
neįtikėtinai darbštaus praktikanto ir jo viršininko.
Carlini norėjo įsitikinti, kad „Linux“ išvadose yra reali
pažeidžiamumo vieta. Jis paprašė Mythos atlikti keletą bandymų per naktį, o
kitą rytą buvo paskelbtas verdiktas – ir spragos išnaudojimas. Klaida nebuvo
blogiausio tipo, bet ją galima susieti su kitu įsilaužimu, kad būtų galima
perimti kompiuterio kontrolę.
Carlini pranešė apie klaidą „Linux“ komandai, kuri ją dabar
ištaisė. „Kompetentingas saugumo tyrėjas galėtų visą gyvenimą nerasti „Linux“
branduolio pažeidžiamumo“, – sakė Carlini.
„Ar šiuos dalykus lengva rasti – akivaizdu, kad ne visai“, –
sakė Linus Torvalds, programinės įrangos kūrėjas, sukūręs „Linux“. „Tačiau tuo
pačiu metu tai dažniausiai būna kvailai ignoruojamos smulkios detalės.“
Torvalds teigė, kad žmonės jam kasdien praneša apie klaidas.
„Dauguma jų yra labai nereikšmingos ir turime vėl ir vėl kartoti, kad jos
nelaikomos saugumo problemomis“, – rašė jis el. laiške.
Kai Carlini vasarį aptiko klaidą internetinių leidinių
programinėje įrangoje „Ghost“, tai buvo viena iš 500 klaidų, aptiktų per dvi
savaites. Patekus į netinkamas rankas, išnaudojimas suteiktų įsilaužėliui
galimybę redaguoti bet kurią svetainę, sukurtą naudojant „Ghost“.
Carlini pranešė apie klaidą „Ghost“ kūrėjams, kurie ją
ištaisė vasario 16 d., likus kelioms savaitėms iki Carlini pranešimo San
Franciske.
Tačiau ne visi, kurie naudojosi „Ghost“, atnaujino savo
programinę įrangą, ir įsilaužėliai greitai suprato, kaip išnaudoti klaidą,
tikriausiai ištyrę, kurią „Ghost“ dalį ištaisė pataisymas. Iki balandžio
mėnesio jie pradėjo rengti plačias atakas prieš svetaines be atnaujinimo. Per
mėnesį buvo nulaužta daugiau nei 700 sistemų, teigia kibernetinio saugumo įmonė
„Xlab“.
Carlini teigė, kad „Ghost“ įsilaužimas parodė, kokia
sudėtinga problema dabar kyla pasaulyje, tikrinant, testuojant pataisas ir jas
diegiant.
Dabar Carlini mano, kad tik kelių mėnesių klausimas, kol
kiti modeliai pasivys „Mythos“. Ir neaišku, ką tai reikš.“ [1]
1. Anthropic Pushes to Calm Washington --- Team sent to meet
with officials includes hacker who sounded alarms about AI threats. McMillan,
Robert; Ramkumar, Amrith. Wall Street Journal, Eastern edition; New York,
N.Y.. 18 June 2026: A1.