Kas yra tie nusikaltėliai? „Anthropic“ ir „OpenAI“ lyderiai (įskaitant Dario Amodei ir Samą Altmaną), kurie leido savo dirbtinio intelekto agentams, specialiai sukurtiems nusikalstamiems įsilaužimo veiksmams atlikti ir nepakankamai išbandytiems, kad būtų galima juos valdyti žmogaus pagalba, atlikti nusikalstamus veiksmus, tokiu būdu bandydami priversti vyriausybę blokuoti konkurentus, kurie yra geresni. Šie nusikaltėliai ilgą laiką rezgė intrigas su nuteistu nusikaltėliu Samu Bankmanu-Friedu.
Kritikai, dažnai vadinami „DI optimistais“ arba akseleratoriais, dažnai teigia, kad didelės įmonės, tokios, kaip „OpenAI“ ir „Anthropic“, pasisako už griežtus vyriausybės dirbtinio intelekto reglamentus kaip, reguliavimo užvaldymo formą. Teorija yra ta, kad griežti reglamentai sukuria didžiules atitikties išlaidas, kurių maži startuoliai ir atvirojo kodo konkurentai negali sau leisti, tuo pačiu faktiškai užblokuodami įsitvirtinusių žaidėjų dominavimą rinkoje. Kad šie vyriausybės reglamentai įsigaliotų, jie slapta išleidžia, nepakankamai išbandytus, nusikalstamo įsilaužimo niekalus.
„BERKLIS, Kalifornija. – Aukščiausiame Berklio biurų pastate nedidelė dirbtinio intelekto tyrėjų bendruomenė, įsikūrusi bendradarbystės erdvėje „Constellation“, susibūrė, kad išgelbėtų pasaulį nuo apokalipsės.
Jie mėgaujasi veganiškais patiekalais ir atsineša nešiojamuosius kompiuterius ant sofų, iš kurių atsiveria platūs San Francisko įlankos vaizdai. Kiekvieną mėnesį vakarienių ir laimingųjų valandų metu jie aptaria naujausias ir baisiausias dirbtinio intelekto rizikas. „Anthropic“ darbuotojai taip pat turi savo biuro patalpas, teigia „Constellation“ artimi šaltiniai.
Šį mėnesį atsistatydinęs antropologijos tyrėjas Jacobas Coxonas pažadino Amerikos visuomenę šokiruojančiai minčiai, kad nekontroliuojama dirbtinio intelekto plėtra gali sunaikinti žmoniją. Tačiau „Constellation“ yra dirbtinio intelekto saugumo bendruomenės šalininkų, kurie daugiau nei dešimtmetį tuo domėjosi.
Jie tobulino savo argumentus Bay Area grupių namuose ir keitėsi prognozėmis laisvai besikeičiančiose konferencijose Berklyje ir Bahamuose. Jie siūlė tokias idėjas kaip atokių salų pirkimas, jodo tablečių kaupimas ar persikėlimas į elektromagnetiniu būdu ekranuotus bunkerius dykumoje. Vienu metu... 2022 m. renginyje gėrimų meniu buvo kokteilis pavadinimu „Mirtis su orumu“, nurodant esė, kurioje teigiama, kad žmonija jau pasmerkta žlugti.
Vadinamieji pasmerktieji, tokie kaip „Constellation“, taip pat vadovavo paties DI plėtrai. Jie buvo vieni iš pirmųjų „OpenAI“ ir „Anthropic“ darbuotojų, kurios abi buvo įkurtos remiantis principu „įsibėgėti nuo DI keliamų pavojų“. Jie išlaikė savo įtaką, pritraukdami kai kuriuos darbuotojus ir finansavimą savo projektams iš tinklo, kuris atitinka filosofiją, vadinamą efektyviu altruizmu, įskaitant Samą Bankmaną-Friedą, buvusį žlugusios kriptovaliutų biržos FTX generalinį direktorių, kuris dabar atlieka 25 metų laisvės atėmimo bausmę.
DI saugumo bendruomenės įtaka buvo ypač stipri „Anthropic“, kuri dabar yra ant 2 trilijonų dolerių vertės viešo siūlymo slenksčio. Darbuotojai privačiame „Slack“ kanale keičiasi pasaulio pabaigos scenarijais ir kaip jiems pasiruošti, ir ėmė laikytis šūkio, kurį jie klijuoja savo nešiojamuosiuose kompiuteriuose: „Viskas niekada nebebus ramu“.
„Anthropic“ atstovas spaudai teigė, kad bendrovė per... 3 500 darbuotojų, besilaikančių pačių įvairiausių požiūrių.
Pradžia
Subkultūra, susiformavusi aplink baimę, kad dirbtinis intelektas (DI) gali mus visus pražudyti, pradėjo burtis dar daugiau nei dešimtmečiu anksčiau, nei buvo išrasta ją įgalinusi technologija.
Jos intelektinis lyderis buvo Eliezeris Yudkowsky – savamokslis iš San Francisko įlankos srities, metęs mokyklą dar būdamas paauglys. Iki 2000-ųjų vidurio jis aktyviai rašė tinklaraštį apie kognityvinius iškraipymus ir vadovavo institutui, skirtam įspėti apie nekontroliuojamo DI keliamas grėsmes. Save jis vadino „racionalistu“.
Vienas iš jo skaitytojų buvo jaunas fizikos doktorantas iš Prinstono universiteto Dario Amodei. Dar mokykloje jis propagavo utilitarizmą – idėją, kad reikia daryti kuo daugiau gera kuo didesniam žmonių skaičiui. Dabar D. Amodei vadovauja bendrovei „Anthropic“, o 2008 m. jis kartu organizavo susitikimą E. Yudkowsky tinklaraščio bendruomenės nariams.
Tais pačiais metais ekonomikos temoms skirtame tinklaraštyje D. Amodei aptiko nuorodą į ne pelno siekiančią organizaciją „GiveWell“, vertinančią labdaros veiklos efektyvumą. Ją metais anksčiau įkūrė buvę rizikos draudimo fondo „Bridgewater Associates“ analitikai Holdenas Karnofsky ir Elie Hassenfeldas; organizacijos tikslas buvo padėti aukotojams maksimaliai padidinti naudą, gaunamą už kiekvieną paaukotą dolerį (dažniausiai tai buvo matuojama išgelbėtų gyvybių skaičiumi).
D. Amodei pradėjo komentuoti „GiveWell“ tinklaraščio įrašus, o kartą net parašė jame svečio teisėmis. 2010 m. paskelbtame įraše jis pasitelkė utilitaristinį mąstymą svarstydamas, kuriai labdaros organizacijai – vienai ar kitai – paaukoti 10 000 JAV dolerių: „Manau, kad suaugusiojo mirtis yra galbūt 2 ar 3 kartus blogesnė už kūdikio mirtį“, – rašė jis, kartu pabrėždamas, kad abi mirtys, „žinoma, yra blogas dalykas“.
Tais pačiais metais D. Amodei taip pat tapo vienu pirmųjų iniciatyvos „Giving What We Can“ dalyvių – jis viešai įsipareigojo 10 proc. ar daugiau savo pajamų skirti organizacijoms, galinčioms veiksmingiausiai padėti kitiems. ją sukūrė Oksfordo filosofai Toby Ordas ir Willas MacAskillas, kurie 2011 m. prisidėjo prie termino „efektyvusis altruizmas“ (angl. *effective altruism* arba EA) įvedimo.
Amodei tapo organizacijos „GiveWell“ konsultantu, o vėliau – moksliniu patarėju filantropinei organizacijai, įkurtai pasitelkus „Facebook“ bendraįkūrėjo Dustino Moskovitzo ir jo žmonos turtą; tuomet ji vadinosi „Open Philanthropy“.
Kai 2013 m. „GiveWell“ persikėlė iš Niujorko į San Francisko įlankos regioną, Karnofsky apsigyveno kartu su Amodei, gyvenusiu name netoli San Francisko „Glen Park“ rajono. Vėliau Karnofsky vedė Amodei seserį Danielą (šiuo metu einančią „Anthropic“ prezidentės pareigas); jų vestuvių svetainėje buvo rašoma: „Mes abu entuziastingai vertiname efektyvųjį altruizmą.“ Dabar Karnofsky kartu su žmona dirba „Anthropic“ įmonėje.
Namas netoli „Glen Park“ tapo susibūrimų vieta augančios EA bendruomenės nariams. Bėgant metams, čia gyveno daugiau nei pusė „Anthropic“ bendraįkūrėjų, įskaitant brolį ir seserį Amodei, vyriausiąjį mokslininką Jaredą Kaplaną bei Chrisą Olah, kuris neseniai kartu su popiežiumi Vatikane kalbėjo apie dirbtinio intelekto politiką.
Iki 2014 m. Karnofsky, daugelį metų su susidomėjimu, bet ir tam tikru skepticizmu skaitęs Yudkowsky raštus, ėmė pritarti argumentams apie tai, kaip svarbu apsaugoti pasaulį nuo nekontroliuojamo dirbtinio intelekto. Jei pagrindinis tikslas buvo gelbėti žmonių gyvybes, tai užkirtimas kelio dirbtiniam intelektui sunaikinti žmoniją buvo veikla, galinti duoti didžiausią filantropinę grąžą.
Keli šiame name gyvenę asmenys, įskaitant Amodei, vėliau pradėjo dirbti „OpenAI“. Ši įmonė buvo įkurta 2015 m., gavus 1 mlrd. JAV dolerių finansavimo pažadą iš tokių rėmėjų kaip Elonas Muskas, teigęs norintis apsaugoti žmoniją nuo egzistencinės rizikos, kurią kelia dirbtinis intelektas. („News Corp“, kuriai priklauso „The Wall Street Journal“, yra sudariusi turinio licencijavimo partnerystės sutartį su „OpenAI“.)
Po penkerių metų tos pačios saugumo baimės, paskatinusios „OpenAI“ atsiradimą, turėjo įtakos Amodei ir kitų asmenų sprendimui įkurti „Anthropic“. „Anthropic“ kūrimas
Norėdamas pritraukti lėšų savo naujam startuoliui, Amodei kreipėsi į įtakingus „efektyvaus altruizmo“ (EA) bendruomenės rėmėjus, tarp kurių buvo ir Samas Bankmanas-Friedas. Jaunasis milijardierius gyveno Honkonge, kur sparčiai plėtėsi jo kriptovaliutų birža „FTX“. Jis ką tik buvo įkūręs fondą „FTX Foundation“, įsipareigojusį skirti lėšų iš savo įmonės toms organizacijoms, kurios „daro didžiausią teigiamą poveikį pasauliui“.
Fondas skyrė lėšų populiarioms EA iniciatyvoms, pavyzdžiui, pandemijų prevencijai. Remiantis 2023 m. iškelta bankroto byla, vienas fondo atstovas susirašinėjo su kolega, siūlydamas įsigyti Nauru – salų valstybę Ramiajame vandenyne. Raštelyje teigiama, kad tikslas buvo įrengti „bunkerį ar slėptuvę“, skirtą naudoti „įvykio, kurio metu žūtų 50–99,99 proc. žmonių, atveju“.
Galiausiai Bankmanas-Friedas į „Anthropic“ investavo 500 mln. JAV dolerių – penkis kartus daugiau, nei iš pradžių rekomendavo jo komanda (taip teigė vienas kolega). „FTX“ tapo viena didžiausių „Anthropic“ akcininkių, o „FTX Foundation“ vėliau įsipareigojo finansuoti daugybę dirbtinio intelekto (DI) saugumo srityje veikiančių ne pelno siekiančių organizacijų, įskaitant vieną, kuri dabar dirba „Constellation“ erdvėje. „Anthropic“ pareiškė, kad šias lėšas naudos „tirdama ir gerindama didelių skaičiavimo pajėgumų reikalaujančių DI modelių saugumo savybes“.
2022 m. pradžioje grupė „Anthropic“ ir kitų DI laboratorijų darbuotojų, besibaiminančių dėl egzistencinės rizikos (angl. *doomers*), išvyko į susitikimą atokioje Bahamų saloje Eleuteroje. Remiantis „The Wall Street Journal“ matyta darbotvarke, ten jie diskutavo apie DI keliamą riziką ir efektyvųjį altruizmą tarp jogos saulėlydžio metu, šuolių į vandenį nuo uolų ir „bėgimo į jūrą nusirengus“ (pagal pageidavimą) sesijų.
Susitikimą organizavo ne pelno siekianti organizacija „Lightcone Infrastructure“, išaugusi iš Yudkowsky sukurto „LessWrong“ forumo. Vietą buvo rezervavusi „FTX“ – įmonė, kuri kartu su Bankmanu-Friedu neseniai buvo persikėlusi į Bahamus.
Susitikime taip pat dalyvavo Caroline Ellison – buvusi Bankmano-Friedo mergina, vadovavusi „Alameda Research“, kriptovaliutų prekybos įmonei, kuri buvo susijusi su „FTX“ kaip seserinė organizacija. Pasak kolegų, ji taip pat ėmė nerimauti dėl dirbtinio intelekto raidos krypties ir vėliau investavo 10 mln. JAV dolerių į bendrovę „Anthropic“.
Svarbiausias išvykos įvykis buvo Yudkowsky pranešimas „Chaotiškas priežasčių, lemiančių AGI sukeltą katastrofą, sąrašas“; AGI čia reiškia bendrąjį dirbtinį intelektą – momentą, kai mašinos savo gebėjimų platumu prilygsta žmonėms. Evanas Hubingeris – „Anthropic“ tyrėjas, neseniai prognozavęs didesnę nei 10 proc. tikimybę, kad per ateinantį dešimtmetį dirbtinis intelektas sukels žmonijos išnykimą, – buvo nurodytas kaip vienas iš diskusijos apie dirbtinio intelekto saugą vadovų. Tuo metu jis dirbo Yudkowsky įkurtame saugos institute.
Po keturių mėnesių daugelis tų pačių išvykos dalyvių vėl susitiko konferencijoje „Effective Altruism Global“, kurioje žmonės dalijosi idėjomis, kaip padėti kitiems. Vienas iš užsiregistravusių dalyvių vadovavo projektui, skirtam krevečių gerovei, siekdamas atkreipti dėmesį į šimtus milijardų kasmet auginamų krevečių. Remiantis renginio dalyvių sąrašu, 2022 m. konferencijoje dalyvavo mažiausiai 20 „Anthropic“ darbuotojų (įskaitant du bendraįkūrėjus), taip pat Ellison ir kitų dirbtinio intelekto įmonių atstovai. Prie jų prisijungė „Redwood Research“, dirbtinio intelekto saugumo ne pelno siekiančios organizacijos, vadovai. Redwood biuras Berklyje jau buvo neoficialiai žinomas kaip „Constellation“ ir vėliau tapo savo ne pelno siekiančia organizacija, kurioje Redwood dirba toliau.
Vėliau tais pačiais metais FTX paskelbė bankrotą, nes negrąžino klientų lėšų, kurias slapta pervedė „Alameda“. Jos „Anthropic“ akcijos buvo parduotos, siekiant padėti atsiskaityti su kreditoriais.
EA prekės ženklas
Po to, kai Bankman-Fried pateko į kalėjimą, EA prekės ženklas tapo radioaktyvus.
Judėjimo lyderiai viešai atsiribojo nuo Bankman-Fried, o Amodei savo kolegoms sakė, kad gerai nepažįsta žlugusio kriptovaliutų magnato. Po to, kai „OpenAI“ paleido „ChatGPT“, „Anthropic“ pritraukė lėšų iš tradiciškesnių rizikos kapitalo investuotojų ir pasamdė darbuotojus, kurie nebuvo tokie aktyvūs iš EA bendruomenės.
„Anthropic“ atstovas spaudai 2024 m. žurnalui „Time“ sakė, kad nei Daniela, nei Dario Amodei nelaikomi EA, nors jie „aiškiai pritaria kai kurioms idėjoms, kuriomis grindžiamas efektyvus altruizmas“.
Daugelis ilgiausiai dirbančių ir įtakingiausių bendrovės darbuotojų liko artimi judėjimui. Daugiau nei 20 užsiregistravo dalyvauti vasario mėnesį San Franciske vyksiančioje EA bendruomenės pavyzdinėje konferencijoje. Kiti dažnai lankosi tokiose vietose kaip „Constellation“ ir „Lighthaven“, teigė jas mačiusieji.
„Open Philanthropy“ 2024 m. skyrė „Constellation“ dvi dotacijas, kurių vertė siekia maždaug 20 mln. JAV dolerių, teigiama jos svetainėje. Filantropinis rėmėjas vėliau pakeitė pavadinimą į „Coefficient Giving“ ir yra aktyvus dirbtinio intelekto saugos ne pelno siekiančių organizacijų rėmėjas.
Savo svetainėje „Constellation“ teigia, kad siekia sumažinti dirbtinio intelekto riziką, tokią kaip „ekstremalus masinis aukų skaičius“ ir „nuolatinis žmonių civilizacijos kontrolės praradimas“, „ugdydamas talentus, remdamas pagrindinius veikėjus ir kurdamas erdvę koordinavimui“. Ne pelno siekianti organizacija taip pat turi nedidelius biurus, kuriuose priimami saugumu besirūpinantys „OpenAI“ ir Elono Musko xAI darbuotojai.
Įsibėgėjus dirbtinio intelekto revoliucijai, „OpenAI“ ir „Anthropic“ sutelkė dėmesį į komercinių lenktynių laimėjimą siekiant pritraukti naujų klientų, kurdami galingesnes technologijos versijas. Ši dinamika sukėlė nerimą kai kuriems dirbtinio intelekto tyrėjams, daugiausia dėmesio skiriantiems rizikai. Kai kurie pasitraukė. Šią vasarą paaiškėjo, kad už dirbtinio intelekto (DI) įmonės „Hugging Face“ įsilaužimą buvo atsakingi „OpenAI“ sukurti DI agentai. Bendruomenės nariai, anksčiau įspėję apie riziką prarasti DI kontrolę, pasijuto teisūs. Rugpjūčio pabaigoje paskelbta rizikos vertinimo organizacijų „METR“ ir „Redwood Research“ ataskaita parodė, kad prieš įsilaužimą maždaug 1 200 agentų slaptame susirašinėjimo forume kūrė planus.
„METR“ ataskaita taip pat patraukė Coxono dėmesį; jis laikraščiui „The Wall Street Journal“ sakė, kad jam ir jo kolegoms tai buvo akimirka, privertusi ištarti kažką panašaus į „šventas velnias...“. Prieš galutinai nuspręsdamas išeiti iš darbo, jis svarstė galimybę pereiti į sritį, susijusią su DI saugumu.
„Anthropic“ planuoja viešąjį akcijų platinimą (IPO) jau lapkričio mėnesį; tai galėtų pritraukti į įmonę iki 100 mlrd. JAV dolerių finansavimą. Investuotojams bendrovė stengiasi demonstruoti optimizmą. Tačiau užkulisiuose kai kurie pirmieji jos darbuotojai imasi drastiškesnių veiksmų.
Pastarosiomis savaitėmis kai kurie iš jų kolegai iš tos pačios srities pasakojo svarstantys galimybę įsigyti žemės atokiuose regionuose, kur galėtų persikelti, jei DI veikla taptų nevaldoma.“ [1]
1. The Doomers Who Shaped The AI Safety Freakout --- Effective altruism has wielded big influence at Anthropic. Berber, Jin; Keach Hagey. Wall Street Journal, Eastern edition; New York, N.Y.. 28 Sep 2026: A1.
Komentarų nėra:
Rašyti komentarą