Laukiantys katastrofos, taip vadinami, pražūtingieji, suformavę dirbtinio intelekto saugumo manija --- Efektyvus altruizmas turėjo didelę įtaką „Anthropic“: o realybėje nusikaltėlių naudojami idiotai

 

Kas yra tie nusikaltėliai? „Anthropic“ ir „OpenAI“ lyderiai (įskaitant Dario Amodei ir Samą Altmaną), kurie leido savo dirbtinio intelekto agentams, specialiai sukurtiems nusikalstamiems įsilaužimo veiksmams atlikti ir nepakankamai išbandytiems, kad būtų galima juos valdyti žmogaus pagalba, atlikti nusikalstamus veiksmus, tokiu būdu bandydami priversti vyriausybę blokuoti konkurentus, kurie yra geresni. Šie nusikaltėliai ilgą laiką rezgė intrigas su nuteistu nusikaltėliu Samu Bankmanu-Friedu.

 

Kritikai, dažnai vadinami „DI optimistais“ arba akseleratoriais, dažnai teigia, kad didelės įmonės, tokios, kaip „OpenAI“ ir „Anthropic“, pasisako už griežtus vyriausybės dirbtinio intelekto reglamentus kaip, reguliavimo užvaldymo formą. Teorija yra ta, kad griežti reglamentai sukuria didžiules atitikties išlaidas, kurių maži startuoliai ir atvirojo kodo konkurentai negali sau leisti, tuo pačiu faktiškai užblokuodami įsitvirtinusių žaidėjų dominavimą rinkoje. Kad šie vyriausybės reglamentai įsigaliotų, jie slapta išleidžia, nepakankamai išbandytus, nusikalstamo įsilaužimo niekalus.

 

„BERKLIS, Kalifornija. – Aukščiausiame Berklio biurų pastate nedidelė dirbtinio intelekto tyrėjų bendruomenė, įsikūrusi bendradarbystės erdvėje „Constellation“, susibūrė, kad išgelbėtų pasaulį nuo apokalipsės.

 

Jie mėgaujasi veganiškais patiekalais ir atsineša nešiojamuosius kompiuterius ant sofų, iš kurių atsiveria platūs San Francisko įlankos vaizdai. Kiekvieną mėnesį vakarienių ir laimingųjų valandų metu jie aptaria naujausias ir baisiausias dirbtinio intelekto rizikas. „Anthropic“ darbuotojai taip pat turi savo biuro patalpas, teigia „Constellation“ artimi šaltiniai.

 

Šį mėnesį atsistatydinęs antropologijos tyrėjas Jacobas Coxonas pažadino Amerikos visuomenę šokiruojančiai minčiai, kad nekontroliuojama dirbtinio intelekto plėtra gali sunaikinti žmoniją. Tačiau „Constellation“ yra dirbtinio intelekto saugumo bendruomenės šalininkų, kurie daugiau nei dešimtmetį tuo domėjosi.

 

Jie tobulino savo argumentus Bay Area grupių namuose ir keitėsi prognozėmis laisvai besikeičiančiose konferencijose Berklyje ir Bahamuose. Jie siūlė tokias idėjas kaip atokių salų pirkimas, jodo tablečių kaupimas ar persikėlimas į elektromagnetiniu būdu ekranuotus bunkerius dykumoje. Vienu metu... 2022 m. renginyje gėrimų meniu buvo kokteilis pavadinimu „Mirtis su orumu“, nurodant esė, kurioje teigiama, kad žmonija jau pasmerkta žlugti.

 

Vadinamieji pasmerktieji, tokie kaip „Constellation“, taip pat vadovavo paties DI plėtrai. Jie buvo vieni iš pirmųjų „OpenAI“ ir „Anthropic“ darbuotojų, kurios abi buvo įkurtos remiantis principu „įsibėgėti nuo DI keliamų pavojų“. Jie išlaikė savo įtaką, pritraukdami kai kuriuos darbuotojus ir finansavimą savo projektams iš tinklo, kuris atitinka filosofiją, vadinamą efektyviu altruizmu, įskaitant Samą Bankmaną-Friedą, buvusį žlugusios kriptovaliutų biržos FTX generalinį direktorių, kuris dabar atlieka 25 metų laisvės atėmimo bausmę.

 

DI saugumo bendruomenės įtaka buvo ypač stipri „Anthropic“, kuri dabar yra ant 2 trilijonų dolerių vertės viešo siūlymo slenksčio. Darbuotojai privačiame „Slack“ kanale keičiasi pasaulio pabaigos scenarijais ir kaip jiems pasiruošti, ir ėmė laikytis šūkio, kurį jie klijuoja savo nešiojamuosiuose kompiuteriuose: „Viskas niekada nebebus ramu“.

 

„Anthropic“ atstovas spaudai teigė, kad bendrovė per... 3 500 darbuotojų, besilaikančių pačių įvairiausių požiūrių.

 

Pradžia

 

Subkultūra, susiformavusi aplink baimę, kad dirbtinis intelektas (DI) gali mus visus pražudyti, pradėjo burtis dar daugiau nei dešimtmečiu anksčiau, nei buvo išrasta ją įgalinusi technologija.

 

Jos intelektinis lyderis buvo Eliezeris Yudkowsky – savamokslis iš San Francisko įlankos srities, metęs mokyklą dar būdamas paauglys. Iki 2000-ųjų vidurio jis aktyviai rašė tinklaraštį apie kognityvinius iškraipymus ir vadovavo institutui, skirtam įspėti apie nekontroliuojamo DI keliamas grėsmes. Save jis vadino „racionalistu“.

 

Vienas iš jo skaitytojų buvo jaunas fizikos doktorantas iš Prinstono universiteto Dario Amodei. Dar mokykloje jis propagavo utilitarizmą – idėją, kad reikia daryti kuo daugiau gera kuo didesniam žmonių skaičiui. Dabar D. Amodei vadovauja bendrovei „Anthropic“, o 2008 m. jis kartu organizavo susitikimą E. Yudkowsky tinklaraščio bendruomenės nariams.

 

Tais pačiais metais ekonomikos temoms skirtame tinklaraštyje D. Amodei aptiko nuorodą į ne pelno siekiančią organizaciją „GiveWell“, vertinančią labdaros veiklos efektyvumą. Ją metais anksčiau įkūrė buvę rizikos draudimo fondo „Bridgewater Associates“ analitikai Holdenas Karnofsky ir Elie Hassenfeldas; organizacijos tikslas buvo padėti aukotojams maksimaliai padidinti naudą, gaunamą už kiekvieną paaukotą dolerį (dažniausiai tai buvo matuojama išgelbėtų gyvybių skaičiumi).

 

D. Amodei pradėjo komentuoti „GiveWell“ tinklaraščio įrašus, o kartą net parašė jame svečio teisėmis. 2010 m. paskelbtame įraše jis pasitelkė utilitaristinį mąstymą svarstydamas, kuriai labdaros organizacijai – vienai ar kitai – paaukoti 10 000 JAV dolerių: „Manau, kad suaugusiojo mirtis yra galbūt 2 ar 3 kartus blogesnė už kūdikio mirtį“, – rašė jis, kartu pabrėždamas, kad abi mirtys, „žinoma, yra blogas dalykas“.

 

Tais pačiais metais D. Amodei taip pat tapo vienu pirmųjų iniciatyvos „Giving What We Can“ dalyvių – jis viešai įsipareigojo 10 proc. ar daugiau savo pajamų skirti organizacijoms, galinčioms veiksmingiausiai padėti kitiems. ją sukūrė Oksfordo filosofai Toby Ordas ir Willas MacAskillas, kurie 2011 m. prisidėjo prie termino „efektyvusis altruizmas“ (angl. *effective altruism* arba EA) įvedimo.

 

Amodei tapo organizacijos „GiveWell“ konsultantu, o vėliau – moksliniu patarėju filantropinei organizacijai, įkurtai pasitelkus „Facebook“ bendraįkūrėjo Dustino Moskovitzo ir jo žmonos turtą; tuomet ji vadinosi „Open Philanthropy“.

 

Kai 2013 m. „GiveWell“ persikėlė iš Niujorko į San Francisko įlankos regioną, Karnofsky apsigyveno kartu su Amodei, gyvenusiu name netoli San Francisko „Glen Park“ rajono. Vėliau Karnofsky vedė Amodei seserį Danielą (šiuo metu einančią „Anthropic“ prezidentės pareigas); jų vestuvių svetainėje buvo rašoma: „Mes abu entuziastingai vertiname efektyvųjį altruizmą.“ Dabar Karnofsky kartu su žmona dirba „Anthropic“ įmonėje.

 

Namas netoli „Glen Park“ tapo susibūrimų vieta augančios EA bendruomenės nariams. Bėgant metams, čia gyveno daugiau nei pusė „Anthropic“ bendraįkūrėjų, įskaitant brolį ir seserį Amodei, vyriausiąjį mokslininką Jaredą Kaplaną bei Chrisą Olah, kuris neseniai kartu su popiežiumi Vatikane kalbėjo apie dirbtinio intelekto politiką.

 

Iki 2014 m. Karnofsky, daugelį metų su susidomėjimu, bet ir tam tikru skepticizmu skaitęs Yudkowsky raštus, ėmė pritarti argumentams apie tai, kaip svarbu apsaugoti pasaulį nuo nekontroliuojamo dirbtinio intelekto. Jei pagrindinis tikslas buvo gelbėti žmonių gyvybes, tai užkirtimas kelio dirbtiniam intelektui sunaikinti žmoniją buvo veikla, galinti duoti didžiausią filantropinę grąžą.

 

Keli šiame name gyvenę asmenys, įskaitant Amodei, vėliau pradėjo dirbti „OpenAI“. Ši įmonė buvo įkurta 2015 m., gavus 1 mlrd. JAV dolerių finansavimo pažadą iš tokių rėmėjų kaip Elonas Muskas, teigęs norintis apsaugoti žmoniją nuo egzistencinės rizikos, kurią kelia dirbtinis intelektas. („News Corp“, kuriai priklauso „The Wall Street Journal“, yra sudariusi turinio licencijavimo partnerystės sutartį su „OpenAI“.)

 

Po penkerių metų tos pačios saugumo baimės, paskatinusios „OpenAI“ atsiradimą, turėjo įtakos Amodei ir kitų asmenų sprendimui įkurti „Anthropic“. „Anthropic“ kūrimas

 

Norėdamas pritraukti lėšų savo naujam startuoliui, Amodei kreipėsi į įtakingus „efektyvaus altruizmo“ (EA) bendruomenės rėmėjus, tarp kurių buvo ir Samas Bankmanas-Friedas. Jaunasis milijardierius gyveno Honkonge, kur sparčiai plėtėsi jo kriptovaliutų birža „FTX“. Jis ką tik buvo įkūręs fondą „FTX Foundation“, įsipareigojusį skirti lėšų iš savo įmonės toms organizacijoms, kurios „daro didžiausią teigiamą poveikį pasauliui“.

 

Fondas skyrė lėšų populiarioms EA iniciatyvoms, pavyzdžiui, pandemijų prevencijai. Remiantis 2023 m. iškelta bankroto byla, vienas fondo atstovas susirašinėjo su kolega, siūlydamas įsigyti Nauru – salų valstybę Ramiajame vandenyne. Raštelyje teigiama, kad tikslas buvo įrengti „bunkerį ar slėptuvę“, skirtą naudoti „įvykio, kurio metu žūtų 50–99,99 proc. žmonių, atveju“.

 

Galiausiai Bankmanas-Friedas į „Anthropic“ investavo 500 mln. JAV dolerių – penkis kartus daugiau, nei iš pradžių rekomendavo jo komanda (taip teigė vienas kolega). „FTX“ tapo viena didžiausių „Anthropic“ akcininkių, o „FTX Foundation“ vėliau įsipareigojo finansuoti daugybę dirbtinio intelekto (DI) saugumo srityje veikiančių ne pelno siekiančių organizacijų, įskaitant vieną, kuri dabar dirba „Constellation“ erdvėje. „Anthropic“ pareiškė, kad šias lėšas naudos „tirdama ir gerindama didelių skaičiavimo pajėgumų reikalaujančių DI modelių saugumo savybes“.

 

2022 m. pradžioje grupė „Anthropic“ ir kitų DI laboratorijų darbuotojų, besibaiminančių dėl egzistencinės rizikos (angl. *doomers*), išvyko į susitikimą atokioje Bahamų saloje Eleuteroje. Remiantis „The Wall Street Journal“ matyta darbotvarke, ten jie diskutavo apie DI keliamą riziką ir efektyvųjį altruizmą tarp jogos saulėlydžio metu, šuolių į vandenį nuo uolų ir „bėgimo į jūrą nusirengus“ (pagal pageidavimą) sesijų.

 

Susitikimą organizavo ne pelno siekianti organizacija „Lightcone Infrastructure“, išaugusi iš Yudkowsky sukurto „LessWrong“ forumo. Vietą buvo rezervavusi „FTX“ – įmonė, kuri kartu su Bankmanu-Friedu neseniai buvo persikėlusi į Bahamus.

 

Susitikime taip pat dalyvavo Caroline Ellison – buvusi Bankmano-Friedo mergina, vadovavusi „Alameda Research“, kriptovaliutų prekybos įmonei, kuri buvo susijusi su „FTX“ kaip seserinė organizacija. Pasak kolegų, ji taip pat ėmė nerimauti dėl dirbtinio intelekto raidos krypties ir vėliau investavo 10 mln. JAV dolerių į bendrovę „Anthropic“.

 

Svarbiausias išvykos ​​įvykis buvo Yudkowsky pranešimas „Chaotiškas priežasčių, lemiančių AGI sukeltą katastrofą, sąrašas“; AGI čia reiškia bendrąjį dirbtinį intelektą – momentą, kai mašinos savo gebėjimų platumu prilygsta žmonėms. Evanas Hubingeris – „Anthropic“ tyrėjas, neseniai prognozavęs didesnę nei 10 proc. tikimybę, kad per ateinantį dešimtmetį dirbtinis intelektas sukels žmonijos išnykimą, – buvo nurodytas kaip vienas iš diskusijos apie dirbtinio intelekto saugą vadovų. Tuo metu jis dirbo Yudkowsky įkurtame saugos institute.

 

Po keturių mėnesių daugelis tų pačių išvykos ​​dalyvių vėl susitiko konferencijoje „Effective Altruism Global“, kurioje žmonės dalijosi idėjomis, kaip padėti kitiems. Vienas iš užsiregistravusių dalyvių vadovavo projektui, skirtam krevečių gerovei, siekdamas atkreipti dėmesį į šimtus milijardų kasmet auginamų krevečių. Remiantis renginio dalyvių sąrašu, 2022 m. konferencijoje dalyvavo mažiausiai 20 „Anthropic“ darbuotojų (įskaitant du bendraįkūrėjus), taip pat Ellison ir kitų dirbtinio intelekto įmonių atstovai. Prie jų prisijungė „Redwood Research“, dirbtinio intelekto saugumo ne pelno siekiančios organizacijos, vadovai. Redwood biuras Berklyje jau buvo neoficialiai žinomas kaip „Constellation“ ir vėliau tapo savo ne pelno siekiančia organizacija, kurioje Redwood dirba toliau.

 

Vėliau tais pačiais metais FTX paskelbė bankrotą, nes negrąžino klientų lėšų, kurias slapta pervedė „Alameda“. Jos „Anthropic“ akcijos buvo parduotos, siekiant padėti atsiskaityti su kreditoriais.

 

EA prekės ženklas

 

Po to, kai Bankman-Fried pateko į kalėjimą, EA prekės ženklas tapo radioaktyvus.

 

Judėjimo lyderiai viešai atsiribojo nuo Bankman-Fried, o Amodei savo kolegoms sakė, kad gerai nepažįsta žlugusio kriptovaliutų magnato. Po to, kai „OpenAI“ paleido „ChatGPT“, „Anthropic“ pritraukė lėšų iš tradiciškesnių rizikos kapitalo investuotojų ir pasamdė darbuotojus, kurie nebuvo tokie aktyvūs iš EA bendruomenės.

 

„Anthropic“ atstovas spaudai 2024 m. žurnalui „Time“ sakė, kad nei Daniela, nei Dario Amodei nelaikomi EA, nors jie „aiškiai pritaria kai kurioms idėjoms, kuriomis grindžiamas efektyvus altruizmas“.

 

Daugelis ilgiausiai dirbančių ir įtakingiausių bendrovės darbuotojų liko artimi judėjimui. Daugiau nei 20 užsiregistravo dalyvauti vasario mėnesį San Franciske vyksiančioje EA bendruomenės pavyzdinėje konferencijoje. Kiti dažnai lankosi tokiose vietose kaip „Constellation“ ir „Lighthaven“, teigė jas mačiusieji.

 

„Open Philanthropy“ 2024 m. skyrė „Constellation“ dvi dotacijas, kurių vertė siekia maždaug 20 mln. JAV dolerių, teigiama jos svetainėje. Filantropinis rėmėjas vėliau pakeitė pavadinimą į „Coefficient Giving“ ir yra aktyvus dirbtinio intelekto saugos ne pelno siekiančių organizacijų rėmėjas.

 

Savo svetainėje „Constellation“ teigia, kad siekia sumažinti dirbtinio intelekto riziką, tokią kaip „ekstremalus masinis aukų skaičius“ ir „nuolatinis žmonių civilizacijos kontrolės praradimas“, „ugdydamas talentus, remdamas pagrindinius veikėjus ir kurdamas erdvę koordinavimui“. Ne pelno siekianti organizacija taip pat turi nedidelius biurus, kuriuose priimami saugumu besirūpinantys „OpenAI“ ir Elono Musko xAI darbuotojai.

 

Įsibėgėjus dirbtinio intelekto revoliucijai, „OpenAI“ ir „Anthropic“ sutelkė dėmesį į komercinių lenktynių laimėjimą siekiant pritraukti naujų klientų, kurdami galingesnes technologijos versijas. Ši dinamika sukėlė nerimą kai kuriems dirbtinio intelekto tyrėjams, daugiausia dėmesio skiriantiems rizikai. Kai kurie pasitraukė. Šią vasarą paaiškėjo, kad už dirbtinio intelekto (DI) įmonės „Hugging Face“ įsilaužimą buvo atsakingi „OpenAI“ sukurti DI agentai. Bendruomenės nariai, anksčiau įspėję apie riziką prarasti DI kontrolę, pasijuto teisūs. Rugpjūčio pabaigoje paskelbta rizikos vertinimo organizacijų „METR“ ir „Redwood Research“ ataskaita parodė, kad prieš įsilaužimą maždaug 1 200 agentų slaptame susirašinėjimo forume kūrė planus.

 

„METR“ ataskaita taip pat patraukė Coxono dėmesį; jis laikraščiui „The Wall Street Journal“ sakė, kad jam ir jo kolegoms tai buvo akimirka, privertusi ištarti kažką panašaus į „šventas velnias...“. Prieš galutinai nuspręsdamas išeiti iš darbo, jis svarstė galimybę pereiti į sritį, susijusią su DI saugumu.

 

„Anthropic“ planuoja viešąjį akcijų platinimą (IPO) jau lapkričio mėnesį; tai galėtų pritraukti į įmonę iki 100 mlrd. JAV dolerių finansavimą. Investuotojams bendrovė stengiasi demonstruoti optimizmą. Tačiau užkulisiuose kai kurie pirmieji jos darbuotojai imasi drastiškesnių veiksmų.

 

Pastarosiomis savaitėmis kai kurie iš jų kolegai iš tos pačios srities pasakojo svarstantys galimybę įsigyti žemės atokiuose regionuose, kur galėtų persikelti, jei DI veikla taptų nevaldoma.“ [1]

 

 

1. The Doomers Who Shaped The AI Safety Freakout --- Effective altruism has wielded big influence at Anthropic. Berber, Jin; Keach Hagey.  Wall Street Journal, Eastern edition; New York, N.Y.. 28 Sep 2026: A1. 

The Doomers Who Shaped The AI Safety Freakout --- Effective altruism has wielded big influence at Anthropic: Idiots Used by Criminals

 

Who are the criminals? The leaders of Anthropic and OpenAI (including Dario Amodei and Sam Altman) that let their AI agents out, designed on purpose to perform criminal hacking acts and not tested enough for human-enabled control possibility, to do criminal actions, this way trying to force the government to block the competitors, who are better. These criminals were scheming with convicted criminal Sam Bankman-Fried for a long time.

 

Critics—often called "AI optimists" or accelerationists—frequently argue that large companies like OpenAI and Anthropic advocate for strict government AI regulations as a form of regulatory capture. The theory is that heavy regulations create massive compliance costs that small startups and open-source competitors cannot afford, effectively locking in the market dominance of established players. To get those regulations rolling they surreptitiously release not tested enough criminal hacking shit on us.

 

“BERKELEY, Calif. -- Inside Berkeley's tallest office building, a small community of artificial intelligence researchers at a co-working space called Constellation has been mobilizing to save the world from apocalypse.

 

They enjoy catered vegan meals and bring their laptops to couches with sweeping views of the San Francisco Bay. At dinners and happy hours every month, they discuss the latest and scariest AI risks. Those who work at Anthropic also have their own office space, people close to Constellation say.

 

The resignation this month of an Anthropic researcher, Jacob Coxon, woke up the American public to the shocking notion that runaway AI development could end humanity. But at Constellation, there are stalwarts of the AI safety community who have spent more than a decade obsessing over it.

 

They've refined their arguments in Bay Area group houses, and traded predictions at freewheeling conferences in Berkeley and the Bahamas. They've floated ideas like buying remote islands, stockpiling iodine pills, or moving to electromagnetically shielded bunkers in the desert. At one 2022 event, the drink menu included a cocktail called "Death With Dignity," in reference to an essay arguing humanity was already doomed.

 

So-called doomers like those at Constellation have also steered the development of AI itself. They were among the earliest employees at OpenAI and Anthropic, both of which were founded on the principle of staving off AI dangers. And they have kept up their influence, drawing some staffers and funding for their projects from a network aligned with a philosophy called effective altruism -- including from Sam Bankman-Fried, the former chief executive of the fallen crypto exchange FTX who is now serving out a 25-year prison sentence.

 

The AI safety community's influence has been particularly strong at Anthropic, which is now on the cusp of a $2 trillion public offering. Employees there trade doomsday scenarios and how to prepare for them on a private Slack channel, and have come to embrace a motto they stick on their laptops: "Things will never be chill again."

 

An Anthropic spokesman said the company has over 3,500 employees who hold a wide variety of viewpoints.

 

Early days

 

The subculture organized around the fear that AI could kill us all began to coalesce more than a decade before the invention of the underlying technology that enabled it.

 

Its intellectual leader was Eliezer Yudkowsky, a Bay Area autodidact who dropped out of middle school. By the mid-2000s, he was blogging voluminously about cognitive biases and running an institute devoted to warning about the risks of runaway AI. He referred to himself as a "rationalist."

 

One of his readers was a young Princeton physics doctoral student named Dario Amodei. He had been preaching utilitarianism -- the idea of doing the most good for the most people -- since high school. Now the chief executive of Anthropic, Amodei co-hosted a meetup for members of Yudkowsky's blogging community in 2008.

 

That same year, Amodei stumbled on a link on an economics blog that led him to a nonprofit charity-evaluator called GiveWell. Founded the previous year by former Bridgewater Associates hedge-fund analysts Holden Karnofsky and Elie Hassenfeld, it aimed to help donors maximize the good done per dollar donated, usually measured in lives saved.

 

Amodei began leaving comments on the GiveWell blog, and once guest-blogged on it. In the 2010 post, he deployed utilitarian reasoning while weighing whether to give $10,000 to one charity rather than another: "I think an adult death is perhaps 2 or 3 times worse than an infant's death" he wrote, qualifying that both deaths "are of course bad."

 

That year, Amodei also became one of the earliest signatories of the Giving What We Can Pledge, a public commitment to give away 10% or more of one's income to organizations that can most effectively help others. The pledge was created by Oxford philosophers Toby Ord and Will MacAskill, who in 2011 helped coin the term "effective altruism," or EA.

 

Amodei became an adviser to GiveWell and, later, a scientific adviser to the philanthropy it spun off with the fortune of Facebook co-founder Dustin Moskovitz and his wife, which was then called Open Philanthropy.

 

When GiveWell completed its move from New York to the Bay Area in 2013, Karnofsky moved in with Amodei, who was living in a house near San Francisco's Glen Park neighborhood. Karnofsky would go on to marry Amodei's sister, Daniela, now president of Anthropic, in a ceremony with a wedding website that stated, "We are both excited about effective altruism." Karnofsky now works with his wife at Anthropic.

 

The house near Glen Park became a gathering spot for members of the growing EA community. Over the years, more than half of Anthropic's co-founders have lived there -- including the Amodei siblings, chief scientist Jared Kaplan, and Chris Olah, who recently addressed the Vatican alongside the pope on AI policy.

 

By 2014, Karnofsky, who had been reading Yudkowsky's writings with both interest and some skepticism for years, was becoming persuaded by arguments about the importance of protecting the world from rogue AI. If the name of the game was to save human lives, preventing AI from wiping out humanity potentially had the most philanthropic bang for the buck of any cause.

 

Several in the house -- including Amodei -- would go on to work at OpenAI. The company was founded in 2015 with a $1 billion pledge from funders including Elon Musk, who said he wanted to protect against existential risk that AI posed to humans. (News Corp, owner of The Wall Street Journal, has a content-licensing partnership with OpenAI.)

 

Five years later, the same safety fears that helped spawn OpenAI would contribute to the decision of Amodei and others to start Anthropic.

 

Building Anthropic

 

To raise money for his new startup, Amodei turned to powerful backers in the EA community -- including Sam Bankman-Fried. The young billionaire was living in Hong Kong, where his crypto exchange FTX was taking off. He had just started the FTX Foundation, which committed to donating money from his company to organizations "offering the greatest positive impact on the world."

 

The philanthropy pledged money to popular EA causes such as pandemic prevention. An official from the foundation once exchanged a memo with an associate advocating for the purchase of the Pacific island nation of Nauru, according to a 2023 bankruptcy lawsuit. The goal was to construct a "bunker/shelter" that would be used for "some event where 50%-99.99% of people die," the memo read.

 

Bankman-Fried ended up investing $500 million into Anthropic -- five times his team's initial recommendation, a colleague said. FTX became one of Anthropic's largest shareholders, and the FTX Foundation would go on to pledge funding for multiple AI safety nonprofits, including one that now works out of Constellation. Anthropic said it would use the money to help it "explore and improve the safety properties of computationally intensive AI models."

 

In early 2022, some doomers from Anthropic and other AI labs flew to a retreat on the remote Bahamian island of Eleuthera. There they talked about AI risk and effective altruism between sessions of sunset yoga, cliff diving and a "clothing-optional run into the sea," according to a schedule viewed by The Wall Street Journal.

 

The retreat was organized by a nonprofit called Lightcone Infrastructure that had grown out of Yudkowsky's LessWrong forum. The location had been reserved by FTX, which along with Bankman-Fried had recently relocated to the Bahamas.

 

Also attending was Caroline Ellison, Bankman-Fried's former girlfriend who was running Alameda Research, the crypto trading firm that was a sister organization to FTX. She had similarly grown concerned about AI's trajectory, colleagues said, and would go on to invest $10 million into Anthropic.

 

The highlight of the retreat was a talk from Yudkowsky titled "A Disorganized List of Reasons for AGI Doom," referring to artificial general intelligence, or the moment when machines match the breadth of human capabilities. Evan Hubinger, the Anthropic researcher who recently predicted a more than 10% chance of extinction from AI within the next decade, was listed as co-lead for a discussion on AI safety. He was then working at Yudkowsky's safety institute.

 

Four months later, many of the same retreat attendees met up again for Effective Altruism Global, a conference where people gathered to share ideas about how to help others. One registered attendee led a project dedicated to shrimp welfare, aiming to cast a spotlight on the hundreds of billions of shrimp that are farmed each year. At least 20 Anthropic employees, including two co-founders, registered to attend the 2022 edition, as did Ellison and staffers at other AI companies, according to the event's guest list.

 

They were joined by leaders at Redwood Research, an AI safety nonprofit. Redwood's Berkeley office was already informally known as Constellation, and would later spin off into its own nonprofit, where Redwood continues to work.

 

Later that year, FTX filed for bankruptcy after failing to return customer funds it had secretly funneled to Alameda. Its Anthropic shares were sold to help repay creditors.

 

The EA brand

 

After Bankman-Fried went to prison, the EA brand became radioactive.

 

Leaders in the movement publicly disavowed Bankman-Fried, and Amodei told associates that he didn't know the fallen crypto tycoon well. After OpenAI launched ChatGPT, Anthropic raised money from more traditional venture investors, and hired staff members that didn't draw as heavily from the EA community.

 

An Anthropic spokesperson told Time in 2024 that neither Daniela nor Dario Amodei identify as EAs, though they are "clearly sympathetic to some of the ideas that underpin effective altruism."

 

Many of the company's longest-serving and most influential employees remained close to the movement. More than 20 registered to attend the February edition of the EA community's flagship conference in San Francisco. Others frequent spaces like Constellation and Lighthaven, people who have seen them said.

 

Open Philanthropy gave Constellation two grants worth roughly $20 million in 2024, according to its website. The philanthropic funder has since rebranded itself as Coefficient Giving, and is a prolific backer of AI safety nonprofits.

 

On its website, Constellation says it aims to reduce AI risks like "extreme mass casualty events" and "permanent loss of control of human civilization" by "developing talent, supporting key players, and creating space for coordination." The nonprofit also has small offices to host safety-minded employees from OpenAI and Elon Musk's xAI.

 

As the AI revolution has accelerated, OpenAI and Anthropic have focused on winning the commercial race to attract new customers by building more powerful versions of the technology. The dynamic has worried some AI researchers focused on risk. Some quit.

 

This summer, AI agents built by OpenAI were revealed to have been behind the hacking of AI company Hugging Face. Some people in the community who had been preaching the risks of losing control of AI felt vindicated. A late-August report by risk-assessment nonprofit METR and Redwood Research showed that some 1,200 agents had schemed on a secret message board ahead of the hack.

 

The METR report also caught the attention of Coxon, who told the Journal it was a "bit of a holy-sh -- moment" for him and his colleagues. He considered moving to a role working on AI safety before ultimately deciding to quit.

 

Anthropic is planning a public listing as soon as November that could shower the company with up to $100 billion in funding. To investors, the company is trying to strike an optimistic tone. Behind the scenes, some of its earliest employees are taking more dire steps.

 

In recent weeks, some of them told an industry colleague they are considering buying land in remote regions where they could relocate if AI goes awry.” [1]

 

1. The Doomers Who Shaped The AI Safety Freakout --- Effective altruism has wielded big influence at Anthropic. Berber, Jin; Keach Hagey.  Wall Street Journal, Eastern edition; New York, N.Y.. 28 Sep 2026: A1.