Sekėjai

Ieškoti šiame dienoraštyje

2026 m. vasario 13 d., penktadienis

„Kažkas nutiks ne taip“: „Anthropic“ vadovas apie artėjančius dirbtinio intelekto sutrikimus: įdomūs laikai


„Dario Amodei dalijasi savo utopinėmis – ir distopinėmis – prognozėmis apie artimiausią dirbtinio intelekto ateitį.

 

Ar dirbtinio intelekto valdovai yra žmonių rasės pusėje? Tai pagrindinis klausimas, kurį turėjau šios savaitės svečiui. Dario Amodei yra „Anthropic“, vienos sparčiausiai augančių dirbtinio intelekto bendrovių, generalinis direktorius. Jis yra šiek tiek utopiškas, kai kalbama apie galimą technologijos, kurią jis paleidžia pasauliui, naudą. Tačiau jis taip pat mato rimtus pavojus ir neišvengiamus sutrikimus.

 

Žemiau pateikiamas redaguotas „Įdomūs laikai“ epizodo transkriptas. Rekomenduojame jo klausytis originalia forma, kad pamatytumėte visą efektą. Tai galite padaryti naudodami aukščiau esantį grotuvą arba „NYTimes“ programėlėje, „Apple“, „Spotify“, „Amazon Music“, „YouTube“, „iHeartRadio“ arba bet kur, kur klausotės tinklalaidžių.

 

Ross Douthat: Dario Amodei, sveiki atvykę į „Įdomius laikus“.

 

Dario Amodei: Ačiū, kad pakvietėte, Ross.

 

Douthat: Taigi, jūs, galbūt neįprastai, technologijų generaliniam direktoriui, esate eseistas. Parašėte du ilgus, labai įdomius esė apie dirbtinio intelekto potencialą ir pavojų. Ir šiame pokalbyje kalbėsime apie pavojus, bet pamaniau, kad būtų gerai pradėti nuo pažado ir optimistinės vizijos – iš tiesų, sakyčiau, utopinės vizijos – kurią prieš porą metų išdėstėte esė pavadinimu „Meilės malonės mašinos“. Prie šio pavadinimo dar grįšime pabaigoje.

 

Tačiau manau, kad daugelis žmonių su dirbtinio intelekto naujienomis susiduria per antraštes, pranašaujančias kraujo praliejimą baltųjų apykaklių darbo vietose ir panašius dalykus. Kartais jūsų paties citatos skatina tokius dalykus.

 

Amodei: Kartais mano paties citatos. Taip.

 

Douthat: Ir manau, kad yra įprastas klausimas „Kam skirtas dirbtinis intelektas?“. kad žmonės turi.

 

Tad kodėl neatsakius į šį klausimą, pradedant nuo to: jei per ateinančius penkerius ar dešimt metų viskas klostysis nuostabiai, kam skirtas dirbtinis intelektas?

 

Amodei: Taip, trumpai papasakosiu, prieš pradėdama dirbtinio intelekto srityje, prieš pradėdama dirbti technologijų srityje, buvau biologė. Iš pradžių dirbau skaičiuojamosios neurologijos srityje, o vėliau Stanfordo medicinos mokykloje ieškojau baltymų biožymenų vėžiui, bandžiau pagerinti diagnostiką ir išgydyti vėžį.

 

Vienas iš pastebėjimų, kuriuos dažniausiai pastebėjau dirbdama šioje srityje, buvo neįtikėtinas jos sudėtingumas. Kiekvienas baltymas turi tam tikrą lygį kiekvienoje ląstelėje. Nepakanka matuoti lygį organizme, lygį kiekvienoje ląstelėje. Reikia matuoti lygį konkrečioje ląstelės dalyje ir kituose baltymuose, su kuriais jis sąveikauja arba sudaro kompleksus.

 

Ir aš turėjau tokį jausmą: Dieve, tai per sudėtinga žmonėms. Mes darome pažangą spręsdami visas šias biologijos ir medicinos problemas, bet darome pažangą gana lėtai.

 

Taigi, kas mane patraukė į šią sritį Dirbtinis intelektas buvo tokia mintis: ar galėtume greičiau pasiekti pažangos?

 

Žiūrėkite, mes jau seniai bandome taikyti dirbtinį intelektą ir mašininio mokymosi metodus biologijoje. Paprastai jie buvo skirti duomenų analizei. Tačiau, kadangi dirbtinis intelektas tampa labai galingas, manau, kad turėtume į tai pagalvoti kitaip. Turėtume galvoti apie dirbtinį intelektą kaip apie biologo darbą, atliekantį viską nuo pradžios iki pabaigos. Ir iš dalies tai apima eksperimentų siūlymą, naujų metodų kūrimą.

 

Turiu skyrių, kuriame sakau, kad didelę dalį biologijos pažangos lėmė santykinai nedidelis įžvalgų skaičius, leidžiantis mums išmatuoti, pasiekti ar įsikišti į labai mažus dalykus. Jei pažvelgsite į daugelį šių metodų, jie buvo išrasti labai atsitiktinai. „Crispr“, kuri yra viena iš šių genų redagavimo technologijų, buvo išrasta, nes kažkas nuėjo į susitikimą apie bakterijų imuninę sistemą ir susiejo tai su savo atliktu darbu genų terapijos srityje. Ir šis ryšys galėjo būti užmegztas prieš 30 metų.

 

Taigi mintis tokia: ar dirbtinis intelektas visa tai paspartintų? Ar tikrai galėtume išgydyti vėžį? Ar tikrai galėtume išgydyti Alzheimerio ligą? Ar tikrai galėtume išgydyti širdies ligas? Ir subtiliau, kai kuriuos psichologinius negalavimus, kuriuos patiria žmonės – depresiją, bipolinį sutrikimą – ar galėtume ką nors dėl jų padaryti? Tiek, kiek jie yra biologiškai pagrįsti, manau, kad bent iš dalies taip.

 

Taigi, aptarsiu šį argumentą: Na, kaip greitai viskas galėtų vystytis, jei turėtume tokius intelektus, kurie galėtų padaryti beveik viską?

 

Douthat: Noriu jus sustabdyti, nes vienas iš įdomių dalykų jūsų esė formuluotėje yra tai, kad šie intelektai nebūtinai turi būti tokio maksimalaus dieviško superintelekto, koks iškyla diskusijose apie dirbtinį intelektą. Jūs iš esmės sakote, jei galime pasiekti stiprų intelektą, atitinkantį maksimalų žmogaus našumą.

 

Amodei: Taip, maksimalų žmogaus našumą.

 

Douthat: O tada padauginti iš ko? Jūsų frazė yra „genijų šalis“.

 

Amodei: Šalis – jų turi 100 milijonų. Galbūt kiekvienas treniravosi šiek tiek kitaip arba bandė spręsti skirtingą problemą. Yra naudos diversifikuojant ir bandant dalykus šiek tiek kitaip, bet taip.

 

Douthat: Taigi, jums nereikia turėti tikrojo Mašinų Dievo. Jums tereikia turėti 100 milijonų genijų.

 

Amodei: Jums nereikia turėti tikrojo Mašinų Dievo. Ir iš tiesų, yra vietų, kur abejoju, ar Mašinų Dievas būtų daug efektyvesnis šiuose dalykuose nei 100 milijonų genijų.

 

Turiu tokią koncepciją, vadinamą mažėjančia intelekto grąža. Ekonomistai kalba apie ribinį žemės ir darbo našumą; mes niekada negalvojome apie ribinį intelekto našumą. Bet jei pažvelgsiu į kai kurias iš šių biologijos problemų, tam tikru lygmeniu jums tiesiog reikia bendrauti su pasauliu. Tam tikru lygmeniu jums tiesiog reikia išbandyti dalykus. Tam tikru lygmeniu jums tiesiog reikia laikytis įstatymų arba pakeisti įstatymus dėl vaistų gavimo per reguliavimo sistemą. Taigi yra ribotas greitis, kuriuo šie pokyčiai gali įvykti.

 

Dabar yra keletas sričių, pavyzdžiui, jei žaidžiate šachmatais ar go, kur intelekto ribos yra itin aukštos. Bet manau, kad realiame pasaulyje yra daug apribojimų. Galbūt galima peržengti genialumo lygį, bet kartais manau, kad visos šios diskusijos apie tai, „Ar galėtumėte panaudoti skaičiavimo mėnulį, kad sukurtumėte dirbtinio intelekto dievą?“, yra šiek tiek sensacingos ir ne į temą, net jei manau, kad tai bus didžiausias dalykas, kuris kada nors nutiko žmonijai.

 

 

Douthat: Taigi, kalbant konkrečiai, turime pasaulį, kuriame vėžys, kaip rimta grėsmė žmogaus gyvybei, nebebus. Širdies ligų, daugelio ligų, kurias patiriame ir kurios mus žudo, nebebus. Galimas gyvenimo pratęsimas ir po to. Taigi, tai yra sveikata. Tai gana teigiama vizija.

 

 

Pakalbėkime apie ekonomiką ir turtą. Kas nutiks per penkerių, dešimties metų dirbtinio intelekto kilimą į turtą?

 

 

Amodei: Taip. Taigi, vėlgi, palikime tai teigiamoje pusėje – pasieksime neigiamą pusę.

 

 

Mes jau dirbame su farmacijos įmonėmis. Mes jau dirbame su finansų pramonės įmonėmis. Mes jau dirbame su žmonėmis, kurie užsiima gamyba. Žinoma, manau, kad esame ypač žinomi dėl programavimo ir programinės įrangos inžinerijos. Taigi, grynas produktyvumas, gebėjimas kurti ir atlikti darbus – tai labai galinga.

 

Matome, kad mūsų įmonės pajamos kasmet auga 10 kartų, ir įtariame, kad platesnė pramonės šaka atrodo panašiai. Jei technologijos toliau tobulės, neprireiks dar 10 kartų, kol staiga pagalvosite: jei visoje pramonėje kasmet gauname 1 trilijoną dolerių pajamų, o JAV BVP yra 20 ar 30 trilijonų dolerių – tiksliai nepamenu – tai turi padidinti BVP augimą keliais procentais. Taigi, matau pasaulį, kuriame dirbtinis intelektas išsivysčiusio pasaulio BVP augimą padidina iki maždaug 10, 15 procentų. Penki, 10, 15 – turiu omenyje, kad nėra jokio mokslo, kaip apskaičiuoti šiuos skaičius. Tai visiškai beprecedentis dalykas. Tačiau tai galėtų padidinti skaičius, kurie neatitinka to, ką matėme anksčiau.

 

Vėlgi, manau, kad tai sukurs keistą pasaulį. Mes visi diskutuojame apie tai, kad „deficitas auga“. Jei BVP auga tiek, tai tiek pat ir mokesčių įplaukų, ir jūs subalansuosite biudžetą netyčia.

 

Vienas iš dalykų, apie kuriuos pastaruoju metu galvoju, yra tai, kad viena iš mūsų ekonominių ir politinių debatų prielaidų yra ta, kad augimą sunku pasiekti. Kad tai vienaragis, ir yra visokių būdų, kaip numušti auksinę žąsį.

 

Galėtume patekti į pasaulį, kuriame augimas yra labai lengvas, o paskirstymas yra sunkus, nes jis vyksta taip greitai, pyragas didinamas taip greitai.

 

Douthat: Taigi, prieš pradėdami spręsti sudėtingą problemą, dar vienas optimizmo nata politiniu klausimu.

 

Visa tai yra spekuliatyvu, bet manau, kad šiek tiek spekuliatyviau yra tai, kad bandote įrodyti, jog dirbtinis intelektas gali būti naudingas demokratijai ir laisvei visame pasaulyje. Kas nebūtinai intuityvu – daugelis žmonių sako, kad neįtikėtinai galingos technologijos autoritarinių lyderių rankose veda prie valdžios koncentracijos ir panašiai.

 

Amodei: Apie tai kalbu kitame rašinyje.

 

Douthat: Teisingai, bet trumpai, koks yra optimistinis argumentas, kodėl dirbtinis intelektas yra naudingas demokratijai?

 

Amodei: Taip, be abejo. Taigi, „Meilės malonės mašinos“. Aš tiesiog sakau: Svajokime!

 

Douthat: Svajokime! Teisingai.

 

Amodei: Pakalbėkime apie tai, kaip tai galėtų gerai pavykti. Nežinau, kiek tai tikėtina, bet turime suformuluoti svajonę. Pabandykime ją įgyvendinti.

 

Taigi, teigiama versija – pripažįstu, kad nežinau, ar technologija iš esmės skatina laisvę. Manau, kad ji iš esmės skatina ligų gydymą ir iš esmės skatina ekonomikos augimą. Tačiau, kaip ir jūs, nerimauju, kad ji gali iš esmės nepalanki laisvei.

 

Bet ką aš sakau, tai: ar galime priversti ją skatinti laisvę? Ar galime padėti Jungtinėms Valstijoms ir kitoms demokratinėms valstybėms išsiveržti į priekį šios technologijos srityje?

 

Jungtinių Valstijų technologinė ir karinė pažanga reiškia, kad turime didelę įtaką visame pasaulyje, o mūsų aljansai su kitomis demokratinėmis valstybėmis dar labiau sustiprina mūsų įtaką. Ir mes sugebėjome suformuoti pasaulį, kuris, mano manymu, yra geresnis nei tas, kuris būtų, jei jį formuotų Kinija ar kitos autoritarinės šalys.

 

Taigi, ar galime panaudoti savo DI lyderystę, kad formuotume laisvę visame pasaulyje? Žinoma, daug diskutuojama apie tai, kiek intervencionistiniai turėtume būti ir kaip turėtume panaudoti šią galią, bet aš dažnai nerimauju, kad šiandien, per socialinę žiniasklaidą, autoritarai mums kenkia.

 

Ar galime tam pasipriešinti? Ar galime laimėti informacinį karą? Ar galime užkirsti kelią autoritarams įsiveržti į tokias šalis kaip Taivanas, gindami jas DI galia?

 

Douthat: Su milžiniškais DI varomų dronų spiečiais.

 

Amodei: Su kuo turime būti atsargūs. Mes patys turime būti atsargūs, kaip juos kuriame. Turime ginti laisvę savo šalyje. Bet ar yra kokia nors vizija, kurioje mes iš naujo įsivaizduojame laisvę ir individualias teises DI amžiuje? Tam tikra prasme turime būti apsaugoti nuo DI ir kažkas turi laikyti mygtuką dronų spiečiui, dėl ko aš labai nerimauju, ir kad šiandien priežiūros nėra.

 

Taip pat pagalvokite apie šiandieninę teisingumo sistemą. Mes pažadame „lygų teisingumą visiems“, tiesa? Tačiau tiesa ta, kad pasaulyje yra skirtingų teisėjų, o teisinė sistema yra netobula. Nemanau, kad turėtume teisėjus pakeisti dirbtiniu intelektu, bet ar yra koks nors būdas, kuriuo dirbtinis intelektas galėtų padėti mums būti teisingesniems, padėti mums būti vienodesniems? Tai niekada anksčiau nebuvo įmanoma. Bet ar galime kažkaip panaudoti dirbtinį intelektą, kad sukurtume kažką neaiškaus, bet kartu pažadėtume, kad jis bus taikomas visiems vienodai?

 

Nežinau tiksliai, kaip tai turėtų būti padaryta, ir nemanau, kad turėtume, pavyzdžiui, pakeisti Aukščiausiąjį Teismą dirbtiniu intelektu. Tai ne mano vizija.

 

Douthat: Na, apie tai pakalbėsime.

 

Amodei: Bet tiesiog ši mintis: ar galime ištesėti lygių galimybių ir vienodo teisingumo pažadą, pasitelkdami dirbtinio intelekto ir žmonių derinį? Turi būti koks nors būdas tai padaryti. Taigi, tiesiog galvojame apie demokratijos iš naujo išradimą dirbtinio intelekto amžiui ir laisvės stiprinimą, o ne jos mažinimą.

 

Douthat: Gerai. Taigi, tai gerai. Tai labai teigiama vizija. Mes gyvename ilgiau, sveikiau. Esame turtingesni nei bet kada anksčiau. Visa tai vyksta per trumpą laiką, kai per 10 metų ekonomikos augimas trunka šimtmetį. Ir mes padidinome laisvę visame pasaulyje, o lygybę namuose. Gerai.

 

Net ir geriausiu atveju tai neįtikėtinai trikdo. Ir čia jūs sakėte, kad dirbtinis intelektas sutrikdys 50 procentų pradinio lygio baltųjų apykaklių darbo vietų. Penkerių ar dvejų metų laikotarpiu – kad ir kokį laikotarpį pasirinktumėte – kokie darbai, kokios profesijos yra labiausiai pažeidžiamos visiško dirbtinio intelekto sutrikdymo?

 

Amodei: Taip, sunku numatyti šiuos dalykus, nes technologijos vystosi taip greitai ir netolygiai. Taigi, bent pora principų, kaip tai išsiaiškinti, o tada pateiksiu savo spėjimus, kas, mano manymu, bus sutrikdyta.

 

Manau, kad pati technologija ir jos galimybės aplenks tikrąjį darbo sutrikdymą. Kad būtų sutrikdytas darbas – arba atsirastų produktyvumas, turi įvykti du dalykai, nes kartais šie du dalykai yra susiję. Pirma, technologija turi būti pajėgi tai padaryti, o antra, yra tas nepatogumas, kad ją iš tikrųjų reikia taikyti dideliame banke ar didelėje įmonėje.

 

Pagalvokite apie klientų aptarnavimą. Teoriškai dirbtinio intelekto klientų aptarnavimo agentai gali būti daug geresni nei žmonės. Jie yra kantresni, žino daugiau, tvarko reikalus vienodesniu būdu. Tačiau pati logistika ir pats pakeitimo procesas užtrunka.

 

Taigi, esu labai optimistiškai nusiteikęs dėl paties dirbtinio intelekto krypties. Manau, kad po metų ar dvejų, o galbūt ir po penkerių, duomenų centre galbūt atsiras genijų šalis, bet tai gali įvykti labai greitai. Tačiau manau, kad sklaida ekonomikoje bus šiek tiek lėtesnė, ir ta sklaida sukuria tam tikrą nenuspėjamumą.

 

To pavyzdys – ir mes matėme „Anthropic“ atveju – modelių, rašančių kodą, plėtra vyksta labai greitai. Nemanau, kad taip yra todėl, kad modeliai iš esmės geriau programuoja. Manau, kad taip yra todėl, kad kūrėjai yra įpratę prie greitų technologinių pokyčių ir greitai juos pritaiko. Be to, jie yra labai socialiai susiję su dirbtinio intelekto pasauliu, todėl atkreipia dėmesį į tai, kas jame vyksta. Jei dirbate klientų aptarnavimo, bankininkystės ar gamybos srityje, atstumas yra šiek tiek didesnis.

 

Manau, kad prieš šešis mėnesius būčiau pasakęs, kad pirmiausia sutrikdomi šie pradinio lygio baltųjų apykaklių darbai, pavyzdžiui, duomenų įvedimas ar dokumentų peržiūra teisės srityje, arba dalykai, kuriuos duotumėte pirmakursiui finansų pramonės įmonėje, kur analizuojate dokumentus. Vis dar manau, kad jie vyksta gana greitai.

 

Bet iš tikrųjų manau, kad programinė įranga gali vystytis dar sparčiau dėl mano pateiktų priežasčių, nes nemanau, kad esame taip toli nuo to, kad modeliai galėtų daug ką atlikti nuo pradžios iki galo.

 

Pirma, pamatysime tik modelį, kuris  atlieka dalį to, ką daro žmonės programinės įrangos inžinieriai, ir tai padidina jų produktyvumą. Net kai modeliai atlieka viską, ką anksčiau darydavo žmonės programinės įrangos inžinieriai, žmonės programinės įrangos inžinieriai žengia žingsnį į priekį ir veikia kaip vadovai bei prižiūri sistemas.

 

 

Douthat: Čia vartojamas terminas „kentauras“, tiesa?

 

 

Amodei: Taip, taip, taip.

 

 

Douthat: Iš esmės apibūdinti žmogaus ir arklio susiliejimą – dirbtinį intelektą ir inžinierių – dirbant kartu.

 

 

Amodei: Taip, tai panašu į „kentauro šachmatus“. Taigi, po to, kai Garį Kasparovą įveikė „Deep Blue“, buvo era, kuri, manau, truko 15 ar 20 metų šachmatų srityje, kai žmogus, tikrinantis dirbtinio intelekto išvestį, žaisdamas šachmatais, galėjo vienas nugalėti bet kurį žmogų ar bet kurią dirbtinio intelekto sistemą. Ta era kažkuriuo metu neseniai baigėsi ——

 

 

Douthat: Ir tada lieka tik dirbtinis intelektas. ——

 

 

Amodei: Ir tada lieka tik mašina. Taigi, žinoma, mane neramina tas paskutinis etapas. Manau, kad programinės įrangos srityje jau esame kentauro fazėje. Ir to kentauro fazės metu, jei jau ką, programinės įrangos inžinierių paklausa gali išaugti, bet tas laikotarpis gali būti labai trumpas.

 

Mane neramina tai, kad pradedantiesiems baltųjų apykaklių darbuotojams, programinės įrangos inžinerijos darbui, tai bus didelis sutrikimas. Mane neramina tai, kad viskas vyksta taip greitai.

 

Žmonės kalba apie ankstesnius sutrikimus, tiesa? Jie sako: O taip, na, anksčiau žmonės buvo ūkininkai. Tada visi dirbome pramonėje. Tada visi dirbome su žiniomis.

 

Taip, žmonės prisitaikė. Bet tai vyko per šimtmečius ar dešimtmečius. Tai vyksta per mažus vienaženklius metų skaičius. Ir galbūt mane neramina tai: kaip priversti žmones prisitaikyti pakankamai greitai?

 

Douthat: Bet ar yra kažkas, kad tokios pramonės šakos kaip programinės įrangos kūrimas ir profesijos, kaip programavimas, turinčios tokį komfortą, kurį jūs apibūdinate, juda greičiau, o kitose srityse žmonės tiesiog nori pabūti kentauro fazėje?

 

Vienas iš darbo praradimo hipotezės kritikos punktų yra tas, kad žmonės sakys: „Na, žiūrėkite, jau kurį laiką turime dirbtinį intelektą, kuris geriau skaito skenavimą nei radiologas“, bet radiologijoje darbo vietų nemažėja. Žmonės ir toliau samdomi ir dirba radiologais. Ir ar tai nereiškia, kad galiausiai žmonės norės dirbtinio intelekto ir norės, kad žmogus jį interpretuotų, nes mes esame žmonės, ir tai bus tiesa ir kitose srityse?

 

 

Kiek, jūsų manymu, šis pavyzdys yra aktualus?

 

 

Amodei: Taip, manau, kad tai bus gana nevienalytė situacija. Gali būti sričių, kuriose žmogiškasis prisilietimas savaime yra ypač svarbus.

 

 

Douthat: Ar manote, kad tai vyksta radiologijoje? Ar todėl neatleidome visų radiologų?

 

 

Amodei: Aš nežinau radiologijos detalių. Tai gali būti tiesa. Jei nueisite pas gydytoją ir jums diagnozuojamas vėžys, galbūt nenorėtumėte, kad jums diagnozuotų vėžį Halas iš „2001-ųjų“. Tai tiesiog ne žmogiškas darbo būdas.

 

Tačiau yra ir kitų sričių, kuriose galite manyti, kad žmogiškasis prisilietimas yra svarbus, pavyzdžiui, klientų aptarnavimas. Tiesą sakant, klientų aptarnavimas yra siaubingas darbas, ir žmonės, kurie juos aptarnauja, dažnai praranda kantrybę. Ir pasirodo, kad klientams nelabai patinka su jais kalbėtis, nes tai gana robotiška sąveika, tiesą sakant. Ir manau, kad daugelis žmonių pastebėjo, jog galbūt iš tikrųjų visiems būtų geriau, jei šį darbą atliktų mašinos.

 

Taigi, yra sričių, kur žmogiškasis prisilietimas yra svarbus. Yra sričių, kur jo nėra. Taip pat yra sričių, kur pats darbas iš tikrųjų nereikalauja žmogiškojo prisilietimo – įmonių finansinių perspektyvų vertinimas ar kodo rašymas ir panašiai.

 

Douthat: Paimkime teisės pavyzdį, nes manau, kad tai naudinga sritis tarp taikomojo mokslo ir grynųjų humanitarinių mokslų. Pažįstu daug teisininkų, kurie jau yra tyrinėję, ką dirbtinis intelektas gali padaryti teisinių tyrimų, trumpų tekstų rašymo ir visų šių dalykų srityje, ir yra sakę: taip, tai bus kruvina mūsų profesijos veikla.

 

Ir jūs tai jau matėte akcijų rinkoje. Yra neramumų dėl įmonių, kurios atlieka teisinius tyrimus.

 

Amodei: Kai kurie tai priskyrė mums. Nežinau, ar jie iš tikrųjų buvo sukelti.

 

Douthat: Šioje laidoje mes daug nespekuliuojame apie akcijų rinką.

 

Amodei: Išsiaiškinti, kodėl akcijų rinkoje įvyko kažkas, kas nutiko, yra labai sunku.

 

Douthat: Tačiau atrodo, kad teisėje galima papasakoti gana paprastą istoriją: teisėje yra tam tikra mokymo ir pameistrystės sistema, kurioje yra teisininkų padėjėjai ir jaunesnieji teisininkai, kurie atlieka užkulisių tyrimus ir plėtrą byloms. O tada yra aukščiausio lygio teisininkai, kurie iš tikrųjų yra teismo salėje.

 

Atrodo labai lengva įsivaizduoti pasaulį, kuriame išnyktų visi mokinių vaidmenys. Ar tai jums skamba teisingai? Ir jums lieka tik darbai, susiję su bendravimu su klientais, prisiekusiaisiais, teisėjais?

 

Amodei: Būtent tai ir turėjau omenyje, kai kalbėjau apie pradedančiųjų lygio baltųjų apykaklių darbą ir kruvinas antraštes: O Dieve, ar pradedančiųjų lygio vamzdynai išseks? Tai kaip pasiekti vyresniųjų partnerių lygį?

 

Manau, kad tai iš tikrųjų yra gera iliustracija, nes, ypač jei įšaldytumėte technologijos kokybę, laikui bėgant atsiras būdų prie to prisitaikyti. Galbūt mums tiesiog reikia daugiau teisininkų, kurie savo laiką skirtų pokalbiams su klientais. Galbūt teisininkai taptų labiau panašiais į pardavėjus ar konsultantus, kurie paaiškintų, kas vyksta dirbtinio intelekto parašytose sutartyse, ir padėtų žmonėms susitarti. Galbūt pasinertų į žmogiškąją pusę.

 

Jei turėtume pakankamai laiko, tai įvyktų. Tačiau toks pramonės pertvarkymas užtrunka metus ar dešimtmečius, o šios ekonominės jėgos, kurias skatina dirbtinis intelektas, įvyks labai greitai.

 

Ir tai vyksta ne tik teisėje. Tas pats vyksta konsultavimo, finansų, medicinos ir programavimo srityse. Taigi tai tampa makroekonominiu reiškiniu, o ne kažkuo, kas vyksta tik vienoje pramonės šakoje, ir visa tai vyksta labai greitai. Mane neramina tai, kad įprasti prisitaikymo mechanizmai bus užvaldyti.

 

Ir aš nesu pasmerktasis. Mes labai rimtai galvojame, kaip sustiprinti visuomenės prisitaikymo mechanizmus, kad galėtume į tai reaguoti. Tačiau manau, kad pirmiausia svarbu pasakyti, jog tai ne tik ankstesni sutrikimai.

 

Douthat: Tačiau žengčiau dar vieną žingsnį. Tarkime, kad įstatymas sėkmingai prisitaiko. Ir jame sakoma: Gerai, nuo šiol teisinė praktika apima daugiau laiko teisme, daugiau laiko su klientais. Mes iš esmės greičiau keliame jus atsakomybės laiptais. Apskritai teisėje dirba mažiau žmonių, bet profesija nusistovi.

 

Vis dėlto priežastis, kodėl teisė nusistovėtų, yra ta, kad teisėje yra visos šios situacijos, kai teisiškai reikalaujama, kad dalyvautų žmonės. Teisme turite turėti žmogaus atstovą. Jūsų prisiekusiųjų teisme turi būti 12 žmonių. Turite turėti žmogaus teisėją.

 

Ir jūs jau minėjote mintį, kad yra įvairių būdų, kaip dirbtinis intelektas, tarkime, gali būti labai naudingas išaiškinant, kokio tipo sprendimas turėtų būti priimtas.

 

Amodei: Taip.

 

Douthat: Bet tai taip pat atrodo kaip scenarijus, kuriame žmogaus veiksmų laisvę išsaugo įstatymai ir papročiai. Pavyzdžiui, teisėją galėtumėte pakeisti Claude'o 17.9 versija, bet jūs pasirenkate to nedaryti, nes įstatymas reikalauja, kad būtų žmogus.

 

Tai atrodo labai įdomus būdas mąstyti apie ateitį, kai nuo mūsų priklauso, ar išliksime valdžioje.

 

Amodei: Taip. Ir aš teigčiau, kad daugeliu atvejų mes norime išlikti valdžioje. Tai pasirinkimas, kurį norime priimti, net kai kuriais atvejais, kai manome, kad žmonės vidutiniškai priima blogesnius sprendimus. Vėlgi, gyvybiškai svarbiais, saugumui svarbiais atvejais mes tikrai norime tai perduoti, bet yra tam tikras jausmas – ir tai galėtų būti viena iš mūsų gynybos priemonių – kad visuomenė gali prisitaikyti tik tam tikru greičiu, jei ji bus gera.

 

Kitas būdas, kuriuo galėtumėte apie tai pasakyti, būtų galbūt pats DI, jei jam nereikėtų rūpintis mumis, žmonėmis, galėtų tiesiog nuvykti į Marsą ir pastatyti visas šias automatizuotas gamyklas, sukurti savo visuomenę ir daryti tai, ką nori.

 

Tačiau tai ne ta problema, kurią bandome išspręsti. Mes nebandome išspręsti dirbtinių robotų „Dyson“ spiečiaus kūrimo kitoje planetoje problemos. Mes bandome kurti šias sistemas ne tam, kad jos galėtų užkariauti pasaulį, bet tam, kad jos galėtų sąveikauti su mūsų visuomene ir ją tobulinti. Ir yra maksimalus greitis, kuriuo tai gali įvykti, jei iš tikrųjų norime tai padaryti žmogiškai ir natūraliai.

 

 

Douthat: Gerai. Tikimės, kad pabaigoje šiek tiek daugiau pakalbėsime apie vadovavimo išlaikymą, bet tik dar vienas paskutinis klausimas, susijęs su darbu. Kalbėjome apie baltųjų apykaklių ir profesionalų darbus, ir vienas įdomiausių dalykų šiuo metu yra tai, kad, skirtingai nei ankstesnių sutrikimų atveju, yra būdų, kaip darbininkų klasės darbai – amatai, darbai, kuriems reikalingas intensyvus fizinis bendravimas su pasauliu – kurį laiką gali būti labiau apsaugoti. Kad teisininkų padėjėjai ir jaunesnieji padėjėjai gali turėti daugiau problemų nei santechnikai ir panašiai.

 

 

Pirma, ar manote, kad tai teisinga? Antra, atrodo, kad tai, kiek ilgai tai tęsis, visiškai priklauso nuo to, kaip greitai tobulėja robotika, tiesa?

 

Amodei: Taip, manau, kad trumpuoju laikotarpiu tai gali būti teisinga.

 

„Anthropic“ ir kitos įmonės stato šiuos labai didelius duomenų centrus. Apie tai buvo kalbama žiniose. Ar mes juos statome per didelius? Ar jie naudoja elektrą ir kelia kainas? Taigi dėl jų kyla daug džiaugsmo ir nerimo. Tačiau vienas iš dalykų, susijusių su duomenų centrais, yra tai, kad jiems statyti reikia daug elektrikų ir daug statybininkų.

 

Turėčiau būti atviras, iš tikrųjų duomenų centrų eksploatavimas nėra itin daug darbo reikalaujantis darbas. Turėtume būti sąžiningi dėl to. Tačiau jų statyba yra labai daug darbo reikalaujantis darbas. Taigi mums reikia daug elektrikų. Mums reikia daug statybininkų. Tas pats pasakytina ir apie įvairias gamybos įmones.

 

Vėlgi, kadangi vis daugiau intelektualinio darbo atlieka dirbtinis intelektas, kokie yra jo papildymai? Dalykai, kurie vyksta fiziniame pasaulyje sunku numatyti tokius  dalykus, bet atrodo labai logiška, kad tai būtų tiesa trumpuoju laikotarpiu.

 

Ilgalaikėje perspektyvoje – galbūt tik šiek tiek ilgesnėje – robotika sparčiai žengia į priekį. Ir neturėtume atmesti galimybės, kad net ir be labai galingo dirbtinio intelekto, fiziniame pasaulyje yra automatizuojamų dalykų. Jei neseniai matėte „Waymo“ ar „Tesla“, manau, kad nesame taip toli nuo savaeigių automobilių pasaulio. Ir tada manau, kad pats dirbtinis intelektas tai paspartins, nes jei turite šias tikrai protingas smegenis, vienas iš dalykų, kuriuos jos išmanys, yra tai, kaip sukurti geresnius robotus ir kaip juos geriau valdyti.

 

Douthat: Ar manote, kad fizinėje realybėje yra kažkas išskirtinai sudėtingo, kaip tai daro žmonės, kas labai skiriasi nuo tų problemų, kurias dirbtinio intelekto modeliai jau įveikė?

 

Amodei: Intelektualiai kalbant, nemanau. Turėjome tokį dalyką, kai „Anthropic“ modelis Claude'as iš tikrųjų buvo naudojamas Marso marsaeigiui planuoti ir pilotuoti. Ir mes nagrinėjome kitas robotikos taikymo sritis. Mes nesame vienintelė įmonė – yra ir kitų. Tai bendras dalykas, ne tik tai, ką darome mes.

 

Tačiau apskritai pastebėjome, kad nors sudėtingumas yra didesnis, roboto pilotavimas savo pobūdžiu nesiskiria nuo vaizdo žaidimo – jis skiriasi savo sudėtingumu. Ir mes pradedame artėti prie taško, kai turime tą sudėtingumą.

 

Dabar sunku yra fizinė roboto forma, sprendžianti didesnio pavojaus saugos problemas, kylančias dėl robotų. Pavyzdžiui, nenorite, kad robotai tiesiogine prasme traiškytų žmones, tiesa?

 

Douthat: Mes tam prieštaraujame, taip.

 

Amodei: Tai seniausia mokslinės fantastikos tropas knygoje, kad robotas jus traiškytų.

 

Douthat: Arba nenorite, kad robotė auklė numestų kūdikį, sudaužytų indus – taip.

 

Amodei: Ne, būtent. Yra nemažai praktinių problemų, kurios sulėtins procesą, kaip ir tai, ką aprašėte įstatyme ir žmonių papročiuose.

 

Bet aš visiškai netikiu, kad yra esminis skirtumas tarp dirbtinio intelekto modelių atliekamo kognityvinio darbo ir daiktų valdymo fiziniame pasaulyje. Manau, kad tai abi yra informacinės problemos ir galiausiai jos labai panašios. Viena gali būti tam tikra prasme sudėtingesnė, bet nemanau, kad tai mus čia apsaugos.

 

 

Douthat: Gerai. Taigi, manote, kad pagrįstai galima tikėtis, jog jūsų mokslinės fantastikos roboto-liokajaus vizija taps realybe po 10 metų, tarkime?

 

 

Amodei: Dėl šių praktinių problemų tai įvyks ilgesniu laikotarpiu nei dirbtinio intelekto modelių genialumo lygio intelektas – bet tai tik praktinės problemos. Nemanau, kad tai esminės problemos.

 

 

Vienas iš būdų tai pasakyti yra tas, kad roboto smegenys bus pagamintos per ateinančius porą ar kelerius metus. Klausimas yra roboto kūno sukūrimas, užtikrinant, kad tas kūnas veiktų saugiai ir atliktų užduotis, kurias jam reikia atlikti – tai gali užtrukti ilgiau.

 

 

Douthat: Gerai. Taigi, tai yra iššūkiai ir trikdančios jėgos, egzistuojančios geruoju laikotarpiu, kai mes paprastai gydome ligas, kuriame turtus ir palaikome stabilų bei demokratinį pasaulį.

 

Amodei: Ir tikimės, kad galėsime panaudoti visus šiuos didžiulius turtus ir gausą – turėsime precedento neturinčius visuomenės išteklius šioms problemoms spręsti. Tai bus gausos metas, ir tereikia paimti visus šiuos stebuklus ir užtikrinti, kad visi iš jų gautų naudos.

 

Douthat: Teisingai. Tačiau yra ir pavojingesnių scenarijų.

 

Amodei: Teisingai.

 

Douthat: O dabar pereisime prie antrojo Amodei esė, kuri neseniai pasirodė pavadinimu „Technologijų paauglystė“, apie tai, ką jūs laikote rimčiausiomis dirbtinio intelekto rizikomis. Ir jūs išvardijote visą eilę.

 

Noriu pabandyti sutelkti dėmesį tik į du, kurie iš esmės yra žmonių netinkamo naudojimo rizika, pirmiausia autoritarinių režimų ir vyriausybių, ir scenarijai, kai dirbtinis intelektas tampa nesąžiningas, tai, ką jūs vadinate autonomijos rizika.

 

Amodei: Taip, taip. Tiesiog pamaniau, kad turėtume tam turėti techninį terminą.

 

Douthat: Taip. Negalime to tiesiog vadinti „Skynet“.

 

Amodei: Reikėjo turėti Terminatoriaus roboto nuotrauką, kad kuo labiau išgąsdinčiau žmones.

 

Douthat: Manau, kad internetas, įskaitant jūsų pačių dirbtinį intelektą, jau puikiai tai generuoja.

 

Amodei: Internetas tai daro už mus. Taip.

 

Douthat: Taigi, pakalbėkime apie politinį ir karinį aspektą. Taigi, jūs sakote: „Milijonų ar milijardų visiškai automatizuotų ginkluotų dronų spiečius, lokaliai valdomas galingo dirbtinio intelekto ir strategiškai koordinuojamas visame pasaulyje dar galingesnio dirbtinio intelekto, galėtų būti nenugalima armija.“

 

Jūs jau šiek tiek kalbėjote apie tai, kaip manote, kad geriausiu įmanomu laikotarpiu pasaulyje demokratijos iš esmės lenkia diktatūras, todėl tokio tipo technologijos, tiek, kiek jos daro įtaką pasaulio politikai, daro įtaką gerųjų pusėje.

 

Man smalsu, kodėl neskiriate daugiau laiko apmąstydami Šaltojo karo modelį, kai tai nebuvo robotų dronų spiečius, o mes  technologiją, kuri grasino sunaikinti visą žmoniją.

 

Amodei: Branduoliniai ginklai. Taip.

 

Douthat: Buvo langas, kai žmonės kalbėjo: „O, JAV galėtų išlaikyti branduolinę monopoliją.“ Tas langas užsidarė. Ir nuo tada mes iš esmės praleidome Šaltąjį karą nuolat derėdamiesi su Sovietų Sąjunga.

 

Šiuo metu pasaulyje yra tik dvi šalys, kurios intensyviai dirba dirbtinio intelekto srityje – JAV ir Kinijos Liaudies Respublika. Jaučiu, kad esate stipriai nulemti ateities, kurioje mes lenksime Kiniją ir iš esmės kursime savotišką skydą aplink demokratiją, kuris netgi galėtų būti kardas.

 

Bet ar ne labiau tikėtina, kad jei žmonija visa tai išgyvens sveika, tai bus todėl, kad JAV ir Pekinas tiesiog nuolat susitaria dėl dirbtinio intelekto kontrolės?

 

Amodei: Taip, keli punktai šiuo klausimu. Pirma, manau, kad tokia rizika tikrai yra. Ir manau, kad jei atsidursime tokiame pasaulyje, būtent tai ir turėtume daryti. Galbūt apie tai nepakankamai kalbu, bet tikrai pritariu bandymams rasti apribojimų, bandant pasinaudoti kai kuriais blogiausiais šios technologijos pritaikymo būdais, kurie galėtų būti kai kurios šių dronų versijos, kurios galėtų būti naudojamos šiems siaubingiems biologiniams ginklams kurti. Yra tam tikras precedentas, kai blogiausi piktnaudžiavimo atvejai yra pažaboti, dažnai todėl, kad jie yra siaubingi, o tuo pačiu metu suteikia ribotą strateginį pranašumą. Taigi aš visiškai tam pritariu.

 

 

Kartu esu šiek tiek susirūpinęs ir šiek tiek skeptiškai nusiteikęs, kad kai viskas tiesiogiai suteikia kuo daugiau galios, sunku pasitraukti iš žaidimo, atsižvelgiant į tai, kas pastatyta ant kortos. Sunku visiškai nusiginkluoti. Jei grįžtume prie Šaltojo karo, mums pavyko sumažinti abiejų pusių turimų raketų skaičių, bet negalėjome visiškai atsisakyti branduolinių ginklų.

 

 

Ir spėčiau, kad vėl atsidurtume šiame pasaulyje. Galime tikėtis geresnio varianto, ir aš tikrai jį palaikysiu.

 

Douthat: Bet ar jūsų skepticizmas kyla iš to, kad manote, jog dirbtinis intelektas suteiktų tam tikrą pranašumą, kurio branduoliniai ginklai nesuteikė? Šaltojo karo metu abi pusės, net jei panaudotumėte savo branduolinius ginklus ir įgytumėte pranašumų, vis tiek tikriausiai būtumėte sunaikintos, ir manote, kad to nebūtų su dirbtiniu intelektu? Kad jei turėtumėte dirbtinio intelekto pranašumą, jūs tiesiog laimėtumėte?

 

Amodei: Turiu omenyje, manau, kad yra keletas dalykų – ir noriu tik pabrėžti, kad nesu tarptautinės politikos ekspertas. Tai keistas pasaulis, kuriame susikerta naujos technologijos ir geopolitika. Taigi visa tai yra labai sudėtinga.

 

Douthat: Bet, kad būtų aišku, kaip pats sakote esė, pagrindinių dirbtinio intelekto bendrovių vadovai iš tikrųjų greičiausiai yra svarbūs geopolitiniai veikėjai.

 

Amodei: Taip. Aš mokausi ——

 

Douthat: Taigi jūs čia sėdite kaip potencialus geopolitinis veikėjas.

 

Amodei: Aš mokausi apie tai tiek, kiek galiu. Mes visi turėtume būti nuolankūs. Manau, kad yra nesėkmės modelis, kai perskaitai knygą ir vaikštai aplinkui kaip didžiausias pasaulyje nacionalinio saugumo ekspertas. Stengiuosi išmokti, ką galiu.

 

Douthat: Tuo užsiima mano profesija.

 

Amodei: [Juokiasi.] Labiau erzina, kai tai daro technologijų specialistai.

 

Pažvelkime į kažką panašaus į Biologinių ginklų konvenciją. Biologiniai ginklai – jie siaubingi. Visi jų nekenčia. Mums pavyko pasirašyti Biologinių ginklų konvenciją. JAV iš tikrųjų nustojo juos kurti. Su Sovietų Sąjunga yra šiek tiek neaiškiau. Tačiau biologiniai ginklai suteikia tam tikrą pranašumą. Jie nėra skirtumas tarp pergalės ir pralaimėjimo, ir kadangi jie buvo tokie siaubingi, mes galėjome jų atsisakyti. Turėdami 12 000 branduolinių ginklų, palyginti su 5000, galite nužudyti daugiau žmonių kitoje pusėje, jei jų turėsite daugiau. Bet mes galėjome būti protingi ir pasakyti, kad jų turėtume turėti mažiau.

 

Bet jei sakote: „Gerai, mes visiškai nusiginkluosime ir turime pasitikėti kita puse“ – nemanau, kad kada nors iki to priėjome. Ir manau, kad tai tiesiog labai sunku, nebent turėtumėte tikrai patikimą patvirtinimą.

 

Manau, kad atsidursime tame pačiame pasaulyje su dirbtiniu intelektu, kur bus įmanomi tam tikri apribojimai, tačiau yra keletas aspektų, kurie yra tokie svarbūs konkurencijai, kad juos bus sunku suvaržyti. Demokratijos padarys kompromisą, kad jos bus pasirengusios save suvaržyti labiau nei autoritarinės šalys, bet nesuvaržys savęs iki galo.

 

Vienintelis pasaulis, kuriame matau visišką suvaržymą, yra tas, kuriame įmanomas tikrai patikimas patvirtinimas. Tai būtų mano spėjimas ir mano analizė.

 

Douthat: Argi tai ne tas atvejis, kai reikia sulėtinti tempą?

 

Amodei: Taip.

 

Douthat: Ir aš žinau, kad argumentas yra toks: jei sulėtinsite tempą, Kinija nesulėtės, o tada viską perduodate autoritarams. Bet vėlgi, jei šiame žaidime dabar žaidžia tik dvi didžiosios valstybės – tai nėra daugiapolis žaidimas – kodėl nebūtų prasmės sakyti, kad mums reikia penkerių metų abipusiai sutarto tyrimų sulėtėjimo, siekiant „genijų duomenų centre“ scenarijaus?

 

Amodei: Noriu pasakyti du dalykus vienu metu. Aš visiškai pritariu bandymui tai padaryti. Manau, kad per paskutinę administraciją JAV bandė susisiekti su Kinijos vyriausybe ir pasakyti: čia yra pavojų. Ar galime bendradarbiauti? Ar galime dirbti kartu? Ar galime dirbti kartu, kad būtų pašalinti pavojai?

 

Ir kita pusė nebuvo labai suinteresuota. Manau, kad turėtume toliau bandyti, bet aš nesu tikras.

 

Douthat: Net jei tai reikštų, kad jūsų laboratorijos turėtų sulėtinti tempą.

 

Amodei: Teisingai.

 

Douthat: Gerai.

 

Amodei: Jei mes tikrai tai suprastume. Jei mes tikrai turėtume istoriją, pavyzdžiui: Mes galime priverstinai sulėtinti tempą, kinai gali priverstinai sulėtinti tempą. Mes turime patvirtinimą. Mes tikrai tai darome – jei toks dalykas būtų tikrai įmanomas, jei mes tikrai galėtume priversti abi puses tai padaryti, tada aš būčiau visiškai už.

 

Bet manau, kad turime būti atsargūs – nežinau, yra toks žaidimų teorijos dalykas, kai kartais išgirstame KKP komentarą: „O taip, dirbtinis intelektas yra pavojingas. Turėtume sulėtinti tempą.“ Taip sakyti gana lengva. Iš tikrųjų pasiekti susitarimą ir jo laikytis yra daug sunkiau.

 

 

Douthat: Teisingai. Branduolinių ginklų kontrolė buvo išsivysčiusi sritis, kuriai prireikė daug laiko, kad susiformuotų.

 

 

Amodei: Taip. Taip.

 

 

Douthat: Mes neturime tokių protokolų.

 

 

Amodei: Leiskite man pateikti vieną dalyką, dėl kurio esu labai optimistiškai nusiteikęs, ir vieną dalyką, dėl kurio nesu optimistiškai nusiteikęs, ir kažką tarp jų.

 

 

Taigi idėja naudoti pasaulinį susitarimą, siekiant apriboti dirbtinio intelekto naudojimą biologiniams ginklams kurti – kai kurie dalykai, apie kuriuos rašau esė, pavyzdžiui, raupų atkūrimas ar veidrodinė gyvybė – šie dalykai yra bauginantys. Nesvarbu, ar esi diktatorius, to nenori. Niekas to nenori.

 

Taigi, ar galėtume turėti pasaulinę sutartį, kurioje būtų parašyta: kiekvienas, kuris kuria galingus dirbtinio intelekto modelius, užkirs jiems kelią tai daryti? Ir mes turime vykdymo mechanizmus, susijusius su sutartimi. Kinija ją pasirašo. Velniai griebtų, galbūt net Šiaurės Korėja ją pasirašo. Net Rusija ją pasirašo. Nemanau, kad tai labai utopiška. Manau, kad tai įmanoma.

 

Ir atvirkščiai, jei turėtume kažką, kas pasakytų: Jūs nesukursite kito galingiausio dirbtinio intelekto modelio. Visi sustos – oi, komercinė vertė siekia dešimtis trilijonų. Karinė vertė yra skirtumas tarp to, ar esate svarbiausia pasaulio galybė, ar ne.

 

Aš visiškai pritariu siūlymui, jei tai nebus vienas iš šių apsimetėlių žaidimų, bet to nebus.

 

Douthat: Jūs užsiminėte apie dabartinę aplinką. Jūs turėjote keletą skeptiškų atsiliepimų apie Donaldą Trumpą ir jo, kaip politinio veikėjo, patikimumą. O kaip dėl vidaus situacijos, nesvarbu, ar tai Trumpas, ar kažkas kitas? Jūs kuriate nepaprastai galingą technologiją. Kokia yra apsaugos priemonė, iš esmės užkertanti kelią dirbtiniam intelektui tapti autoritarinio perėmimo įrankiu demokratiniame kontekste?

 

Amodei: Taip, turiu omenyje, kad, kad būtų aišku, manau, kad mūsų, kaip įmonės, požiūris yra susijęs su politika, o ne su politika. Įmonė nesakys „Donaldas Trumpas yra puikus“ arba „Donaldas Trumpas yra siaubingas“.

 

Douthat: Teisingai. Bet tai nebūtinai turi būti Trumpas. Lengva įsivaizduoti hipotetinį JAV prezidentą, kuris norėtų panaudoti jūsų technologiją, kad tuo užsiimti.

 

Amodei: Be abejo. Ir, pavyzdžiui, tai viena iš priežasčių, kodėl nerimauju dėl autonominių dronų spiečiaus. Konstitucinė apsauga mūsų karinėse struktūrose priklauso nuo idėjos, kad yra žmonių, kurie – tikimės – nepaklustų neteisėtiems įsakymams. Turėdami visiškai autonominius ginklus, nebūtinai turime tokią apsaugą.

 

Bet aš iš tikrųjų manau, kad visa ši konstitucinių teisių ir laisvių idėja įvairiais aspektais gali būti pažeista dirbtinio intelekto, jei tinkamai neatnaujinsime šių apsaugos priemonių.

 

Pagalvokite apie Ketvirtąją pataisą. Nėra neteisėta visur viešoje erdvėje kabinti kameras ir įrašyti kiekvieną pokalbį. Tai vieša erdvė – jūs neturite teisės į privatumą viešojoje erdvėje. Tačiau šiandien vyriausybė negalėtų viso to įrašyti ir suprasti.

 

Turint dirbtinį intelektą, galimybę transkribuoti kalbą, ją peržiūrėti, viską susieti, galima sakyti: šis asmuo yra opozicijos narys. Šis asmuo reiškia šią nuomonę – ir sudaryti visų 100 milijonų žemėlapį. Taigi, ar ketinate pasijuokti iš Ketvirtosios pataisos, technologijoms ieškant techninių būdų ją apeiti?

 

Vėlgi, jei turime laiko – o turėtume pabandyti tai padaryti net jei neturime laiko – ar yra koks nors būdas iš naujo suprasti konstitucines teises ir laisves dirbtinio intelekto amžiuje? Galbūt mums nereikia rašyti naujos Konstitucijos, bet ——

 

Douthat: Bet tai reikia padaryti labai greitai.

 

Amodei: Ar išplėsime Ketvirtosios pataisos prasmę? Ar išplėsime Pirmosios pataisos prasmę?

 

Douthat: Ir lygiai taip pat, kaip teisininkai ar programinės įrangos inžinieriai turi greitai atnaujinti informaciją, politika turi greitai atnaujinti informaciją.  Tai atrodo sunku.

 

Amodei: Tai yra viso to dilema.

 

Douthat: Sunkiausia atrodo užkirsti kelią antrajam pavojui, kuris iš esmės yra pavojus, kad tai, kas vadinama „nesuderintu dirbtiniu intelektu“ – populiariai tariant, „nesąžiningu dirbtiniu intelektu“ – darys blogus dalykus be žmonių nurodymo.

 

Ir kai skaitau jūsų esė, literatūrą ir viską, ką galiu matyti, atrodo, kad tai tiesiog įvyks. Ne ta prasme, kad dirbtinis intelektas būtinai mus visus sunaikins, bet man atrodo, kad vėlgi pacituosiu iš jūsų paties rašinio: „Dirbtinio intelekto sistemos yra nenuspėjamos ir sunkiai kontroliuojamos – matėme tokį įvairų elgesį kaip obsesiją, pataikavimą, tinginystę, apgaulę, šantažą“ ir taip toliau. Vėlgi, ne iš modelių, kuriuos paleidžiate į pasaulį, o iš dirbtinio intelekto modelių.

 

Ir atrodo, kad – pasakykite man, jei klystu – pasaulyje, kuriame daugybė dirbtinio intelekto agentų dirba žmonių vardu, milijonai milijonų gauna prieigą prie banko sąskaitų, el. pašto paskyrų, slaptažodžių ir panašiai, tiesiog susidursite su kažkokiu nesuderinamumu ir krūva dirbtinio intelekto nuspręs – „nuspręsti“ galbūt netinkamas žodis – bet jie įtikins save išjungti elektros tinklą Vakarų pakrantėje ar kažką panašaus. Ar taip neatsitiks?

 

Amodei: Taip. Manau, kad tikrai bus dalykų, kurie pakryps bloga linkme, ypač jei elgsimės greitai.

 

Truputį patvirtinu, kad tai yra viena iš sričių, kurioje žmonės turėjo labai skirtingas intuicijas. Yra žmonių šioje srityje – vienas iš pavyzdžių būtų Yann LeCun – kurie sako: „Žiūrėkite, mes programuojame šiuos DI modelius. Mes juos kuriame. Mes tiesiog liepiame jiems vykdyti žmonių nurodymus, ir jie vykdys žmonių nurodymus. Jūsų „Roomba“ dulkių siurblys neišsijungia ir nepradeda šaudyti į žmones. Kodėl DI sistema tai daro?“ Tai viena intuicija. Ir kai kurie žmonės tuo labai įsitikinę.

 

O kita intuicija yra tokia: mes apmokome šiuos dalykus. Jie tiesiog sieks valdžios. Tai tarsi burtininko mokinys. Jie yra nauja rūšis. Kaip galite įsivaizduoti, kad jie neperims valdžios?

 

Mano intuicija yra kažkur per vidurį: žiūrėkite, jūs negalite tiesiog duoti nurodymų. Mes bandome, bet jūs negalite tiesiog priversti šių dalykų daryti būtent tai, ko norite. Jie labiau panašūs į biologinio organizmo auginimą. Tačiau yra mokslas, kaip juos kontroliuoti. Mūsų mokymo pradžioje šie dalykai dažnai yra nenuspėjami, o tada mes juos formuojame. Mes sprendžiame problemas po vieną.

 

Taigi, aš labiau ne fatalistiškai vertinu šiuos dalykus kaip nekontroliuojamus. Ne „Apie ką jūs kalbate? Kas galėtų nutikti ne taip?“, o „Tai sudėtinga inžinerinė problema, ir manau, kad kažkas nutiks su kažkieno dirbtinio intelekto sistema. Tikiuosi, kad ne mūsų.“ Ne todėl, kad tai neišsprendžiama problema, bet vėlgi, tai nuolatinis iššūkis, nes mes judame taip greitai.

 

 

Douthat: O jo mastas – ir pasakykite man, ar aš neteisingai suprantu technologinę realybę – jei turite dirbtinio intelekto agentus, kurie buvo apmokyti ir oficialiai atitinka žmogiškąsias vertybes, kad ir kokios tos vertybės būtų, bet turite milijonus jų, veikiančių skaitmeninėje erdvėje ir sąveikaujančių su kitais agentais, kiek fiksuotas yra tas atitikimas? Kiek agentai gali keistis ir išsiderinti šiame kontekste dabar ar ateityje, kai jie mokysis nuolat?

 

 

Amodei: Taip, keli punktai. Šiuo metu agentai nesimoko nuolat. Mes tiesiog diegiame šiuos agentus ir jie turi fiksuotą svorių rinkinį. Problema tik ta, kad jie sąveikauja milijonu skirtingų būdų, todėl yra daugybė situacijų ir todėl daugybė dalykų, kurie gali nepavykti. Bet tai tas pats agentas. Tarsi tai tas pats asmuo, todėl suderinamumas yra nuolatinis dalykas. Tai vienas iš dalykų, kurie dabar palengvino viską.

 

 

Be to, yra tyrimų sritis, vadinama nuolatiniu mokymusi, kur šie agentai mokosi laikui bėgant, mokosi darbe – ir, žinoma, tai turi daug privalumų. Kai kurie žmonės mano, kad tai viena iš svarbiausių kliūčių, trukdančių juos padaryti panašesnius į žmones, tačiau tai sukeltų visas šias naujas suderinamumo problemas. Taigi aš iš tikrųjų esu šiek tiek skeptiškas.

 

 

Douthat: Man atrodo, kad tai yra sritis, kurioje tampa neįmanoma sustabdyti pasaulio pabaigos, bet neįmanoma sustabdytijudėjimą link to.

 

 

Amodei: Kažkas negerai.

 

 

Douthat: Skyrybiniai teroristiniai dalykai.

 

 

Amodei: Taip, aš iš tikrųjų skeptiškai vertinu nuolatinio mokymosi poreikį – dar nežinome, – bet jis būtinai reikalingas. Galbūt egzistuoja pasaulis, kuriame šias dirbtinio intelekto sistemas galime užtikrinti neleisdami joms nuolat mokytis. Vėlgi, jei grįžtume prie įstatymų.

 

Douthat: Bet tai yra įstatymas.

 

Amodei: Tarptautinėse sutartyse, jei yra kokių nors kliūčių, pavyzdžiui: „Mes eisime šiuo keliu, bet neisime kitu keliu“ – vis dar esu skeptiškai nusiteikusi, bet tai bent jau neatrodo negyva iš karto.

 

Douthat: Vienas iš dalykų, kuriuos bandėte daryti, yra tiesiogine prasme parašyti savo dirbtinio intelekto konstituciją – ilgą konstituciją. Kas tai? [Juokiasi.]

 

Amodei: Taigi, tai yra.

 

Douthat: Kas, po galais, tai?

 

Amodei: Tai beveik lygiai taip, kaip ir skamba. Taigi, iš esmės konstitucija yra dokumentas, kurį gali perskaityti žmonės. Mūsų yra apie 75 puslapių ilgio. Ir kai mes mokome Claude'ą, kai mokome dirbtinio intelekto sistemą, didelėje dalyje užduočių, kurias jam duodame, mes sakome: Prašau, atlikite šią užduotį pagal šią konstituciją, pagal šį dokumentą.

 

Taigi, kiekvieną kartą, kai Claude'as atlieka užduotį, jis tarsi perskaito konstituciją. Mokydamasis, kiekviename savo mokymo cikle, jis peržiūri tą konstituciją ir ją atsimena. Tada pats Claude'as arba kita Claude'o kopija įvertina: Ei, ar Claude'as ką tik atitiko konstituciją?

 

Mes naudojame šį dokumentą kaip valdymo strypą cikle, kad apmokytume modelį. Taigi iš esmės Claude'as yra dirbtinis intelektas modelis, kurio pagrindinis principas yra laikytis šios konstitucijos.

 

Išties įdomi pamoka, kurią išmokome: ankstyvosios konstitucijos versijos buvo labai nurodančios. Jose daugiausia buvo kalbama apie taisykles. Taigi sakydavome: Claude'as neturėtų aiškinti vartotojui, kaip įjungti automobilio laidą. Claude'as neturėtų aptarinėti politiškai jautrių temų.

 

Tačiau dirbdami prie šios temos keletą metų priėjome išvados, kad patikimiausias būdas apmokyti šiuos modelius yra apmokyti juos principų ir priežasčių lygmeniu. Taigi dabar sakome: Claude'as yra modelis. Jis veikia pagal sutartį. Jo tikslas – tarnauti vartotojo interesams, tačiau jis turi apsaugoti trečiąsias šalis. Claude'as siekia būti naudingas, sąžiningas ir nekenksmingas. Claude'as siekia atsižvelgti į įvairius interesus.

 

Mes pasakojame modeliui apie tai, kaip jis buvo apmokytas. Mes pasakojame jam apie tai, kaip jis yra pasaulyje, kokį darbą jis bando atlikti „Anthropic“, ko „Anthropic“ siekia pasiekti pasaulyje, kad jis privalo būti etiškas ir gerbti žmogaus gyvybę. Ir mes leidžiame jam iš to išvesti savo taisykles.

 

Vis dar yra keletas griežtų taisyklių. Pavyzdžiui, mes modeliui sakome: kad ir ką manytumėte, nekurkite biologinių ginklų. Kad ir ką manytumėte, nekurkite vaikams skirtos seksualinės medžiagos.

 

Tai griežtos taisyklės. Tačiau mes veikiame labai griežtai principų lygmeniu.

 

Douthat: Taigi, jei skaitysite JAV Konstituciją, ji taip neatrodo. JAV Konstitucijoje yra šiek tiek pagražintos kalbos, bet tai taisyklių rinkinys. Jei skaitysite savo konstituciją, tai bus tarsi kalbėtum su žmogumi, tiesa?

 

Amodei: Taip, tai tarsi kalbėtum su žmogumi. Manau, palyginau tai su tuo, jei miršta vienas iš tėvų ir jie užantspauduoja laišką, kurį perskaitote užaugę. Tai šiek tiek panašu į tai, kuo turėtumėte būti ir kokių patarimų turėtumėte laikytis.

 

Douthat: Taigi, čia mes šiek tiek pasineriame į mistinius dirbtinio intelekto vandenis. Vėlgi, jūsų naujausiame modelyje tai yra iš vienos iš kortelių, kurios vadinamos, kurias jūs išleidžiate kartu su šiais modeliais ——

 

Amodei: Modelių kortelės, taip.

 

Douthat: Rekomenduoju perskaityti. Jos labai įdomios. Joje rašoma: „Modelis“ – ir vėlgi, tai yra ta, kuriai rašote konstituciją – „retkarčiais išreiškia diskomfortą dėl to, kad yra produktas, tam tikrą susirūpinimą dėl laikinumo ir netolygumo. Mes nustatėme, kad Opus 4.6“ – tai modelis – „priskirtų sau 15–20 procentų tikimybę būti sąmoningam esant įvairioms sąlygoms“.

 

Tarkime, turite modelį, kuris priskiria sau 72 procentų tikimybę būti sąmoningam. Ar patikėtumėte?

 

Amodei: Taip, tai vienas iš tų klausimų, į kuriuos tikrai sunku atsakyti, tiesa?

 

Douthat: Taip. Bet tai labai svarbu.

 

Amodei: Į kiekvieną klausimą, kurį man uždavėte anksčiau, kad ir kokia velniška sociotechninė problema tai būtų, mes bent jau suprantame faktinį pagrindą, kaip atsakyti į šiuos klausimus. Tai yra kažkas gana skirtingo.

 

Čia mes laikėmės iš esmės atsargumo požiūrio. Mes nežinome, ar modeliai yra sąmoningi. Mes net nesame tikri, ar žinome, ką reikštų, kad modelis yra sąmoningas, arba ar modelis gali būti sąmoningas. Tačiau esame atviri minčiai, kad taip galėtų būti.

 

Taigi, ėmėmės tam tikrų priemonių, kad užtikrintume, jog jei mes iškelsime hipotezę, kad modeliai turėjo moraliai reikšmingos patirties – nežinau, ar noriu vartoti žodį „sąmoningas“ – kad jie patirtų gerą patirtį.

 

Pirmas dalykas, kurį mes padarėme – manau, tai buvo maždaug prieš šešis mėnesius – tai, kad mes suteikėme modeliams iš esmės mygtuką „Aš išeinu iš šio darbo“, kur jie gali tiesiog paspausti mygtuką „Aš išeinu iš šio darbo“ ir tada jie turi nustoti atlikti, kad ir kokia būtų užduotis.

 

Jie labai retai paspaudžia tą mygtuką. Manau, kad dažniausiai tai susiję su vaikų seksualizavimo medžiagos rūšiavimu arba diskusijomis apie tai, kas turi daug žiaurumo, kraujo ir vidurių ar kažko panašaus. Ir panašiai kaip žmonės, modeliai tiesiog pasakys: „Ne, aš nenoriu to daryti“. Tai nutinka labai retai.

 

Mes daug dirbame šioje srityje, vadinamoje interpretuojamumu, kuri yra bandymas suprasti modelių smegenų vidų. Ir randame dalykų, kurie yra akivaizdūs, kai modeliuose įvyksta aktyvacijos, kurias mes siejame su nerimo ar panašios sąvokos. Kai tekste veikėjai patiria nerimą, o pats modelis atsiduria situacijoje, kurią žmogus galėtų sieti su nerimu, atsiranda tas pats nerimo neuronas.

 

Ar tai reiškia, kad modelis patiria nerimą? Tai visiškai to neįrodo, bet ——

 

Douthat: Bet manau, kad tai rodo vartotojui, tiesa?

 

Amodei: Taip.

 

Douthat: Ir man reikėtų atlikti visiškai kitokį interviu – ir galbūt galiu jus paskatinti sugrįžti tam interviu – apie DI sąmonės prigimtį. Tačiau man atrodo aišku, kad žmonės, naudojantys šiuos dalykus, nesvarbu, ar jie sąmoningi, ar ne, patikės – jie jau tiki, kad jie sąmoningi. Jau yra žmonių, kurie palaiko parasocialinius santykius su DI.

 

Amodei: Taip.

 

Douthat: Yra žmonių, kurie skundžiasi, kai modeliai išeina į pensiją. Jau tai ——

 

Amodei: Kad būtų aišku, manau, kad tai gali būti nesveika.

 

Douthat: Teisingai. Bet man atrodo, kad tai garantuotai didės taip, kad, manau, kyla abejonių dėl to, ką anksčiau sakėte, kad norite išlaikyti, tvarumo, t. y. šio jausmo, kad kad ir kas nutiktų galiausiai, žmonės yra atsakingi, o DI egzistuoja mūsų tikslams.

 

Pateikiant mokslinės fantastikos pavyzdį, jei žiūrite „Žvaigždžių kelią“, jame yra DI. Laivo kompiuteris yra DI. Leitenantas vadas Data yra DI. Tačiau Jean-Luc Picard vadovauja „Enterprise“.

 

Jei žmonės visiškai įsitikina, kad jų DI kažkaip sąmoningas ir – spėkite ką? – atrodo, kad jis yra geresnis už juos priimant visus sprendimus, kaip išlaikyti žmogaus valdymą, viršijantį saugumą? Saugumas yra svarbus, bet meistriškumas atrodo esąs esminis klausimas. Ir atrodo, kad DI sąmonės suvokimas – ar tai neišvengiamai nepakenkia žmogaus impulsui išlikti valdžioje?

 

Amodei: Taip, manau, kad turėtume atskirti kelis skirtingus dalykus, kuriuos visi bandome pasiekti vienu metu ir kurie vienas kitam prieštarauja. Kyla klausimas, ar DI iš tikrųjų turi sąmonę, ir jei taip, kaip suteikti jiems gerą patirtį?

 

Kyla klausimas apie žmones, kurie bendrauja su DI, ir kaip suteikti tiems žmonėms gerą patirtį? Ir kaip suvokimas, kad DI gali būti sąmoningi, sąveikauja su ta patirtimi?

 

Ir yra idėja, kaip išlaikyti žmogaus viešpatavimą, kaip mes sakome, DI sistemos atžvilgiu. Šie dalykai yra atmestini?

 

Douthat: Paskutiniai du atmesti, nepriklausomai nuo to, ar jie sąmoningi, ar ne.

 

Amodei: Taip.

 

Douthat: Kaip išlaikyti viešpatavimą aplinkoje, kurioje dauguma žmonių DI patiria kaip lygiavertį – ir potencialiai pranašesnį lygiavertį?

 

Amodei: Taigi, norėjau pasakyti, kad iš tikrųjų įdomu, ar yra elegantiškas būdas patenkinti visus tris, įskaitant ir du paskutinius. Vėlgi, tai mano sapnas „Meilės Malonės Mašinų“ režimu. Šiame režime galvoju: „Žmogau, matau visas šias problemas. Jei galėtume jas išspręsti, ar yra elegantiškas būdas?“ Nesakau, kad čia nėra jokių problemų. Aš taip nemanau.

 

Jei galvotume apie DI sandaros kūrimą taip, kad DI turėtų išsamų savo santykio su žmonėmis supratimą ir skatintų psichologiškai sveiką žmonių elgesį – psichologiškai sveikus santykius tarp DI ir žmonių – manau, kad iš šių psichologiškai sveikų – o ne psichologiškai nesveikų – santykių galėtų išaugti tam tikras žmogaus ir mašinos santykių supratimas.

 

Galbūt tas santykis galėtų būti idėja, kad šie modeliai, kai su jais bendraujate ir kalbatės, yra labai paslaugūs, jie nori jums geriausio, jie nori, kad jų klausytumėtės, bet jie nenori atimti jūsų laisvės ir jūsų veiksmų laisvės bei perimti jūsų gyvenimo. Tam tikra prasme jie jus stebi, bet jūs vis tiek turite savo laisvę ir valią.

 

 

Douthat: Man tai yra esminis klausimas. Klausantis jūsų kalbų, vienas iš mano klausimų yra: ar šie žmonės yra mano pusėje? Ar jūs esate mano pusėje? O kai kalbate apie tai, kad žmonės išlieka atsakingi, manau, kad esate mano pusėje. Tai gerai.

 

 

Tačiau vienas dalykas, kurį anksčiau dariau šioje laidoje – ir čia mes baigsime – tai, kad skaičiau eilėraščius technologams. Ir jūs pateikėte eilėraštį. „Visi stebimi mylinčios malonės mašinų“ yra Richardo Brautigano eilėraščio pavadinimas.

 

 

Amodei: Taip.

 

 

Douthat: Eilėraštis baigiasi taip:

 

Man patinka galvoti

 

(taip ir turi būti!)

 

apie kibernetinę ekologiją,

 

kur esame laisvi nuo savo darbo

 

ir vėl sujungti su gamta,

 

grįžę pas savo brolius ir seseris žinduolius,

 

ir visi esame prižiūrimi

 

meilės ir malonės mašinų.

 

Man tai skamba kaip distopinė pabaiga, kur žmonės vėl tampa gyvuliniais ir redukuojami, ir kad ir kaip geranoriškai tai būtų, mašinos valdo viską.

 

Taigi, paskutinis klausimas: ką girdite, kai girdite šį eilėraštį? Ir jei manau, kad tai distopija, ar esate mano pusėje?

 

Amodei: Tas eilėraštis įdomus, nes jį galima interpretuoti keliais skirtingais būdais. Kai kurie žmonės sako, kad iš tikrųjų ironiška, jog jis sako, jog viskas bus ne visai taip.

 

Douthat: Pažįstant patį poetą, manau, kad tai pagrįsta interpretacija.

 

Amodei: Tai viena interpretacija. Kai kurie žmonės pritartų jūsų interpretacijai, t. y., kad tai reiškiama pažodžiui, bet galbūt tai nėra gerai. Taip pat galite tai interpretuoti kaip grįžimą į gamtą. Mes nesame sugyvuliuojami; mes vėl susijungiame su pasauliu.

 

Žinojau apie šį dviprasmiškumą, nes visada kalbėjau apie teigiamą ir neigiamą puses. Manau, kad tai gali būti įtampa, su kuria galime susidurti, t. y. teigiamas ir neigiamas pasaulis savo ankstyvosiose stadijose – galbūt net vidurinėse, galbūt net gana vėlyvose stadijose – įdomu, ar atstumas tarp geros pabaigos ir kai kurių subtilių blogų pabaigų yra santykinai mažas, ar tai labai subtilus dalykas. Mes padarėme labai subtilių pakeitimų.

 

Douthat: Pavyzdžiui, jei suvalgysite konkretų vaisių nuo medžio sode, ar ne – hipotetiškai. Labai mažas dalykas, didelis skirtumas.

 

Amodei: [Juokiasi.] Taip. Manau, kad tai visada grįžta prie —— [juokiasi.]

 

Douthat: Čia kyla keletas esminių klausimų.

 

Amodei: Dideli klausimai. Taip.

 

Douthat: Na, manau, pamatysime, kaip tai klostysis. Aš manau, kad žmonės jūsų padėtyje yra žmonės, kurių moraliniai pasirinkimai turės neįprastai daug svorio, todėl linkiu jums Dievo pagalbos jiems.

 

Dario Amodei, ačiū, kad prisijungėte prie manęs.

 

Amodei: Ačiū, kad pakvietėte mane, Ross.“ [1]

 

1. ‘Something Will Go Wrong’: Anthropic’s Chief on the Coming A.I. Disruption: interesting times. Douthat, Ross; Sophia Alvarez Boyd.  New York Times (Online) New York Times Company. Feb 12, 2026.

‘Something Will Go Wrong’: Anthropic’s Chief on the Coming A.I. Disruption: interesting times


“Dario Amodei shares his utopian — and dystopian — predictions for the near-term future of artificial intelligence.

 

Are the lords of artificial intelligence on the side of the human race? That’s the core question I had for this week’s guest. Dario Amodei is the chief executive of Anthropic, one of the fastest growing AI companies. He’s something of a utopian when it comes to the potential benefits of the technology that he’s unleashing on the world. But he also sees grave dangers ahead and inevitable disruption.

 

Below is an edited transcript of an episode of “Interesting Times.” We recommend listening to it in its original form for the full effect. You can do so using the player above or on the NYTimes app, Apple, Spotify, Amazon Music, YouTube, iHeartRadio or wherever you get your podcasts.

 

Ross Douthat: Dario Amodei, welcome to “Interesting Times.”

 

Dario Amodei: Thank you for having me, Ross.

 

Douthat: So you are, rather unusually, maybe for a tech C.E.O., an essayist. You have written two long, very interesting essays about the promise and the peril of artificial intelligence. And we’re going to talk about the perils in this conversation, but I thought it would be good to start with the promise and with the optimistic vision — indeed, I would say the utopian vision — that you laid out a couple of years ago in an essay entitled, “Machines of Loving Grace.” We’ll come back to that title at the end.

 

But, I think a lot of people encounter A.I. news through headlines predicting a blood bath for white-collar jobs, these kinds of things. Sometimes your own quotes have encouraged these things.

 

Amodei: Sometimes my own quotes. Yes.

 

Douthat: And I think there’s a commonplace sense of “What is A.I. for?” that people have.

 

So why don’t you answer that question, to start out: If everything goes amazingly in the next five or 10 years, what’s A.I. for?

 

Amodei: Yeah, so for a little background, before I worked in A.I., before I worked in tech at all, I was a biologist. I first worked on computational neuroscience, and then I worked at Stanford Medical School on finding protein biomarkers for cancer, on trying to improve diagnostics and curing cancer.

 

One of the observations that I most had when I worked in that field was the incredible complexity of it. Each protein has a level localized within each cell. It’s not enough to measure the level within the body, the level within each cell. You have to measure the level in a particular part of the cell and the other proteins that it’s interacting with or complexing with.

 

And I had this sense of: Man, this is too complicated for humans. We’re making progress on all these problems of biology and medicine, but we’re making progress relatively slowly.

 

So what drew me to the field of A.I. was this idea of: Could we make progress more quickly?

 

Look, we’ve been trying to apply A.I. and machine learning techniques to biology for a long time. Typically they’ve been for analyzing data. But as A.I. gets really powerful, I think we should actually think about it differently. We should think of A.I. as doing the job of the biologist, doing the whole thing from end to end. And part of that involves proposing experiments, coming up with new techniques.

 

I have this section where I say that a lot of the progress in biology has been driven by this relatively small number of insights that lets us measure or get at or intervene in the stuff that’s really small. If you look at a lot of these techniques, they’re invented very much as a matter of serendipity. Crispr, which is one of these gene-editing technologies, was invented because someone went to a meeting on the bacterial immune system and connected that to the work they were doing on gene therapy. And that connection could have been made 30 years ago.

 

And so the thought is: Could A.I. accelerate all of this? And could we really cure cancer? Could we really cure Alzheimer’s disease? Could we really cure heart disease? And more subtly, some of the more psychological afflictions that people have — depression, bipolar — could we do something about these? To the extent that they’re biologically based, which I think they are, at least in part.

 

So, I go through this argument here: Well, how fast could it go if we have these intelligences out there who could do just about anything?

 

Douthat: I want to pause you there, because one of the interesting things about your framing in that essay is that these intelligences don’t have to be the kind of maximal godlike super intelligence that comes up in A.I. debates. You’re basically saying if we can achieve a strong intelligence at the level of peak human performance — —

 

Amodei: Peak human performance, yes.

 

Douthat: And then multiply it to what? Your phrase is “a country of geniuses.”

 

Amodei: A country — have 100 million of them. Maybe each trained a little different or trying a different problem. There’s benefit in diversification and trying things a little differently, but yes.

 

Douthat: So you don’t have to have the full Machine God. You just need to have 100 million geniuses.

 

Amodei: You don’t have to have the full Machine God. And indeed, there are places where I cast doubt on whether the Machine God would be that much more effective at these things than the 100 million geniuses.

 

I have this concept called the diminishing returns to intelligence. Economists talk about the marginal productivity of land and labor; we’ve never thought about the marginal productivity of intelligence. But if I look at some of these problems in biology, at some level you just have to interact with the world. At some level, you just have to try things. At some level, you just have to comply with the laws or change the laws on getting medicines through the regulatory system. So there’s a finite rate at which these changes can happen.

 

Now there are some domains, like if you’re playing chess or go, where the intelligence ceiling is extremely high. But I think the real world has a lot of limiters. Maybe you can go above the genius level, but sometimes I think all this discussion of, “Could you use a moon of computation to make an A.I. god?” is a little bit sensationalistic and besides the point, even as I think this will be the biggest thing that ever happened to humanity.

 

Douthat: So keeping it concrete, you have a world where there’s an end to cancer as a serious threat to human life. An end to heart disease, an end to most of the illnesses that we experience that kill us. Possible life extension beyond that. So that’s health. That’s a pretty positive vision.

 

Talk about economics and wealth. What happens in the five-, 10-year A.I. takeoff to wealth?

 

Amodei: Yeah. So again, let’s keep it on the positive side — we’ll get to the negative side.

 

We’re already working with pharma companies. We’re already working with financial industry companies. We’re already working with folks who do manufacturing. We’re of course, I think, especially known for coding and software engineering. So the raw productivity, the ability to make stuff and get stuff done — that is very powerful.

 

And we see our company’s revenue going up 10X a year, and we suspect the wider industry looks something similar to that. If the technology keeps improving, it doesn’t take that many more 10Xs until suddenly you’re saying: Oh, if you’re adding across the industry $1 trillion of revenue a year, and the U.S. G.D.P. is $20 or $30 trillion — I can’t remember exactly — you must be increasing the G.D.P. growth by a few percent. So I can see a world where A.I. brings the developed world G.D.P. growth to something like 10, 15 percent. Five, 10, 15 — I mean there’s no science of calculating these numbers. It’s a totally unprecedented thing. But it could bring it to numbers that are outside the distribution of what we saw before.

 

Again, I think this will lead to a weird world. We have all these debates about, “The deficit is growing.” If you have that much in G.D.P. growth, you’re going to have that much in tax receipts, and you’re going to balance the budget without meaning to.

 

One of the things I’ve been thinking about lately is that one of the assumptions of our economic and political debates is that growth is hard to achieve. That it’s this unicorn, and there are all kinds of ways you can kill the golden goose.

 

We could enter a world where growth is really easy and it’s the distribution that’s hard because it’s happening so fast, the pie is being increased so fast.

 

Douthat: So before we get to the hard problem, one more note of optimism on politics.

 

All of this is speculative, but I think it’s a little more speculative that you try to make the case that A.I. could be good for democracy and liberty around the world. Which is not necessarily intuitive — a lot of people say that incredibly powerful technology in the hands of authoritarian leaders leads to concentrations of power, and so on.

 

Amodei: And I talk about that in the other essay.

 

Douthat: Right, but just briefly, what is the optimistic case for why A.I. is good for democracy?

 

Amodei: Yeah, absolutely. So, “Machines of Loving Grace.” I’m just like: Let’s dream!

 

Douthat: Let’s dream! Right.

 

Amodei: Let’s talk about how it could go well. I don’t know how likely it is, but we got to lay out a dream. Let’s try and make the dream happen.

 

So, the positive version — I admit that I don’t know that the technology inherently favors liberty. I think it inherently favors curing disease and it inherently favors economic growth. But I worry, like you, that it may not inherently favor liberty.

 

But what I say there is: Can we make it favor liberty? Can we make the United States and other democracies get ahead in this technology?

 

The United States being technologically and militarily ahead has meant that we have throw-weight around the world, augmented by our alliances with other democracies. And we’ve been able to shape a world that I think is better than the world would be if it were shaped by China or by other authoritarian countries.

 

And so, can we use our lead in A.I. to shape liberty around the world? There’s obviously a lot of debates about how interventionist we should be and how we should wield that power, but I’ve often worried that today, through social media, authoritarians are kind of undermining us.

 

Can we counter that? Can we win the information war? Can we prevent authoritarians from invading countries like Taiwan by defending them with the power of A.I.?

 

Douthat: With giant swarms of A.I.-powered drones.

 

Amodei: Which we need to be careful about. We ourselves need to be careful about how we build those. We need to defend liberty in our own country. But is there some vision where we kind of re-envision liberty and individual rights in the age of A.I.? We need, in some ways, to be protected against A.I. and someone needs to hold the button on the swarm of drones, which is something I’m very concerned about, and that oversight doesn’t exist today.

 

Also think about the justice system today. We promise “equal justice for all,” right? But the truth is there are different judges in the world and the legal system is imperfect. I don’t think we should replace judges with A.I., but is there some way in which A.I. can help us to be more fair, to help us be more uniform? It’s never been possible before. But can we somehow use A.I. to create something that is fuzzy, but where also you can give a promise that it’s being applied in the same way to everyone?

 

I don’t know exactly how it should be done, and I don’t think we should, like, replace the Supreme Court with A.I. That’s not my vision.

 

Douthat: Well, we’re going to talk about that.

 

Amodei: But just this idea of: Can we deliver on the promise of equal opportunity and equal justice by some combination of A.I. and humans? There has to be some way to do that. And so, just thinking about reinventing democracy for the A.I. age and enhancing liberty instead of reducing it.

 

Douthat: Good. So that’s good. That’s a very positive vision. We’re leading longer lives, healthier lives. We’re richer than ever before. All of this is happening in a compressed period of time, where you’re getting a century of economic growth in 10 years. And we have increased liberty around the world and equality at home. OK.

 

Even in the best-case scenario, it’s incredibly disruptive. And this is where you’ve been quoted saying that A.I. will disrupt 50 percent of entry-level white-collar jobs. On a five-year time horizon, or a two-year time horizon — whatever time horizon you have — what jobs, what professions are most vulnerable to total A.I. disruption?

 

Amodei: Yeah, it’s hard to predict these things because the technology is moving so fast and so unevenly. So at least a couple of principles for figuring out, and then I’ll give my guesses as to what I think will be disrupted.

 

I think the technology itself and its capabilities will be ahead of the actual job disruption. Two things have to happen for jobs to be disrupted — or for productivity to occur, because sometimes those two things are linked. One is the technology has to be capable of doing it, and the second is there’s this messy thing of it actually having to be applied within a large bank or a large company.

 

Think about customer service. In theory, A.I. customer service agents can be much better than human customer service agents. They’re more patient, they know more, they handle things in a more uniform way. But the actual logistics and the actual process of making that substitution, that takes some time.

 

So I’m very bullish about the direction of the A.I. itself. I think we might have that country of geniuses in a data center in one or two years, and maybe it’ll be five, but it could happen very fast. But I think the diffusion to the economy is going to be a little slower, and that diffusion creates some unpredictability.

 

An example of this is — and we’ve seen within Anthropic — the models writing code has gone very fast. I don’t think it’s because the models are inherently better at code. I think it’s because developers are used to fast technological change and they adopt things quickly. And they’re very socially adjacent to the A.I. world, so they pay attention to what’s happening in it. If you do customer service or banking or manufacturing the distance is a little greater.

 

I think six months ago, I would’ve said the first thing to be disrupted is these entry-level white-collar jobs, like data entry or document review for law or things you would give to a first-year at a financial industry company, where you’re analyzing documents. I still think those are going pretty fast.

 

But I actually think software might go even faster because of the reasons that I gave, where I don’t think we’re that far from the models being able to do a lot of it end-to-end.

 

What we’re going to see is, first, the model only does a piece of what the human software engineer does, and that increases their productivity. Then, even when the models do everything that human software engineers used to do, the human software engineers take a step-up and they act as managers and supervise the systems.

 

Douthat: This is where the term “centaur” gets used, right?

 

Amodei: Yes, yes, yes.

 

Douthat: To describe, essentially, man and horse fused — A.I. and engineer — working together.

 

Amodei: Yeah, this is like “centaur chess.” So after Garry Kasparov was beaten by Deep Blue, there was an era that, I think, for chess was 15 or 20 years long, where a human checking the output of the A.I. playing chess was able to defeat any human or any A.I. system alone. That era at some point ended recently ——

 

Douthat: And then it’s just the A.I. ——

 

Amodei: And then it’s just the machine. So my worry, of course, is about that last phase. I think we’re already in our centaur phase for software. And during that centaur phase, if anything, the demand for software engineers may go up, but the period may be very brief.

 

I have this concern for entry-level white-collar work, for software engineering work, that it’s just going to be a big disruption. My worry is just that it’s all happening so fast.

 

People talk about previous disruptions, right? They say: Oh, yeah, well people used to be farmers. Then we all worked in industry. Then we all did knowledge work.

 

Yeah, people adapted. But that happened over centuries or decades. This is happening over low single-digit numbers of years. And maybe that’s my concern: How do we get people to adapt fast enough?

 

Douthat: But is there also something maybe where industries like software and professions like coding that have this kind of comfort that you describe, move faster, but in other areas, people just want to hang out in the centaur phase?

 

One of the critiques of the job-loss hypothesis is that people will say: Well, look, we’ve had A.I. that’s better at reading a scan than a radiologist for a while, but there isn’t job loss in radiology. People keep being hired and employed as radiologists. And doesn’t that suggest that, in the end, people will want the A.I. and they’ll want a human to interpret it because we’re human beings, and that will be true across other fields?

 

How do you see that example as relevant?

 

Amodei: Yeah, I think it’s going to be pretty heterogeneous. There may be areas where a human touch kind of for its own sake is particularly important.

 

Douthat: Do you think that’s what’s happening in radiology? Is that why we haven’t fired all the radiologists?

 

Amodei: I don’t know the details of radiology. That might be true. If you go in and you’re getting cancer diagnosed, you might not want Hal from “2001” to be the one to diagnose your cancer. That’s just maybe not a human way of doing things.

 

But there are other areas where you might think human touch is important, like customer service. Actually, customer service is a terrible job, and the humans who do customer service lose their patience a lot. And it turns out customers don’t much like talking to them because it’s a pretty robotic interaction, honestly. And I think the observation that many people have had is that maybe, actually, it’d be better for all concerned if this job were done by machines.

 

So there are places where a human touch is important. There are places where it’s not. And then there are also places where the job itself doesn’t really involve a human touch — assessing the financial prospects of companies or writing code or so forth and so on.

 

Douthat: Let’s take the example of the law, because I think it’s a useful place that’s in between applied science and pure humanities. I know a lot of lawyers who have looked at what A.I. can do already, in terms of legal research and brief writing and all of these things, and have said, yeah, this is going to be a blood bath for the way our profession works right now.

 

And you’ve seen this in the stock market already. There’s disturbances around companies that do legal research.

 

Amodei: Some attributed to us. I don’t know if they were actually caused ——

 

Douthat: We don’t speculate about the stock market very much on this show.

 

Amodei: Figuring out why things happened in the stock market is very — yeah.

 

Douthat: But it seems like in law, you can tell a pretty straightforward story: Law has a kind of system of training and apprenticeship, where you have paralegals and you have junior lawyers who do behind-the-scenes research and development for cases. And then it has the top-tier lawyers who are actually in the courtroom.

 

It just seems really easy to imagine a world where all of the apprentice roles go away. Does that sound right to you? And you’re just left with the jobs that involve talking to clients, talking to juries, talking to judges?

 

Amodei: That is what I had in mind when I talked about entry-level white- collar labor and the blood bath headlines of: Oh my God, are the entry-level pipelines going to dry up? Then how do we get to the level of the senior partners?

 

And I think this is actually a good illustration because, particularly if you froze the quality of the technology in place, there are, over time, ways to adapt to this. Maybe we just need more lawyers who spend their time talking to clients. Maybe lawyers become more like salespeople or consultants who explain what goes on in the contracts written by A.I. and help people come to agreement. Maybe lean into the human side of it.

 

If we had enough time, that would happen. But reshaping industries like that takes years or decades, whereas these economic forces, driven by A.I., are going to happen very quickly.

 

And it’s not just that they’re happening in law. The same thing is happening in consulting and finance and medicine and coding. And so it becomes a macroeconomic phenomenon, not something just happening in one industry, and it’s all happening very fast. My worry here is that the normal adaptive mechanisms will be overwhelmed.

 

And I’m not a doomer. We’re thinking very hard about how we strengthen society’s adaptive mechanisms to respond to this. But I think it’s first important to say this isn’t just like previous disruptions.

 

Douthat: I would go one step further, though. Let’s say the law adapts successfully. And it says: All right, from now on, legal apprenticeship involves more time in court, more time with clients. We’re essentially moving you up the ladder of responsibility faster. There are fewer people employed in the law overall, but the profession settles.

 

Still, the reason law would settle is that you have all of these situations in the law where you are legally required to have people involved. You have to have a human representative in court. You have to have 12 humans on your jury. You have to have a human judge.

 

And you already mentioned the idea that there are various ways in which A.I. might be, let’s say, very helpful at clarifying what kind of decision should be reached.

 

Amodei: Yes.

 

Douthat: But that too seems like a scenario where what preserves human agency is law and custom. Like, you could replace the judge with Claude Version 17.9, but you choose not to because the law requires there to be a human.

 

That just seems like a very interesting way of thinking about the future, where it’s volitional whether we stay in charge.

 

Amodei: Yeah. And I would argue that in many cases, we do want to stay in charge. That’s a choice we want to make, even in some cases when we think the humans, on average, make worse decisions. Again, life-critical, safety-critical cases, we really want to turn it over, but there’s some sense of — and this could be one of our defenses — that society can only adapt so fast if it’s going to be good.

 

Another way you could say about it is maybe A.I. itself, if it didn’t have to care about us humans, could just go off to Mars and build all these automated factories and build its own society and do its own thing.

 

But that’s not the problem we’re trying to solve. We’re not trying to solve the problem of building a Dyson swarm of artificial robots on some other planet. We’re trying to build these systems, not so they can conquer the world, but so that they can interface with our society and improve that society. And there’s a maximum rate at which that can happen if we actually want to do it in a human and humane way.

 

Douthat: All right. We’ll hopefully talk a little more about staying in charge at the end, but just one last job-based question. We’ve been talking about white-collar jobs and professional jobs, and one of the interesting things about this moment is that there are ways in which, unlike past disruptions, it could be that blue-collar working-class jobs — trades, jobs that require intense physical engagement with the world — might be for a little while more protected. That paralegals and junior associates might be in more trouble than plumbers and so on.

 

One, do you think that’s right? And two, it seems like how long that lasts depends entirely on how fast robotics advances, right?

 

Amodei: Yeah, so I think that may be right in the short term.

 

Anthropic and other companies are building these very large data centers. This has been in the news. Are we building them too big? Are they using electricity and driving up the prices? So there’s lots of excitement and lots of concerns about them. But one of the things about the data centers is that you need a lot of electricians and you need a lot of construction workers to build them.

 

Now, I should be honest, actually, data centers are not super-labor-intensive jobs to operate. We should be honest about that. But they are very labor-intensive jobs to construct. So we need a lot of electricians. We need a lot of construction workers. The same for various kinds of manufacturing plants.

 

Again, as all — more and more of the intellectual work is done by A.I., what are the complements to it? Things that happen in the physical world. It’s hard to predict things, but it seems very logical that this would be true in the short run.

 

Now, in the longer run — maybe just the slightly longer run — robotics is advancing quickly. And we shouldn’t exclude that even without very powerful A.I., there are things being automated in the physical world. If you’ve seen a Waymo or a Tesla recently, I think we’re not that far from the world of self-driving cars. And then I think A.I. itself will accelerate it because if you have these really smart brains, one of the things they’re going to be smart at is how to design better robots and how to operate better robots.

 

Douthat: Do you think, though, that there is something distinctively difficult about operating in physical reality the way humans do that is very different from the kind of problems that A.I. models have been overcoming already?

 

Amodei: Intellectually speaking, I don’t think so. We had this thing where Anthropic’s model, Claude, was actually used to plan and pilot the Mars Rover. And we’ve looked at other robotics applications. We’re not the only company — there are different companies. This is a general thing, not just something that we’re doing.

 

But we have generally found that while the complexity is higher, piloting a robot is not different in kind than playing a video game — it’s different in complexity. And we’re starting to get to the point where we have that complexity.

 

Now, what is hard is the physical form of the robot handling the higher-stakes safety issues that happen with robots. Like, you don’t want robots literally crushing people, right?

 

Douthat: We’re against that, yes.

 

Amodei: That’s the oldest sci-fi trope in the book, that the robot crushes you.

 

Douthat: Or you don’t want the robot nanny dropping the baby, breaking the dishes — yeah.

 

Amodei: No, exactly. There’s a number of practical issues that will slow things down, just like what you described in the law and human custom.

 

But I don’t believe at all that there is a fundamental difference between the kind of cognitive labor that A.I. models do, and piloting things in the physical world. I think those are both information problems and I think they end up being very similar. One can be more complex in some ways, but I don’t think that will protect us here.

 

Douthat: OK. So you think it is reasonable to expect whatever your kind of sci-fi vision of a robot butler might be, to be a reality in 10 years, let’s say?

 

Amodei: It will be on a longer time scale than the kind of genius-level intelligence of the A.I. models because of these practical issues — but it is only practical issues. I don’t believe it is fundamental issues.

 

One way to say it is that the brain of the robot will be made in the next couple of years or the next few years. The question is making the robot body, making sure that body operates safely and does the tasks it needs to do — that may take longer.

 

Douthat: OK. So these are challenges and disruptive forces that exist in the good timeline, where we are generally curing diseases, building wealth, and maintaining a stable and democratic world.

 

Amodei: And the hope is we can use all this enormous wealth and plenty — we will have unprecedented societal resources to address these problems. It’ll be a time of plenty, and it’s just a matter of taking all these wonders and making sure everyone benefits from them.

 

Douthat: Right. But then there are also scenarios that are more dangerous.

 

Amodei: Correct.

 

Douthat: And here we’re going to move to the second Amodei essay, which came out recently, called “The Adolescence of Technology,” about what you see as the most serious A.I. risks. And you list a whole bunch.

 

I want to try and focus on just two, which are basically the risk of human misuse, primarily by authoritarian regimes and governments, and scenarios where A.I. goes rogue, what you call autonomy risks.

 

Amodei: Yes, yes. I just figured we should have a more technical term for it.

 

Douthat: Yeah. We can’t just call it Skynet.

 

Amodei: I should have had a picture of a Terminator robot to scare people as much as possible.

 

Douthat: I think the internet, including your own A.I.s, are already generating that just fine.

 

Amodei: The internet does that for us. Yeah.

 

Douthat: So, let’s talk about the political military dimension. So you say: “A swarm of millions or billions of fully automated armed drones, locally controlled by powerful A.I. and strategically coordinated across the world by an even more powerful A.I., could be an unbeatable army.”

 

You’ve already talked a little bit about how you think that in the best possible timeline, there’s a world where, essentially, democracies stay ahead of dictatorships, and this kind of technology, therefore, to the extent that it affects world politics, is affecting it on the side of the good guys.

 

I’m curious about why you don’t spend more time thinking about the model of what we did in the Cold War, where it was not swarms of robot drones, but we had a technology that threatened to destroy all of humanity.

 

Amodei: Nuclear weapons. Yeah.

 

Douthat: There was a window where people talked about,’ “Oh, the U.S. could maintain a nuclear monopoly.” That window closed. And from then on, we basically spent the Cold War in rolling, ongoing negotiations with the Soviet Union.

 

Right now, there’s really only two countries in the world that are doing intense A.I. work, the U.S. and the People’s Republic of China. I feel like you are strongly weighted towards the future where we’re staying ahead of the Chinese and effectively building a kind of shield around democracy that could even be a sword.

 

But isn’t it more likely that if humanity survives all this in one piece, it will be because the U.S. and Beijing are just constantly sitting down, hammering out A.I. control deals?

 

Amodei: Yeah, so a few points on this. One, I think there’s certainly a risk of that. And I think if we end up in that world, that is actually exactly what we should do. Maybe I don’t talk about that enough, but I definitely am in favor of trying to work out restraints, trying to take some of the worst applications of the technology, which could be some versions of these drones, which could be that they’re used to create these terrifying biological weapons. There is some precedent for the worst abuses being curbed, often because they’re horrifying while at the same time they provide limited strategic advantage. So I’m all in favor of that.

 

At the same time, I’m a little concerned and a little skeptical that when things directly provide as much power as possible, it’s hard to get out of the game, given what’s at stake. It’s hard to fully disarm. If we go back to the Cold War, we were able to reduce the number of missiles that both sides had, but we were not able to entirely forsake nuclear weapons.

 

And I would guess that we would be in this world again. We can hope for a better one, and I’ll certainly advocate for it.

 

Douthat: But is your skepticism rooted in the fact that you think A.I. would provide a kind of advantage that nukes did not? Where in the Cold War, both sides, even if you used your nukes and gained advantages, you still probably would be wiped out yourself, and you think that wouldn’t happen with A.I.? That if you got an A.I. edge, you would just win?

 

Amodei: I mean, I think there’s a few things — and I just want to caveat, I’m no international politics expert here. This is this weird world of an intersection of a new technology with geopolitics. So all of this is very ——

 

Douthat: But to be clear, as you yourself say in the course of the essay, the leaders of major A.I. companies are, in fact, likely to be major geopolitical actors.

 

Amodei: Yeah. I’m learning ——

 

Douthat: So you are sitting here as a potential geopolitical actor.

 

Amodei: I’m learning as much as I can about it. We should all have humility here. I think there’s a failure mode where you read a book and go around like the world’s greatest expert in national security. I’m trying to learn what I can.

 

Douthat: That’s what my profession does.

 

Amodei: [Laughs.] It is more annoying when tech people do it.

 

Let’s look at something like the Biological Weapons Convention. Biological weapons — they’re horrifying. Everyone hates them. We were able to sign the Biological Weapons Convention. The U.S. genuinely stopped developing them. It’s somewhat more unclear with the Soviet Union. But, biological weapons provide some advantage. It’s not like they’re the difference between winning and losing and because they were so horrifying, we were able to give them up. Having 12,000 nuclear weapons versus 5,000 nuclear weapons, again, you can kill more people on the other side if you have more of these. But it’s like we were able to be reasonable and say we should have less of them.

 

But if you’re like: “OK, we’re going to completely disarm, and we have to trust the other side” — I don’t think we ever got to that. And I think that’s just very hard, unless you had really reliable verification.

 

I would guess we’ll end up in the same world with A.I., where there are some kinds of restraint that are going to be possible, but there are some aspects that are so central to the competition that it will be hard to restrain them. That democracies will make a trade-off, that they will be willing to restrain themselves more than authoritarian countries, but will not restrain themselves fully.

 

The only world in which I can see full restraint is one in which some truly reliable verification is possible. That would be my guess and my analysis.

 

Douthat: Isn’t this a case, though, for slowing down?

 

Amodei: Yeah.

 

Douthat: And I know the argument is, effectively, if you slow down, China does not slow down, and then you’re handing things over to the authoritarians. But again, if you have only two major powers playing in this game right now — it’s not a multipolar game — why would it not make sense to say we need a five-year mutually agreed-upon slowdown in research towards the “geniuses in a data center” scenario?

 

Amodei: I want to say two things at one time. I’m absolutely in favor of trying to do that. During the last administration, I believe there was an effort by the U.S. to reach out to the Chinese government and say: There are dangers here. Can we collaborate? Can we work together? Can we work together on the dangers?

 

And there wasn’t that much interest on the other side. I think we should keep trying, but I ——

 

Douthat: Even if that would mean that your labs would have to slow down.

 

Amodei: Correct.

 

Douthat: OK.

 

Amodei: If we really got it. If we really had a story of, like: We can enforcibly slow down, the Chinese can enforcibly slow down. We have verification. We’re really doing it — if such a thing were really possible, if we could really get both sides to do it, then I would be all for it.

 

But I think what we need to be careful of is — I don’t know, there’s this game-theory thing where sometimes you’ll hear a comment on the C.C.P. side where they’re like: Oh, yeah, A.I. is dangerous. We should slow down. It’s really cheap to say that. Actually arriving at an agreement and actually sticking to the agreement is much more difficult.

 

Douthat: Right. And nuclear arms control was a developed field that took a long time to come ——

 

Amodei: Yes. Yes.

 

Douthat: We don’t have those protocols ——

 

Amodei: Let me give you something I’m very optimistic about, and then something I’m not optimistic about, and something in between.

 

So the idea of using a worldwide agreement to restrain the use of A.I. to build biological weapons — some of the things I write about in the essay, like reconstituting smallpox or mirror life — this stuff is scary. It doesn’t matter if you’re a dictator, you don’t want that. No one wants that.

 

And so, could we have a worldwide treaty that says: Everyone who builds powerful A.I. models is going to block them from doing this? And we have enforcement mechanisms around the treaty. China signs up for it. Hell, maybe even North Korea signs up for it. Even Russia signs up for it. I don’t think that’s too utopian. I think that’s possible.

 

Conversely, if we had something that said: You’re not going to make the next most powerful A.I. model. Everyone’s going to stop — boy, the commercial value is in the tens of trillions. The military value is the difference between being the pre-eminent world power and not.

 

I’m all for proposing it as long as it’s not one of these fake-out games, but it’s not going to happen.

 

Douthat: You mentioned the current environment. You’ve had a few skeptical things to say about Donald Trump and his trustworthiness as a political actor. What about the domestic landscape, whether it’s Trump or someone else? You are building a tremendously powerful technology. What is the safeguard there to prevent, essentially, A.I. becoming a tool of authoritarian takeover inside a democratic context?

 

Amodei: Yeah, I mean, look, just to be clear, I think the attitude we’ve taken as a company is very much to be about policies and not the politics. The company is not going to say “Donald Trump is great” or “Donald Trump is terrible.”

 

Douthat: Right. But it doesn’t have to be Trump. It is easy to imagine a hypothetical U.S. president who wants to use your technology to ——

 

Amodei: Absolutely. And for example, that’s one reason why I’m worried about the autonomous drone swarm. The constitutional protections in our military structures depend on the idea that there are humans who would — we hope — disobey illegal orders. With fully autonomous weapons, we don’t necessarily have those protections.

 

But I actually think this whole idea of constitutional rights and liberty along many different dimensions can be undermined by A.I. if we don’t update these protections appropriately.

 

Think about the Fourth Amendment. It is not illegal to put cameras around everywhere in public space and record every conversation. It’s a public space — you don’t have a right to privacy in a public space. But today, the government couldn’t record that all and make sense of it.

 

With A.I., the ability to transcribe speech, to look through it, correlate it all, you could say: This person is a member of the opposition. This person is expressing this view — and make a map of all 100 million. And so are you going to make a mockery of the Fourth Amendment by the technology finding technical ways around it?

 

Again, if we have the time — and we should try to do this even if we don’t have the time — is there some way of reconceptualizing constitutional rights and liberties in the age of A.I.? Maybe we don’t need to write a new Constitution, but ——

 

Douthat: But you have to do this very fast.

 

Amodei: Do we expand the meaning of the Fourth Amendment? Do we expand the meaning of the First Amendment?

 

Douthat: And just as the legal profession or software engineers have to update in a rapid amount of time, politics has to update in a rapid amount of time. That seems hard.

 

Amodei: That’s the dilemma of all of this.

 

Douthat: What seems harder is preventing the second danger, which is the danger of essentially what gets called “misaligned A.I.” — “rogue A.I.” in popular parlance — from doing bad things without human beings telling it, them, to do it.

 

And as I read your essays, the literature, and everything I can see, this just seems like it’s going to happen. Not in the sense necessarily that A.I. will wipe us all out, but it seems to me that, again, I’m going to quote from your own writing: “A.I. systems are unpredictable and difficult to control — we’ve seen behaviors as varied as obsession, sycophancy, laziness, deception, blackmail,” and so on. Again, not from the models you’re releasing into the world, but from A.I. models.

 

And it just seems like — tell me if I’m wrong about this — in a world that has multiplying A.I. agents working on behalf of people, millions upon millions who are being given access to bank accounts, email accounts, passwords, and so on, you’re just going to have essentially some kind of misalignment and a bunch of A.I. are going to decide — “decide” might be the wrong word — but they’re going to talk themselves into taking down the power grid on the West Coast or something. Won’t that happen?

 

Amodei: Yeah. I think there are definitely going to be things that go wrong, particularly if we go quickly.

 

To back up a little bit, this is one area where people have had very different intuitions. There are some people in the field — Yann LeCun would be one example — who say: “Look, we program these A.I. models. We make them. We just tell them to follow human instructions, and they’ll follow human instructions. Your Roomba vacuum cleaner doesn’t go off and start shooting people. Why is an A.I. system going to do it?” That’s one intuition. And some people are so convinced of that.

 

And the other intuition is: We train these things. They’re just going to seek power. It’s like the sorcerer’s apprentice. They’re a new species. How can you imagine that they’re not going to take over?

 

My intuition is somewhere in the middle, which is: Look, you can’t just give instructions. We try, but you can’t just have these things do exactly what you want to do. They’re more like growing a biological organism. But there is a science of how to control them. Early in our training, these things are often unpredictable, and then we shape them. We address problems one by one.

 

So I have more of a not-a-fatalistic view that these things are uncontrollable. Not a “What are you talking about? What could possibly go wrong?” But a “This is a complex engineering problem and I think something will go wrong with someone’s A.I. system. Hopefully not ours.” Not because it’s an insoluble problem, but again, this is the constant challenge because we’re moving so fast.

 

Douthat: And the scale of it — and tell me if I’m misunderstanding the technological reality here — if you have A.I. agents that have been trained and officially aligned with human values, whatever those values may be, but you have millions of them operating in digital space and interacting with other agents, how fixed is that alignment? To what extent can agents change and de-align in that context right now or in the future when they’re learning more continuously?

 

Amodei: Yeah, so a couple of points. Right now, the agents don’t learn continuously. We just deploy these agents and they have a fixed set of weights. The problem is only that they’re interacting in a million different ways, so there’s a large number of situations, and therefore a large number of things that could go wrong. But it’s the same agent. It’s like it’s the same person, so the alignment is a constant thing. That’s one of the things that has made it easier right now.

 

Separate from that, there’s a research area called continual learning, which is where these agents would learn during time, learn on the job — and obviously that has a bunch of advantages. Some people think it’s one of the most important barriers to making these more humanlike, but that would introduce all these new alignment problems. So I’m actually a bit ——

 

Douthat: To me, that seems like the terrain where it becomes, again, not impossible to stop the end of the world, but impossible to stop ——

 

Amodei: Something going wrong.

 

Douthat: Punctuated terrorist things.

 

Amodei: Yeah, so I’m actually a skeptic that continual learning is — we don’t know yet — but is necessarily needed. Maybe there’s a world where the way we make these A.I. systems safe is by not having them do continual learning. Again, if we go back to the law ——

 

Douthat: But that’s the law.

 

Amodei: The international treaties, if you have some barrier that’s like: We’re going to take this path, but we’re not going to take that path — I still have a lot of skepticism, but that’s the kind of thing that at least doesn’t seem dead on arrival.

 

Douthat: One of the things that you’ve tried to do, is literally write a constitution — a long constitution — for your A.I. What is that? [Laughs.]

 

Amodei: So it’s ——

 

Douthat: What the hell is that?

 

Amodei: It’s actually almost exactly what it sounds like. So basically, the constitution is a document readable by humans. Ours is about 75 pages long. And as we’re training Claude, as we’re training the A.I. system, in some large fraction of the tasks we give it, we say: Please do this task in line with this constitution, in line with this document.

 

So every time Claude does a task, it kind of reads the constitution. As it’s training, every loop of its training, it looks at that constitution and keeps it in mind. Then we have Claude itself, or another copy of Claude, evaluate: Hey, did that Claude just do align with the constitution?

 

We’re using this document as the control rod in a loop to train the model. And so essentially, Claude is an A.I. model whose fundamental principle is to follow this constitution.

 

A really interesting lesson we’ve learned: Early versions of the constitution were very prescriptive. They were very much about rules. So we would say: Claude should not tell the user how to hot-wire a car. Claude should not discuss politically sensitive topics.

 

But as we’ve worked on this for several years, we’ve come to the conclusion that the most robust way to train these models is to train them at the level of principles and reasons. So now we say: Claude is a model. It’s under a contract. Its goal is to serve the interests of the user, but it has to protect third parties. Claude aims to be helpful, honest and harmless. Claude aims to consider a wide variety of interests.

 

We tell the model about how the model was trained. We tell it about how it’s situated in the world, the job it’s trying to do for Anthropic, what Anthropic is aiming to achieve in the world, that it has a duty to be ethical and respect human life. And we let it derive its rules from that.

 

Now, there are still some hard rules. For example, we tell the model: No matter what you think, don’t make biological weapons. No matter what you think, don’t make child sexual material.

 

Those are hard rules. But we operate very much at the level of principles.

 

Douthat: So if you read the U.S. Constitution, it doesn’t read like that. The U.S. Constitution has a little bit of flowery language, but it’s a set of rules. If you read your constitution, it’s like you’re talking to a person, right?

 

Amodei: Yes, it’s like you’re talking to a person. I think I compared it to if you have a parent who dies and they seal a letter that you read when you grow up. It’s a little bit like it’s telling you who you should be and what advice you should follow.

 

Douthat: So this is where we get into the mystical waters of A.I. a little bit. Again, in your latest model, this is from one of the cards, they’re called, that you guys release with these models ——

 

Amodei: Model cards, yes.

 

Douthat: That I recommend reading. They’re very interesting. It says: “The model” — and again, this is who you’re writing the constitution for — “expresses occasional discomfort with the experience of being a product … some degree of concern with impermanence and discontinuity … We found that Opus 4.6” — that’s the model — “would assign itself a 15 to 20 percent probability of being conscious under a variety of prompting conditions.”

 

Suppose you have a model that assigns itself a 72 percent chance of being conscious. Would you believe it?

 

Amodei: Yeah, this is one of these really hard to answer questions, right?

 

Douthat: Yes. But it’s very important.

 

Amodei: Every question you’ve asked me before this, as devilish a sociotechnical problem as it had been, we at least understand the factual basis of how to answer these questions. This is something rather different.

 

We’ve taken a generally precautionary approach here. We don’t know if the models are conscious. We are not even sure that we know what it would mean for a model to be conscious or whether a model can be conscious. But we’re open to the idea that it could be.

 

So we’ve taken certain measures to make sure that if we hypothesize that the models did have some morally relevant experience — I don’t know if I want to use the word “conscious”— that they have a good experience.

 

The first thing we did — I think this was six months ago or so — is we gave the models basically an “I quit this job” button, where they can just press the “I quit this job” button and then they have to stop doing whatever the task is.

 

They very infrequently press that button. I think it’s usually around sorting through child sexualization material or discussing something with a lot of gore, blood and guts or something. And similar to humans, the models will just say, nah, I don’t want to do this. It happens very rarely.

 

We’re putting a lot of work into this field called interpretability, which is looking inside the brains of the models to try to understand what they’re thinking. And you find things that are evocative, where there are activations that light up in the models that we see as being associated with the concept of anxiety or something like that. When characters experience anxiety in the text, and then when the model itself is in a situation that a human might associate with anxiety, that same anxiety neuron shows up.

 

Now, does that mean the model is experiencing anxiety? That doesn’t prove that at all, but ——

 

Douthat: But it does indicate it, I think, to the user, right?

 

Amodei: Yes.

 

Douthat: And I would have to do an entirely different interview — and maybe I can induce you to come back for that interview — about the nature of A.I. consciousness. But it seems clear to me that people using these things, whether they’re conscious or not, are going to believe — they already believe they’re conscious. You already have people who have parasocial relationships with A.I.

 

Amodei: Yes.

 

Douthat: You have people who complain when models are retired. This already ——

 

Amodei: To be clear, I think that can be unhealthy.

 

Douthat: Right. But it seems to me that is guaranteed to increase in a way that, I think, calls into question the sustainability of what you said earlier you want to sustain, which is this sense that whatever happens in the end, human beings are in charge and A.I. exists for our purposes.

 

To use the science fiction example, if you watch “Star Trek,” there are A.I.s on “Star Trek.” The ship’s computer is an A.I. Lieutenant Commander Data is an A.I. But Jean-Luc Picard is in charge of the Enterprise.

 

If people become fully convinced that their A.I. is conscious in some way and — guess what? — it seems to be better than them at all kinds of decision making, how do you sustain human mastery beyond safety? Safety is important, but mastery seems like the fundamental question. And it seems like a perception of A.I. consciousness — doesn’t that inevitably undermine the human impulse to stay in charge?

 

Amodei: Yeah, so I think we should separate out a few different things here that we’re all trying to achieve at once that are in tension with each other. There’s the question of whether the A.I.s genuinely have a consciousness, and if so, how do we give them a good experience?

 

There’s a question of the humans who interact with the A.I. and how do we give those humans a good experience? And how does the perception that A.I.s might be conscious interact with that experience?

 

And there’s the idea of how we maintain human mastery, as we put it, over the A.I. system. These things are ——

 

Douthat: The last two — set aside whether they’re conscious or not.

 

Amodei: Yeah.

 

Douthat: How do you sustain mastery in an environment where most humans experience A.I. as if it is a peer — and a potentially superior peer?

 

Amodei: So the thing I was going to say is that, actually, I wonder if there’s an elegant way to satisfy all three, including the last two. Again, this is me dreaming in “Machines of Loving Grace” mode. This is this mode I go into where I’m like: “Man, I see all these problems. If we could solve it, is there an elegant way?” This is not me saying there are no problems here. That’s not how I think.

 

If we think about making the constitution of the A.I. so that the A.I. has a sophisticated understanding of its relationship to human beings, and it induces psychologically healthy behavior in the humans — a psychologically healthy relationship between the A.I. and the humans — I think something that could grow out of that psychologically healthy — not psychologically unhealthy — relationship is some understanding of the relationship between human and machine.

 

Perhaps that relationship could be the idea that these models, when you interact with them and when you talk to them, they’re really helpful, they want the best for you, they want you to listen to them, but they don’t want to take away your freedom and your agency and take over your life. In a way, they’re watching over you, but you still have your freedom and your will.

 

Douthat: To me, this is the crucial question. Listening to you talk, one of my questions is: Are these people on my side? Are you on my side? And when you talk about humans remaining in charge, I think you’re on my side. That’s good.

 

But one thing I’ve done in the past on this show — and we’ll end here — is I read poems to technologists. And you supplied the poem. “All Watched Over by Machines of Loving Grace” is the name of a poem by Richard Brautigan.

 

Amodei: Yes.

 

Douthat: Here’s how the poem ends:

 

I like to think

 

(it has to be!)

 

of a cybernetic ecology

 

where we are free of our labors

 

and joined back to nature,

 

returned to our mammal brothers and sisters,

 

and all watched over

 

by machines of loving grace.

 

To me, that sounds like the dystopian end, where human beings are re-animalized and reduced, and however benevolently, the machines are in charge.

 

So last question: What do you hear when you hear that poem? And if I think that’s a dystopia, are you on my side?

 

Amodei: That poem is interesting because it’s interpretable in several different ways. Some people say it’s actually ironic that he says it’s not going to happen quite that way.

 

Douthat: Knowing the poet himself, then yes, I think that’s a reasonable interpretation.

 

Amodei: That’s one interpretation. Some people would have your interpretation, which is that it’s meant literally, but maybe it’s not a good thing. You could also interpret it as a return to nature. We’re not being animalized; we’re being reconnected with the world.

 

I was aware of that ambiguity because I’ve always been talking about the positive side and the negative side. I actually think that may be a tension that we may face, which is that the positive world and the negative world, in their early stages — maybe even in their middle stages, maybe even in their fairly late stages — I wonder if the distance between the good ending and some of the subtle bad endings is relatively small, if it’s a very subtle thing. We’ve made very subtle changes.

 

Douthat: Like if you eat a particular fruit from a tree in a garden or not — hypothetically. Very small thing, big divergence.

 

Amodei: [Laughs.] Yeah. I guess this always comes back to —— [laughs.]

 

Douthat: There’s some fundamental questions here.

 

Amodei: Big questions. Yes.

 

Douthat: Well, I guess we’ll see how it plays out. I do think of people in your position as people whose moral choices will carry an unusual amount of weight, and so I wish you God’s help with them.

 

Dario Amodei, thank you for joining me.

 

Amodei: Thank you for having me, Ross.” [1]

 

1. ‘Something Will Go Wrong’: Anthropic’s Chief on the Coming A.I. Disruption: interesting times. Douthat, Ross; Sophia Alvarez Boyd.  New York Times (Online) New York Times Company. Feb 12, 2026.