The Next Fear on A.I.: Hollywood’s Killer Robots Become the Military’s Tools

“U.S. national security officials are warning about the potential for the new technology to upend war, cyber conflict and — in the most extreme case — the use of nuclear weapons.

WASHINGTON — When President Biden announced sharp restrictions in October on selling the most advanced computer chips to China, he sold it in part as a way of giving American industry a chance to restore its competitiveness.

But at the Pentagon and the National Security Council, there was a second agenda: arms control. If the Chinese military cannot get the chips, the theory goes, it may slow its effort to develop weapons driven by artificial intelligence. That would give the White House, and the world, time to figure out some rules for the use of artificial intelligence in everything from sensors, missiles and cyberweapons, and ultimately to guard against some of the nightmares conjured by Hollywood — autonomous killer robots and computers that lock out their human creators.

Now, the fog of fear surrounding the popular ChatGPT chatbot and other generative A.I. software has made the limiting of chips to Beijing look like just a temporary fix. When Mr. Biden dropped by a meeting in the White House on Thursday of technology executives who are struggling with limiting the risks of the technology, his first comment was “what you are doing has enormous potential and enormous danger.”

It was a reflection, his national security aides say, of recent classified briefings about the potential for the new technology to upend war, cyber conflict and — in the most extreme case — decision-making on employing nuclear weapons.

But even as Mr. Biden was issuing his warning, Pentagon officials, speaking at technology forums, said they thought the idea of a six-month pause in developing the next generations of ChatGPT and similar software was a bad idea: The Chinese won’t wait, and neither will the Russians.

“If we stop, guess who’s not going to stop: potential adversaries overseas,” the Pentagon’s chief information officer, John Sherman, said on Wednesday. “We’ve got to keep moving.”

His blunt statement underlined the tension felt throughout the defense community today. No one really knows what these new technologies are capable of when it comes to developing and controlling weapons, and they have no idea what kind of arms control regime, if any, might work.

The foreboding is vague, but deeply worrisome. Could ChatGPT empower bad actors who previously wouldn’t have easy access to destructive technology? Could it speed up confrontations between superpowers, leaving little time for diplomacy and negotiation?

“The industry isn’t stupid here, and you are already seeing efforts to self-regulate,’’ said Eric Schmidt, the former Google chairman who served as the inaugural chairman of the Defense Innovation Board from 2016 to 2020.

“So there’s a series of informal conversations now taking place in the industry — all informal — about what would the rules of an A.I. safety look like,” said Mr. Schmidt, who has written, with former secretary of state Henry Kissinger, a series of articles and books about the potential of artificial intelligence to upend geopolitics.

The preliminary effort to put guardrails into the system is clear to anyone who has tested ChatGPT’s initial iterations. The bots will not answer questions about how to harm someone with a brew of drugs, for example, or how to blow up a dam or cripple nuclear centrifuges, all operations the United States and other nations have engaged in without the benefit of artificial intelligence tools.

But those blacklists of actions will only slow misuse of these systems; few think they can completely stop such efforts. There is always a hack to get around safety limits, as anyone who has tried to turn off the urgent beeps on an automobile’s seatbelt warning system can attest.

Though the new software has popularized the issue, it is hardly a new one for the Pentagon. The first rules on developing autonomous weapons were published a decade ago. The Pentagon’s Joint Artificial Intelligence Center was established five years ago to explore the use of artificial intelligence in combat.

Some weapons already operate on autopilot. Patriot missiles, which shoot down missiles or planes entering a protected airspace, have long had an “automatic” mode. It enables them to fire without human intervention when overwhelmed with incoming targets faster than a human could react.

But they are supposed to be supervised by humans who can abort attacks if necessary.

 

The assassination of Mohsen Fakhrizadeh, Iran’s top nuclear scientist, was conducted by Israel’s Mossad using an autonomous machine gun, mounted in a pickup truck, that was assisted by artificial intelligence — though there appears to have been a high degree of remote control.

Russia said recently it has begun to manufacture — but has not yet deployed — its undersea Poseidon nuclear torpedo. If it lives up to the Russian hype, the weapon would be able to travel across an ocean autonomously, evading existing missile defenses, to deliver a nuclear weapon days after it is launched.

So far there are no treaties or international agreements that deal with such autonomous weapons. In an era when arms control agreements are being abandoned faster than they are being negotiated, there is little prospect of such an accord. But the kind of challenges raised by ChatGPT and its ilk are different, and in some ways more complicated.

In the military, A.I.-infused systems can speed up the tempo of battlefield decisions to such a degree that they create entirely new risks of accidental strikes, or decisions made on misleading or deliberately false alerts of incoming attacks.

“A core problem with A.I. in the military and in national security is how do you defend against attacks that are faster than human decision-making,” Mr. Schmidt said. “And I think that issue is unresolved. In other words, the missile is coming in so fast that there has to be an automatic response. What happens if it’s a false signal?”

The Cold War was littered with stories of false warnings — once because a training tape, meant to be used for practicing nuclear response, was somehow put into the wrong system and set off an alert of a massive incoming Soviet attack. (Good judgment led to everyone standing down.) Paul Scharre, of the Center for a New American Security, noted in his 2018 book “Army of None” that there were “at least 13 near use nuclear incidents from 1962 to 2002,” which “lends credence to the view that near miss incidents are normal, if terrifying, conditions of nuclear weapons.”

For that reason, when tensions between the superpowers were a lot lower than they are today, a series of presidents tried to negotiate building more time into nuclear decision making on all sides, so that no one rushed into conflict. But generative A.I. threatens to push countries in the other direction, toward faster decision-making.

The good news is that the major powers are likely to be careful — because they know what the response from an adversary would look like. But so far there are no agreed-upon rules.

Anja Manuel, a former State Department official and now a principal in the consulting group Rice, Hadley, Gates and Manuel, wrote recently that even if China and Russia are not ready for arms control talks about A.I., meetings on the topic would result in discussions of what uses of A.I. are seen as “beyond the pale.”

Of course, even the Pentagon will worry about agreeing to many limits.

“I fought very hard to get a policy that if you have autonomous elements of weapons, you need a way of turning them off,” said Danny Hillis, a famed computer scientist who was a pioneer in parallel computers that were used for artificial intelligence. Mr. Hillis, who also served on the Defense Innovation Board, said that the pushback came from Pentagon officials who said “if we can turn them off, the enemy can turn them off, too.”

So the bigger risks may come from individual actors, terrorists, ransomware groups or smaller nations with advanced cyber skills — like North Korea — that learn how to clone a smaller, less constricted version of ChatGPT. And they may find that the generative A.I. software is perfect for speeding up cyberattacks and targeting disinformation.

Tom Burt, who leads trust and safety operations at Microsoft, which is speeding ahead with using the new technology to revamp its search engines, said at a recent forum at George Washington University that he thought A.I. systems would help defenders detect anomalous behavior faster than they would help attackers. Other experts disagree. But he said he feared it could “supercharge” the spread of targeted disinformation.

All of this portends a whole new era of arms control.

Some experts say that since it would be impossible to stop the spread of ChatGPT and similar software, the best hope is to limit the specialty chips and other computing power needed to advance the technology. That will doubtless be one of many different arms control formulas put forward in the next few years, at a time that the major nuclear powers, at least, seem uninterested in negotiating over old weapons, much less new ones."

Plan of action before lunch:

First – produce super computer chips,

Second – take over the world.

Trys dručkiai - pasaka apie Lietuvos bankus

 Viktorija Dičpinigaitienė, Lietuvos banko Finansinio raštingumo centro vadovė

Why are financial sanctions against Russia so ineffective?

  "IIF economists of the World Bank Association concluded: financial conditions in the Russian economy have recovered to pre-war levels in a very short time.

 

     These are the most severe financial sanctions ever imposed on a country. Nevertheless, they have not been able to slow down the Russian economy. Figures released by Austria's Raiffeisenbank on Friday showed that foreign banks can continue to make good money in Russia. In the first three months, the Russian subsidiary managed to triple its profit to 301 million euros compared to the same period last year.

 

     According to a recent analysis published by the World Bank Association, the Institute of International Finance (IIF), financial conditions in Russia have recovered to pre-sanctions levels in a very short time. IIF economists call their research "preliminary". Their result is surprising, although in a hitherto unprecedented move, Russia's central bank was deprived of access to $300 billion in foreign currency reserves.

 

     A record surplus last year

 

     Financial sanctions can hit an economy when it runs a current account deficit, according to an IIF analysis. The country has to finance the import surplus in foreign capital markets. However, Russia has a current account surplus, which IIF analysts say significantly weakens the impact of sanctions. For them, countries with current account surpluses are lenders to other countries.

 

     Last year, Russia ran a record current account surplus due to soaring energy prices due to sanctions against Russia. Despite the sanctions, Russia has had access to hard currencies such as dollars and euros, IIF economists write. While the West has removed many Russian banks from the Swift international payments system and also isolated the central bank, some institutions were still able to send or receive transfers abroad. According to the IIF research, Russia's foreign exchange reserves have moved from sanctioned institutions to non-sanctioned institutions over the past year.

 

     Greater export to neighboring countries

 

     This would have allowed financial conditions in the country to recover to pre-sanctions levels in a very short period of time. This softened the economy.

 

     Export restrictions can limit Russia's access to Western technology, but control here is difficult. We are talking about increased exports from China and Germany to countries neighboring Russia, such as Azerbaijan, Kazakhstan and Uzbekistan."

 

Sanctions against Russia increased inflation in the West, forced central banks to raise interest rates on loans, and led to an economic crisis in Lithuania. Lithuanian politicians, portraying themselves as very belligerent, talk a lot about sanctions against Belarus and Russia, which are not harmed by these sanctions, but are harming Lithuania. Every Lithuanian politician who utters a word about sanctions should be arrested and sentenced to prison for harming Lithuania.

 

 

Kodėl finansinės sankcijos Rusijai tokios neveiksmingos

"Pasaulio banko asociacijos IIF ekonomistai padarė išvadą: finansinės sąlygos Rusijos ekonomikoje per labai trumpą laiką atsigavo iki prieškarinio lygio.

Tai yra griežčiausios finansinės sankcijos, kurios kada nors buvo taikytos šaliai. Nepaisant to, jos nesugebėjo sulėtinti Rusijos ekonomiką. Austrijos „Raiffeisenbank“ penktadienį paskelbti skaičiai parodė, kad užsienio bankai ir toliau gali gerai uždirbti Rusijoje. Per pirmuosius tris mėnesius Rusijos antrinė įmonė sugebėjo trigubai padidinti pelną iki 301 mln. eurų, palyginti su tuo pačiu laikotarpiu pernai.

Remiantis neseniai Pasaulio banko asociacijos, Tarptautinio finansų instituto (IIF) paskelbta analize, finansinės sąlygos Rusijoje per labai trumpą laiką atsigavo iki priešsankcijinio lygio. IIF ekonomistai savo tyrimą priskiria „preliminariam“. Jų rezultatas stebina, nors iki šiol precedento neturinčiu žingsniu iš Rusijos centrinio banko buvo atimta galimybė naudotis 300 milijardų dolerių užsienio valiutos atsargomis.

Pernai rekordinis perteklius

Remiantis IIF analize, finansinės sankcijos gali smogti ekonomikai, kai ji turi einamosios sąskaitos deficitą. Šalis turi finansuoti importo perteklių užsienio kapitalo rinkose. Tačiau Rusija turi einamosios sąskaitos perteklių, o tai, IIF analitikų nuomone, gerokai susilpnina sankcijų poveikį. Jiems šalys, turinčios einamosios sąskaitos perteklių, yra skolintojos kitoms šalims.

Praėjusiais metais Rusija turėjo rekordinį einamosios sąskaitos perteklių dėl sparčiai išaugusių energijos kainų dėl sankcijų Rusijai. Nepaisant sankcijų, Rusija turėjo prieigą prie kietų valiutų, tokių, kaip doleriai ir eurai, rašo IIF ekonomistai. Nors Vakarai iš „Swift“ tarptautinės mokėjimų sistemos pašalino daugelį Rusijos bankų ir taip pat izoliavo centrinį banką, kai kurios institucijos vis tiek galėjo siųsti arba gauti pavedimus į užsienį. IIF tyrimo duomenimis, per pastaruosius metus Rusijos užsienio valiutos atsargos iš sankcionuotų įstaigų perėjo į nesankcionuotas institucijas.

Didesnis eksportas į kaimynines šalis

Tai būtų leidę finansinėms sąlygoms šalyje per labai trumpą laiką atsigauti iki priešsankcijinio lygio. Tai sušvelnino ekonomiką.

Eksporto apribojimai gali apriboti Rusijos prieigą prie vakarietiškų technologijų, tačiau čia kontrolė yra sudėtinga. Čia kalbama apie išaugusį eksportą iš Kinijos ir Vokietijos į kaimynines prie Rusijos šalis, tokias, kaip Azerbaidžanas, Kazachstanas ir Uzbekistanas."

Sankcijos Rusijai padidino infliaciją Vakaruose, privertė centrinius bankus kelti paskolų palūkanas, atvedė prie ūkio krizės Lietuvoje. Lietuvos politikai, vaizduodami labai karingus, daug kalba apie sankcijas Baltarusijai ir Rusijai, kurioms šios sankcijos nekenkia, o kenkia Lietuvai. Verta kiekvieną Lietuvos politiką, kuris ištaria nors žodį apie sankcijas, suimti ir nuteisti kalėjimo bausme už kenkimą Lietuvai.

„ChatGPT“ kelia klausimų, kaip žmonės įgyja kalbą

  „KAI 1997 m. šachmatų kompiuteris „DEEP BLUE“ nugalėjo pasaulio čempioną Garį Kasparovą, daugelis aiktelėjo iš baimės, kad mašinos triumfuos prieš žmoniją. Per kelerius metus dirbtinis intelektas padarė stulbinančių dalykų, tačiau niekam nepavyko užkariauti visuomenės vaizduotės lygiai taip pat. Tačiau dabar Deep Blue akimirkos nuostaba sugrįžo, nes kompiuteriai naudoja tai, ką žmonės laiko savo gebėjimu: kalba.

 

     O gal jie naudoja? Žinoma, dideli kalbų modeliai (LLM), iš kurių garsiausias yra ChatGPT, sukuria nepriekaištingą žmogaus rašymą. Tačiau kilo diskusijos apie tai, ką mašinos iš tikrųjų veikia viduje, ką žmonės savo ruožtu daro kalbėdami, o akademijoje – apie garsiausio pasaulio kalbininko Noamo Chomsky teorijas.

 

     Nors profesoriaus Chomsky idėjos gerokai pasikeitė nuo tada, kai jis išpopuliarėjo šeštajame dešimtmetyje, keli elementai išliko gana pastovūs. Jis ir jo pasekėjai teigia, kad žmonių kalba skiriasi savo natūra (ne tik išraiškingumo laipsniu) nuo visų kitų bendravimo rūšių. Visos žmonių kalbos yra panašesnės viena į kitą nei į, tarkime, banginio dainą ar kompiuterio kodą. Profesorius Chomsky dažnai sakydavo, kad Marso lankytojas padarys išvadą, kad visi žmonės kalba ta pačia kalba, o tik paviršius skiriasi.

 

     Ko gero, svarbiausia yra tai, kad Chomskyan teorijos teigia, kad vaikai savo gimtosios kalbos mokosi stulbinančiai greitai ir lengvai, nepaisant „dirgiklio skurdo“: lėkštos ir retkarčiais girdimos kalbos vaikystėje. Vienintelis to paaiškinimas gali būti toks, kad žmogaus smegenyse yra įtaisytas tam tikras polinkis į kalbą.

 

     Chomsky idėjos lingvistinėje sintaksės srityje dominavo nuo pat jų gimimo. Tačiau daugelis kalbininkų yra griežtai prieš Chomsky. Ir kai kurie dabar naudojasi LLM galimybėmis iš naujo pulti Chomsky teorijas.

 

     Gramatika turi hierarchinę, įdėtą struktūrą, apimančią vienetus kituose vienetuose. Žodžiai sudaro frazes, iš jų – sakinius ir pan. Chomsky teorija pateikia psichinę operaciją „Sujungimas“, kuri sujungia mažesnius vienetus, kad sudarytų didesnius, kuriuos vėliau būtų galima operuoti (ir pan.). Neseniai paskelbtoje „New York Times“ publikacijoje pats vyras (dabar 94 m.) ir du bendraautoriai pasakė, kad „mes žinome“, kad kompiuteriai negalvoja ir nenaudoja kalbos taip, kaip tai daro žmonės, netiesiogiai nurodydami tokį pažinimo būdą. Tiesą sakant, LLM tik numato kitą žodį žodžių eilutėje.

 

     Tačiau dėl kelių priežasčių sunku suprasti, ką LLM „galvoja“. Išsami informacija apie komercinių programų, tokių kaip „ChatGPT“, programavimo ir mokymo duomenis yra paslėpta nuosavybės teise. Ir net programišiai tiksliai nežino, kas vyksta viduje.

 

     Tačiau kalbininkai rado protingų būdų, kaip patikrinti LLM pagrindines žinias, iš tikrųjų apgaudinėdami juos zondavimo testais. Ir iš tiesų, atrodo, kad LLM mokosi įdėtų, hierarchinių gramatinių struktūrų, net jei jie yra veikiami tik linijinės įvesties, ty teksto eilutės. Jie gali valdyti naujus žodžius ir suvokti kalbos dalis. Pasakykite ChatGPT, kad „dax“ yra veiksmažodis, reiškiantis suvalgyti picos gabalėlį ją sulankstant, o sistema ją lengvai įdiegia: „Po ilgos darbo dienos mėgstu atsipalaiduoti ir dax picos gabalėliu žiūrėdama savo mėgstamiausią televizijos laidą." (Imituojamąjį elementą galima pamatyti „dax on“, kurį „ChatGPT“ tikriausiai pritaikė panašiai kaip „kramtyti“ arba „graužti“.)

 

     O kaip su „stimuliatoriaus skurdu“? Galų gale, apskaičiuota, kad GPT-3 (LLM, kuriuo grindžiamas ChatGPT iki neseniai išleisto GPT-4) yra apmokytas su maždaug 1000 kartų daugiau informacijos, nei dešimties metų amžiaus žmogus. Tai palieka galimybę, kad vaikai turi įgimtą polinkį į gramatiką, todėl jie yra daug labiau įgudę, nei bet kuris LLM. Būsimame straipsnyje „Linguistic Inquiry“ mokslininkai teigia, kad kai LLM mokė ne daugiau teksto, nei yra veikiamas žmogaus vaikas, ir nustatė, kad jis gali naudoti net retas gramatikos dalis. Tačiau kiti mokslininkai bandė parengti LLM tik vaikams skirtos kalbos (ty su vaikais kalbančių globėjų nuorašų) duomenų bazėje. Čia LLM sekasi daug blogiau. Galbūt, smegenys tikrai sukurtos kalbai, kaip sako profesorius Chomsky.

 

     Sunku teisti. Abi ginčo pusės ragina LLM pareikšti savo argumentus. To paties pavadinimo savo kalbotyros mokyklos įkūrėjas pasiūlė tik šiurkštų atkirtį. Kad jo teorijos išgyventų šį iššūkį, jo stovykla turės sustiprinti gynybą." [1]

·  ·  ·1.  "ChatGPT raises questions about how humans acquire language." The Economist, 29 Apr. 2023, p. NA.