“Of all the fields AI is upending, few have deeper ramifications for humanity than its role in warfare. Advanced algorithms have quickly swung from playing a supporting intelligence role to acting as agents of death.
"Future combat will be largely robotic. It will be automated," former Google Chief Executive Eric Schmidt, who now invests in military-drone companies, said recently on stage at an expo. "It will be controlled by the laws of war."
Schmidt's robot prediction draws little dispute. Less certain is whether last century's rules can handle warfare's future.
The war in Iran and AI advances have driven home the dizzying implications of military automation for Washington -- and for civilians everywhere. The White House is racing to hammer out policies while the tech world and moral authorities chime in. The cacophony is yielding more questions than answers.
President Trump this month issued an executive order on AI in national security that calls for aggressive use of the technology but requires it to operate "in accordance with applicable laws, government policies and guidance."
The order, which directs the Pentagon to update AI rules adopted only three years ago, sought to bring clarity just as the administration amped up a fight with AI leader Anthropic, whose systems the Pentagon uses. That fight exploded in January over who gets to limit applications of AI in combat and surveillance, and escalated over this past weekend.
"The combination of AI and autonomous weapon systems demands an entirely new approach to risk analysis, risk mitigation and risk acceptance," said retired U.S. Air Force Lt. Gen. Jack Shanahan, who led the Pentagon's first big AI application, Project Maven.
Throughout history, innovations including gunpowder, chemical weapons and airplanes have repeatedly rewritten rules of combat. Only the atomic bomb sparked a civilizational dilemma comparable to AI. And as with nuclear weapons, militaries have entered an automation arms race along a path they can't foresee.
Now, with algorithms controlling not just weapons but entire military networks, humans are ceding wartime judgment to machines on an unprecedented scale. What's even more worrisome to many: Armed forces are making up the rules as they go along.
AI entered combat in 2017, when Shanahan's team used it to nab ISIS bombers attacking U.S. forces in Iraq.
Maven's success leveraging algorithms to scan reconnaissance images proved AI's potential. Then, efforts went quiet as the U.S. pulled back from foreign wars.
Around 2023, drone-makers supplying Ukrainian forces ramped up development of AI to lock onto targets, while commanders began to weave it into targeting systems. Israel, after the Hamas militant attacks that October, tapped AI to sift through mountains of intelligence. The Pentagon, meanwhile, deployed AI-based systems to streamline decision-making. China and Russia have also incorporated AI into military systems.
Today, AI-guided weapons can autonomously home in on objectives a controller picks. That selection generally happens when weapons approach a target, involving a few drones with limited firepower.
Soon, though, swarms of drones will independently cross great distances by air, water or land to hunt down and strike targets without human intervention. And targets won't necessarily be on a battlefield.
Killing isn't AI's only military assignment. Its role is ballooning across all the less-visceral chores that militaries tackle, particularly in giving priority to intelligence for selecting targets. U.S. commanders say they are selecting targets at more than tenfold the tempo in Iraq. In the Ukrainian National Guard's Khartia Corps, automation has tripled the pace of missions, said its top drone engineer.
As warfare automation increases, its use is being guided more by battlefield objectives than by codified rules of engagement.
Ukraine lacks resources and wants to maximize each strike's pain for the Kremlin, meaning collateral damage is often wasteful. For Kyiv, AI can boost efficiency.
At a Ukrainian drone unit called Lasar's Group, where soldiers hunt high-value Russian targets on AI-enhanced computer images, the new technology is just another tool, said a seasoned pilot who goes by the call sign Sid.
"I understand that I'm setting fire to a vehicle with a crew inside," said Sid. He isn't bothered that automatic systems keep targets in his drone's deadly clutches.
"It's still a person who presses the button," he said. "It's a person who decides whether to activate the system or not."
That role -- dubbed "the person in the loop" -- is at the crux of fears about combat automation. Where in the loop is that person? What role do they play? Can they keep pace with computers?
Technology is advancing so rapidly that even the term itself has morphed, into "the person on the loop" -- a monitor more than a link in a digital chain.
Concerns over human interactions with AI this year prompted Anthropic to seek explicit Pentagon guarantees that its systems wouldn't be used for mass domestic surveillance or autonomous weapons, sparking administration backlash.
Pentagon officials say fears are misplaced because weapons aren't fully autonomous -- and letting technophobia hamstring commanders' use of AI poses a bigger risk.
"You always have the human who will analyze the situation" and make battlefield judgments on safety and tactics, said Defense Department Chief Digital and AI Officer Cameron Stanley, at the AI+Expo, a recent technology jamboree in Washington organized by a foundation created by Eric Schmidt.
"The most dangerous course of action right now is to stand still and to remain in a human-driven world," Stanley said. "The one thing that I am very worried about in war is trying to minimize mistakes."
International Committee of the Red Cross legal adviser Noa Schreuer isn't sold. Standing in the AI expo's trade-show hall, amid displays from Amazon.com, Meta and Microsoft, she questioned safety precautions for automated weapons.
"Would an autonomous drone abort a mission on its own, for example if a child enters the target area?" she asked.
Schreuer was staffing the Red Cross stand -- the expo's buzz-kill. Across its mock battle zone spread a big green sign reading "Humanity in War." On one faux demolished concrete slab hung a poster-size page from the Geneva Convention, with rules on protecting civilians. On another hung a fake traffic sign for drone operators reading: "Don't Outsource Your Authority/Maintain Human Control and Judgment."
Child deaths in AI-age war aren't an abstract ethical question. Early in U.S. attacks on Iran this year -- as Pentagon officials boasted how new technology was letting them identify and hit targets faster than ever before -- Iranian authorities accused the U.S. of striking a school, killing more than 160 people, many of them children. The Pentagon is investigating whether U.S. forces hit the school, which sits near an Iranian military compound, and whether AI was involved.
Automated targeting systems have drawn suspicion, and murkiness around their use means they risk getting blamed no matter what happened. If AI systems offered up the school as a target, investigators must understand what went wrong. If targeters didn't consult their AI tools, which can instantly scan troves of intelligence, questions will focus on why they didn't -- and whether technology could have helped avoid the civilian deaths.
Israel's use of AI has drawn similar suspicion, when local media in 2024 alleged that the military was using automated systems to select targets with minimal human oversight and in violation of existing international law, killing large numbers of civilians. The military denied the allegations, and in a detailed defense, said the systems, code-named Lavender and The Gospel, "are merely tools" for intelligence.
They "do not replace the intelligence analyst," the Israeli military said.
But even if AI doesn't supplant intelligence analysts, can it influence them, or soldiers and commanders?
That question vexes former Royal Netherlands Air Force Apache attack helicopter pilot Roy Lindelauf, who is now a professor of data science in the department of intelligent systems of Tilburg University. Working from a converted 19th-century Dutch locomotive-assembly hall, he and colleagues are trying to mesh this century's technology with military thinking from the last one.
"There are so many levels to decision-making," and how AI figures into them isn't well understood, said Lindelauf, who also teaches at the Netherlands Defense Academy.
One concern: People tend to trust what computers tell them, a phenomenon known as automation bias that is being reinforced by lifelike and apparently authoritative digital interfaces. "Even if AI is only a tool, how the human mind works should be taken into account to address biases," he said.
In other words, while we think we're controlling AI, it may actually be controlling us.
Designing responsible AI was the focus of a report that former Dutch Prime Minister Dick Schoof launched at the U.N. General Assembly in September. The Netherlands in 1899 hosted a watershed conference, on Laws and Customs of War on Land, that laid the foundation for modern laws of war.
How AI fits into those aging rules puzzles commanders. Estonian defense adviser Eva Sula works with military leaders across the North Atlantic Treaty Organization, who pepper her with questions nobody can answer. A common one: If I make a mistake because of AI, who is responsible?
"A war crime in the digital space? No country can prosecute it," said Sula. "They don't have the laws."
For now, many practitioners are improvising.
Ukraine accepts battlefield risks linked to AI because "the ethical framework is just now being developed," said Danylo Tsvok, chief executive of the Defense Ministry's AI warfare center, A1.
Ukraine's fighters are learning automation's limits amid combat's unpredictability, said a serviceman who is part of a team developing AI tools to analyze reconnaissance more quickly. AI can't yet respond to unconventional situations, he said, and for now, "waging war is an art -- intuition."
Stanley, the Pentagon digital and AI officer, said he wants to account for the mistakes that humans and machines can each make alone: "What I am trying to implement is the best human-machine team possible."
But AI experts foresee surging capabilities and are worried. Pope Leo XIV recently issued an encyclical on AI that built on the work last September of a panel of Nobel laureates, tech specialists and other luminaries the Vatican had assembled. They offered principles and red lines, including a plea that "AI systems must never be allowed to make life-or-death decisions, especially in military applications."
The conclave was part of a bigger Vatican event that concluded with a free concert in St. Peter's Square and a light-show of more than 3,000 drones in the night sky.
Panel member Marco Trombetti, chief executive of AI-translation company Translated, said the group's 18 members agreed that "if these things get used for war, they cannot be stopped."” [1]
Dirbtinio intelekto karas yra negrįžtamo kelio riboje. Kas toliau? --- Tarp naujo vykdomojo įsakymo, susidūrimo su antropogeniniais ir aukštųjų technologijų karais JAV klumpa į dirbtinio intelekto ginklavimosi varžybas, kurias pasaulis neįstengia kontroliuoti.
„Iš visų sričių, kurias keičia dirbtinis intelektas, mažai kas turi gilesnių pasekmių žmonijai nei jo vaidmuo kare. Pažangūs algoritmai greitai pasikeitė iš pagalbinio žvalgybos vaidmens į mirties agentų vaidmenį.
„Ateities kovos daugiausia bus robotinės.“ „Jis bus automatizuotas“, – neseniai parodoje scenoje sakė buvęs „Google“ generalinis direktorius Ericas Schmidtas, dabar investuojantis į karinių dronų bendroves. „Jį valdys karo įstatymai.“
Schmidto roboto prognozė nesukelia daug ginčų. Mažiau aišku, ar praėjusio amžiaus taisyklės gali susitvarkyti su karo ateitimi.
Karas Irane ir dirbtinio intelekto pažanga aiškiai parodė svaiginančias karinės automatizacijos pasekmes Vašingtonui ir civiliams gyventojams visame pasaulyje. Baltieji rūmai skuba kurti politiką, o technologijų pasaulis ir moraliniai autoritetai įsikiša. Kakofonija kelia daugiau klausimų nei atsakymų.
Šį mėnesį prezidentas Trumpas išleido vykdomąjį įsakymą dėl dirbtinio intelekto nacionalinio saugumo srityje, kuriame raginama agresyviai naudoti technologiją, tačiau reikalaujama, kad ji veiktų „pagal galiojančius įstatymus, vyriausybės politiką ir gaires“.
Įsakymas, kuriuo Pentagonui nurodoma atnaujinti prieš trejus metus priimtas dirbtinio intelekto taisykles, siekė įvesti aiškumo kaip tik tuo metu, kai administracija įnirtingai kovojo su dirbtinio intelekto lydere „Anthropic“, kurios sistemas naudoja Pentagonas. Ši kova įsiplieskė sausio mėnesį dėl to, kas gali apriboti dirbtinio intelekto taikymą kovoje ir stebėjime, ir paaštrėjo per pastarasias savaites.
„DI ir autonominių ginklų sistemų derinys reikalauja visiškai naujo požiūrio į rizikos analizę, rizikos mažinimą ir rizikos priėmimą“, – sakė atsargos JAV oro pajėgų generolas leitenantas Jackas Shanahanas, vadovavęs pirmajai didelei Pentagono DI programai „Project Maven“.
Per visą istoriją tokios inovacijos kaip parakas, cheminiai ginklai ir lėktuvai ne kartą perrašė kovos taisykles. Tik atominė bomba sukėlė civilizacijos dilemą, panašią į DI. Ir kaip ir branduolinių ginklų atveju, kariuomenė įstojo į automatizavimo ginklavimosi varžybas tokiu keliu, kurio negali numatyti.
Dabar, kai algoritmai valdo ne tik ginklus, bet ir ištisus karinius tinklus, žmonės karo meto sprendimus precedento neturinčiu mastu perduoda mašinoms. Dar labiau nerimą kelia tai, kad ginkluotosios pajėgos taisykles kuria pačios.
DI į kovą įsitraukė 2017 m., kai Shanahano komanda jį panaudojo, kad sugautų ISIS bombonešius, puolančius JAV pajėgas Irake.
„Maven“ sėkmė, panaudojant algoritmus žvalgybiniams vaizdams nuskaityti, įrodė DI potencialą. Vėliau pastangos nurimo, kai JAV pasitraukė iš karų užsienio šalyse.
Maždaug 2023 m. Ukrainos pajėgas aprūpinantys dronų gamintojai suintensyvino dirbtinio intelekto (DI) kūrimą, kad galėtų fiksuoti taikinius, o vadai pradėjo jį integruoti į taikymo sistemas. Izraelis, po „Hamas“ kovotojų išpuolių spalį, panaudojo DI, kad peržiūrėtų daugybę žvalgybos duomenų. Tuo tarpu Pentagonas diegė DI pagrįstas sistemas, kad supaprastintų sprendimų priėmimą. Kinija ir Rusija taip pat įtraukė DI į karines sistemas.
Šiandien DI valdomi ginklai gali savarankiškai nusitaikyti į taikinius, kuriuos pasirenka valdytojas. Ši atranka paprastai įvyksta, kai ginklai artėja prie taikinio, ir dalyvauja keli ribotos ugnies galios dronai.
Tačiau netrukus dronų spiečiai savarankiškai įveiks didelius atstumus oru, vandeniu ar sausuma, kad surastų ir smogtų taikiniams be žmogaus įsikišimo. Ir taikiniai nebūtinai bus mūšio lauke.
Žudymas nėra vienintelė DI karinė užduotis. Jos vaidmuo didėja visose mažiau invazinėse užduotyse, kurias atlieka kariuomenė, ypač teikdami pirmenybę žvalgybai renkantis taikinius. JAV vadai teigia, kad Irake jie renkasi taikinius daugiau nei dešimt kartų greičiau. Ukrainos nacionalinės gvardijos Chartijos korpuse automatizavimas trigubai padidino misijų tempą, teigė vyriausiasis dronų inžinierius.
Didėjant karo automatizavimui, jo naudojimą labiau lemia mūšio lauko tikslai, o ne kodifikuotos kovos taisyklės.
Ukrainai trūksta išteklių ir ji nori maksimaliai padidinti kiekvieno smūgio skausmą Kremliui, o tai reiškia, kad šalutinė žala dažnai yra bereikalinga. Kijevui dirbtinis intelektas gali padidinti efektyvumą.
Ukrainos dronų padalinyje, vadinamame Lasaro grupe, kur kareiviai medžioja svarbius Rusijos taikinius pagal dirbtinio intelekto patobulintus kompiuterinius vaizdus, naujoji technologija yra tik dar vienas įrankis, sakė patyręs pilotas, prisistatantis šaukiniu Sid.
„Suprantu, kad padegu transporto priemonę su įgula viduje“, – sakė Sidas. Jam nerūpi, kad automatinės sistemos laiko taikinius jo drono mirtinose gniaužtuose.
„Mygtuką vis tiek paspaudžia žmogus“, – sakė jis. „Tai žmogus, kuris nusprendžia, ar aktyvuoti sistemą, ar ne.“
Šis vaidmuo, vadinamas „žmogumi kilpoje“, yra pagrindinė baimė dėl kovos automatizavimo. Kur kilpoje yra tas žmogus? Kokį vaidmenį jie atlieka? Ar jie gali neatsilikti nuo kompiuterių?
Technologijos taip sparčiai tobulėja, kad net pats terminas virto „asmeniu, kuris stebi situaciją“ – labiau stebėtoju nei skaitmeninės grandinės grandimi.
Susirūpinimas dėl žmonių sąveikos su DI šiais metais paskatino „Anthropic“ siekti aiškių Pentagono garantijų, kad jos sistemos nebus naudojamos masiniam vidaus stebėjimui ar autonominiams ginklams, o tai sukėlė administracijos nepasitenkinimą.
Pentagono pareigūnai teigia, kad baimės yra nepagrįstos, nes ginklai nėra visiškai autonomiški, o technofobija, trukdanti vadams naudoti DI, kelia didesnę riziką.
„Visada yra žmogus, kuris analizuos situaciją“ ir priims sprendimus dėl saugumo ir taktikos mūšio lauke, – neseniai Vašingtone vykusioje technologijų parodoje „AI+Expo“, kurią organizavo Erico Schmidto įkurtas fondas, sakė Gynybos departamento vyriausiasis skaitmeninių technologijų ir DI pareigūnas Cameronas Stanley.
„Šiuo metu pavojingiausias veiksmas yra stovėti vietoje ir likti žmonių valdomame pasaulyje“, – sakė Stanley. „Vienintelis dalykas, dėl kurio labai nerimauju kare, yra bandymas sumažinti klaidų skaičių.“
Tarptautinio Raudonojo Kryžiaus komiteto teisinė patarėja Noa Schreuer nėra įtikinta. Stovėdama dirbtinio intelekto parodos salėje, tarp „Amazon.com“, „Meta“ ir „Microsoft“ stendų, ji abejojo automatinių ginklų saugos priemonėmis.
„Ar autonominis dronas pats nutrauktų misiją, pavyzdžiui, jei vaikas patektų į parodos teritoriją?“ – paklausė ji.
Schreuer dirbo Raudonojo Kryžiaus stende – parodos dėmesio centre. Visoje jo imitacinėje mūšio zonoje buvo didelis žalias ženklas su užrašu „Žmoniškumas kare“. Ant vienos dirbtinai nugriautos betoninės plokštės kabojo plakato dydžio puslapis iš Ženevos konvencijos su taisyklėmis dėl civilių apsaugos. Ant kitos kabojo netikras kelio ženklas dronų operatoriams su užrašu: „Neperduokite savo įgaliojimų kitiems / Išlaikykite žmonių kontrolę ir sprendimus“.
Vaikų mirtys dirbtinio intelekto amžiaus kare nėra abstraktus etinis klausimas. Šių metų JAV išpuolių prieš Iraną pradžioje – Pentagono pareigūnams gyrantis, kaip naujos technologijos leidžia jiems greičiau nei bet kada anksčiau atpažinti ir pataikyti į taikinius – Irano valdžia apkaltino JAV smogimu mokyklai, per kurį žuvo daugiau nei 160 žmonių, daugelis jų – vaikai. Pentagonas tiria, ar JAV pajėgos smogė mokyklai, esančiai netoli Irano karinio komplekso, ir ar dalyvavo dirbtinis intelektas.
Automatinės taikinių sistemos sukėlė įtarimų, o dėl jų naudojimo miglos jos rizikuoja būti apkaltintos, kad ir kas nutiktų. Jei dirbtinio intelekto sistemos nurodė mokyklą kaip taikinį, tyrėjai turi suprasti, kas nutiko ne taip. Jei taikiniai nepasitikrino savo dirbtinio intelekto įrankių, kurie gali akimirksniu nuskaityti žvalgybos duomenų lobynus, klausimai sutelks dėmesį į tai, kodėl jie to nepadarė – ir ar technologijos galėjo padėti išvengti civilių gyventojų mirčių.
Izraelio dirbtinio intelekto naudojimas sukėlė panašių įtarimų, kai 2024 m. vietos žiniasklaida teigė, kad kariuomenė naudojo automatizuotas sistemas taikiniams atrinkti su minimalia žmogaus priežiūra ir pažeisdama galiojančią tarptautinę teisę, taip nužudydama daugybę civilių. Kariuomenė neigė kaltinimus ir išsamiai gynėsi teigdama, kad sistemos, kodiniais pavadinimais „Lavender“ ir „The Gospel“, „yra tik žvalgybos įrankiai“.
Jos „nepakeičia žvalgybos analitiko“, teigė Izraelio kariuomenė.
Tačiau net jei dirbtinis intelektas nepakeičia žvalgybos analitikų, ar jis gali daryti jiems įtaką, ar kareiviams ir vadams?
Šis klausimas kamuoja buvusį Nyderlandų karališkųjų oro pajėgų „Apache“ atakos sraigtasparnio pilotą Roy Lindelaufą, kuris dabar yra duomenų mokslo profesorius Tilburgo universiteto intelektualiųjų sistemų katedroje. Dirbdamas pertvarkytoje XIX a. olandų lokomotyvų surinkimo salėje, jis ir jo kolegos bando sujungti šio amžiaus technologijas su praėjusio amžiaus kariniu mąstymu.
„Sprendimų priėmimas turi tiek daug lygių“, ir kaip dirbtinis intelektas juose dalyvauja, nėra gerai suprantama, sakė Lindelaufas, kuris taip pat dėsto Nyderlandų gynybos akademijoje.
Vienas rūpestis: žmonės linkę pasitikėti tuo, ką jiems sako kompiuteriai – reiškinys, žinomas kaip automatizavimo šališkumas, kurį sustiprina tikroviškos ir, regis, autoritetingos skaitmeninės sąsajos. „Net jei dirbtinis intelektas yra tik įrankis, norint pašalinti šališkumą, reikėtų atsižvelgti į tai, kaip veikia žmogaus protas“, – sakė jis.
Kitaip tariant, nors manome, kad kontroliuojame dirbtinį intelektą, jis iš tikrųjų gali kontroliuoti mus.
Atsakingo dirbtinio intelekto kūrimas buvo buvusio Nyderlandų ministro pirmininko Dicko Schoofo pranešimo, kurį jis pristatė JT Generalinėje Asamblėjoje rugsėjį, dėmesio centre. 1899 m. Nyderlandai surengė svarbią konferenciją „Karo sausumoje įstatymai ir papročiai“, kuri padėjo pamatus šiuolaikiniams karo įstatymams.
Kaip dirbtinis intelektas dera su šiomis senstančiomis taisyklėmis, verčia vadus spėlioti. Estijos gynybos patarėja Eva Sula dirba su kariniais vadovais visoje Šiaurės Atlanto sutarties organizacijoje, kurie užduoda jai klausimų, į kuriuos niekas negali atsakyti. Dažnas klausimas: jei padarysiu klaidą dėl dirbtinio intelekto, kas už tai atsakingas?
„Karo nusikaltimas skaitmeninėje erdvėje? Jokia šalis negali jo patraukti baudžiamojon atsakomybėn“, – sakė Sula. „Jie neturi įstatymų.“
Kol kas daugelis praktikų improvizuoja.
Ukraina pripažįsta mūšio lauko riziką, susijusią su DI, nes „etinė sistema tik dabar kuriama“, – teigė Danylo Tsvokas, Gynybos ministerijos DI karo centro A1 generalinis direktorius.
Ukrainos kovotojai mokosi automatizavimo ribų, kai kovos veiksmai yra nenuspėjami, teigė karys, priklausantis komandai, kuriančiai DI įrankius žvalgybai greičiau analizuoti. DI dar negali reaguoti į netradicines situacijas, sakė jis, ir kol kas „karas yra menas – intuicija“.
Stanley, Pentagono skaitmeninių ir DI pareigūnas, sakė, kad nori atsižvelgti į klaidas, kurias žmonės ir mašinos gali padaryti atskirai: „Aš stengiuosi įgyvendinti geriausią įmanomą žmogaus ir mašinos komandą“.
Tačiau DI ekspertai numato didėjančius pajėgumus ir yra susirūpinę. Popiežius Leonas XIV neseniai paskelbė encikliką apie DI, kuri buvo paremta praėjusių metų rugsėjį Vatikano suburtos Nobelio premijos laureatų, technologijų specialistų ir kitų šviesuolių grupės darbu. Jie pasiūlė principus ir raudonas linijas, įskaitant prašymą, kad „DI sistemoms niekada negalima leisti priimti gyvybės ar mirties sprendimų, ypač karinėse srityse“.
Konklava buvo didesnio Vatikano renginio, kuris baigėsi nemokamu koncertu Šv. Petro aikštėje ir daugiau, nei 3000, dronų šviesų šou naktiniame danguje, dalis.
Diskusijos narys Marco Trombetti, dirbtinio intelekto vertimo bendrovės „Translated“ generalinis direktorius, teigė, kad 18 grupės narių sutarė, jog „jei šie dalykai bus panaudoti karui, jų sustabdyti nebus įmanoma“. [1]
1. REVIEW --- AI Warfare Is at the Point of No Return. What Now? --- Between a new executive order, a clash with Anthropic and high-tech wars, the U.S. is stumbling into an AI arms race that the world is struggling to control. Michaels, Daniel; Malenko, Anastasiia. Wall Street Journal, Eastern edition; New York, N.Y.. 20 June 2026: C1.
Komentarų nėra:
Rašyti komentarą