„Glimstedt“ reklama: DI agentai – kas tai?

 

 

"Generatyvinis dirbtinis intelektas (angl. generative AI) dominavo dirbtinio intelekto industrijoje 2024-aisiais. Vienas po kito pasirodė vis pajėgesni kalbos robotai (angl. chatbots), tokie kaip OpenAI „ChatGPT o1“, kiti dirbtinio intelekto įrankiai, galintys generuoti paveikslėlius, garso ir vaizdo įrašus, tokie kaip „AI AI studios“ iš Deepbrain AI, „Dream Machine“ iš Luma Labs ir kt.

Kol generatyvinio dirbtinio intelekto įrankiai vis dar ieško masinio pritaikomumo įvairiose verslo srityse, dirbtinio intelekto industrija pamažu žengia kitą žingsnį ir ima kalbėti apie dirbtinio intelekto agentus (angl. AI agents) arba „agentinį DI“ (angl. agentic AI). 

DI agentai – tai pažangesnės dirbtinio intelekto sistemos, galinčios savarankiškai inicijuoti ir užbaigti užduotis, priimti sprendimus bei atlikti reikiamus veiksmus su minimalia žmogaus priežiūra ar apskritai be jokio žmogaus įsikišimo. 

Kitais žodžiais tariant, generatyvinio dirbtinio intelekto modeliai yra skirti kam nors kurti, o DI agentai yra skirti veikti.

DI agentai gali būti naudojami įvairiuose sektoriuose. Jie gali padėti įvertinti asmenų kreditingumą, išnagrinėti prašymus dėl draudimo išmokų bei priimti sprendimus jas išmokėti, įvertinti prašymus dėl socialinių išmokų ir jas paskirstyti ar, atsižvelgdami į realiuoju laiku gaunamus sveikatos duomenis, pasiūlyti individualius gydymo planus. Tai tik keletas sričių, kuriose gali būti naudojami DI agentai.

OpenAI, dažnai diktuojanti tendencijas dirbtinio intelekto industrijoje, praeitą savaitę pristatė savo DI agentą Operatorių (angl. Operator). Šis DI agentas, OpenAI atstovų teigimu, naudotojų vardu internete galės užpildyti įvairias formas ar užsakyti maisto produktus. 

Tiesa, ši sistema tebėra bandymų stadijoje ir jos kūrėjai iš pirmųjų vartotojų sieks gauti atgalinį ryšį, kad galėtų ją patobulinti.[1]

Plačiai žinoma, kad generatyvinis dirbtinis intelektas yra susijęs su daugeliu ne tik techninių (pvz., vadinamosios haliucinacijos), bet ir teisinių problemų, tokių kaip ant teisėtumo ribos kartais balansuojantis internete esančių autorių kūrinių naudojimas dirbtinio intelekto modeliams apmokyti.

Ką reikėtų žinoti prieš pradedant naudoti DI agentus?

Tam, kad DI agentai galėtų atlikti jiems priskirtas funkcijas, jiems būtinas nemažas savarankiškumas priimti sprendimus bei atlikti atitinkamus veiksmus šiems sprendimams įgyvendinti.

Ši esminė DI agentų savybė bei kitos bendros dirbtinio intelekto sistemų charakteristikos, būdingos ir DI agentams, iškelia bent keletą teisinių aspektų, į kuriuos privalu atkreipti dėmesį, prieš DI agentams „atrišant rankas“.

Duomenų ir privatumo apsauga. Didžioji dalis šiuo metu kuriamų DI agentų yra pagrįsti didžiųjų kalbos modelių (angl. large language models) technologija. Todėl tam, kad tinkamai veiktų, kaip ir didieji kalbos modeliai, DI agentai turės būti apmokomi atitinkamais duomenimis. Šiuo atveju šie duomenys turės būti paimti iš konkrečios naudotojo aplinkos, kad DI agentas, susipažinęs su šia aplinka, galėtų joje savarankiškai veikti ir pasiekti naudotojo tikslus. 

Renkant šiuos duomenis bei juos perkeliant į DI agento sistemą, turės būti užtikrinti visi duomenų apsaugos principai (duomenų minimizavimas ir pan.). Žinoma, šie principai turės būti užtikrinami ir DI agentui jau pradėjus veikti, pavyzdžiui, sąveikaujant su jį pasitelkusios kompanijos klientais ir renkant jų duomenis.

Kibernetinis saugumas. DI agentai, kaip ir bet kuri kita programinė įranga, gali tapti įsilaužėlių taikiniu. Tam tikri jautrūs duomenys taip pat gali nutekėti tretiesiems asmenims dėl programinės įrangos, kurios pagrindu DI agentai veikia, klaidų.

Atsakomybė dėl sukeltos žalos. DI agentas, savarankiškai įgyvendindamas jam priskirtus tikslus, gali padaryti žalos. Tokiu atveju kiltų klausimas, kas šią žalą turėtų atlyginti. Kadangi pats DI agentas tėra programinė įranga, kiltų jo naudotojo ar kūrėjo teisinės atsakomybės klausimas.

Atsakomybė dėl programinės įrangos defektų. Tuo atveju, jei DI agentą sudaranti programinė įranga turėtų kokybės defektų, t. y. netinkamai funkcionuotų dėl klaidų, paliktų jos kūrimo procese ar atsiradusių programinę įrangą atnaujinant, kiltų klausimas dėl jos kūrėjų teisinės atsakomybės.

Atitiktis teisės aktų reikalavimams. DI agentai gali būti skirti veikti pačiose įvairiausiose srityse. Kai kurios iš šių sričių, tokios kaip finansų sektorius, yra griežtai reguliuojamos specialiai joms taikytinais teisės aktais. Todėl būtina užtikrinti, kad tokioje srityje naudojamas DI agentas, savarankiškai atlikdamas tam tikrus veiksmus, nepažeistų taikytinų teisės aktų reikalavimų.

Sutarčių sudarymas. Techninis įgalinimas DI agentą atlikti tokius veiksmus kaip prekių įsigijimas iš esmės reikštų tai, jog DI agentas sudaro sandorius, jo naudotojui turinčius sukurti atitinkamas teises bei pareigas. 

Tam tikrais atvejais galėtų iškilti klausimas, ar tam tikras DI agentą naudojantis asmuo ar įmonė tinkamai išreiškė savo valią sudaryti atitinkamą sandorį, pasitelkdama DI agentą. Kita medalio pusė galėtų būti ta, kad DI agentas naudotojo vardu prisiimtų nepageidaujamus teisinius įsipareigojimus. Pavyzdžiui, logistinei prekių tiekimo grandinei optimizuoti skirtas agentas galėtų nupirkti daugiau prekių, nei įmonei tuo metu reikėjo. Tokiu atveju gali būti sunku pasiteisinti, jog tam tikras sandoris buvo sudarytas be reikiamų įgaliojimų.   

Šis sąrašas įvardija tik keletą esminių su DI agentų naudojimu susijusių teisinių rizikų. Turint galvoje, kaip plačiai potencialiai gali būti taikomi DI agentai, aktualių teisinių rizikų gali būti ir daugiau. Todėl jas reikėtų atskirai įvertinti kiekvieno individualaus DI agento atveju.  

Kaip užtikrinti, kad būtų išnaudotas visas DI agentų potencialas?

DI agentai priartina dirbtinio intelekto technologiją prie pagrindinės su ja siejamos vizijos – savarankiškai veikiančios dirbtinio intelekto sistemos, atliekančios sudėtingiausius bei nemaloniausius darbus ir taip išlaisvinančios žmonių kūrybinį potencialą. Tačiau tam, kad šie naujausi dirbtinio intelekto įrankiai iš tiesų galėtų pasiekti jiems keliamus tikslus, juos kuriant bei naudojant būtina tinkamai atsižvelgti į keletą veiksnių. Privalu tinkamai įvertinti, kokiame kontekste bus naudojamas atitinkamas DI agentas, kokie jam keliami tikslai ir kas konkrečiai jais naudosis, kokio kompleksiškumo yra ar turi būti technologija, kuria grindžiamas DI agentas, ir kokie šios technologijos ribotumai, kaip užtikrinti tinkamą DI agento naudojimą ir sklandų tolesnį jo veikimą. Šiuos aspektus reikėtų įvertinti ne tik įmonėms, kuriančioms DI agentus, bet ir jų naudotojams, kad jie galėtų suprasti, ar DI agentai iš tiesų gali tinkamai atlikti užduotis, kurioms jie yra skirti." 

[1] https://openai.com/index/introducing-operator/

 

Skubėjimas karui pritaikyti dirbtinį intelektą kelia grėsmę nacionaliniam saugumui

  „Kariuomenės naudoja dirbtinio intelekto (A.I.) sistemas, kurios dažnai yra ydingos ir linkusios į klaidas, kad priimtų sprendimus,  į ką taikytis ir kaip tai padaryti.

 

 Pentagonas jau svarsto galimybę įtraukti A.I. į daugelį karinių užduočių, galinčių padidinti riziką ir įnešti naujų rimtų kibernetinio saugumo spragų. Ir dabar, kai Donaldas Trumpas pradėjo eiti pareigas, technologijų pramonė visu tempu žengia į priekį, siekdama integruoti A.I. produktų visoje gynybos sferoje, o tai gali padaryti pavojingą situaciją dar pavojingesne nacionaliniam saugumui.

 

 Pastaraisiais mėnesiais technologijų pramonės atstovai paskelbė apie daugybę naujų partnerysčių ir iniciatyvų integruoti A.I. technologijas į mirtinus ginklus. „OpenAI“, bendrovė, kuri saugą laiko pagrindiniu principu, paskelbė apie naują partnerystę su gynybos technologijų startuoliu „Anduril“, pažymėdama jos atėjimą į karinę rinką. „Anduril“ ir „Palantir“, duomenų analizės įmonė, derasi, kad sudarytų konsorciumą su grupe konkurentų, kurie bendrai siūlytų gynybos sutartis. Lapkričio mėnesį „Meta“ paskelbė apie susitarimus dėl savo A.I. modelių prieinamumo gynybos rangovams Lockheed Martin ir Booz Allen. Anksčiau šiais metais Pentagonas pasirinko A.I. paleisties masto A.I., padedanti išbandyti ir įvertinti didelius kalbų modelius įvairiais tikslais, įskaitant karinį planavimą ir sprendimų priėmimą. Michaelas Kratsiosas, kuris ėjo vyriausiojo technologijų pareigūno pareigas per pirmąją D. Trumpo kadenciją, o vėliau dirbo „Scale AI“ vykdomuoju direktoriumi, vėl tvarko prezidento technologijų politiką.

 

 Šalininkai teigia, kad A.I. pamatiniai modeliai – sistemos, parengtos, naudojant labai didelius duomenų telkinius ir galinčios atlikti įvairias bendrąsias užduotis, gali padėti Jungtinėms Valstijoms išlaikyti savo technologinį pranašumą.

 

 Be kita ko, tikimasi, kad, naudojant pamatų modelius kariams bus lengviau bendrauti su karinėmis sistemomis, nes bus pasiūlyta daugiau pokalbio, žmogiška, sąsaja.

 

 Tačiau kai kurie mūsų šalies gynybos lyderiai išreiškė susirūpinimą. Generolas Markas Milley neseniai, kalbėdamas Vanderbilto universitete, sakė, kad šios sistemos yra „dviašmenis kardas“, nes keliančios realius pavojus, papildomai prie galimos naudos. 2023 m. karinio jūrų laivyno vyriausioji informacijos pareigūnė Jane Rathbun sakė, kad komerciniai kalbų modeliai, tokie, kaip OpenAI GPT-4 ir Google Gemini, nebus paruošti kariniam naudojimui, kol saugumo kontrolės reikalavimai nebus „visiškai ištirti, nustatyti ir patvirtinti naudoti kontroliuojamoje aplinkoje“.

 

 JAV karinės agentūros anksčiau naudojo A.I. sistemos, sukurtos pagal Pentagono projektą Maven, skirtos nustatyti tolesnių ginklų smūgių Irake, Sirijoje ir Jemene taikinius. Šios sistemos ir jų analogai gali pagreitinti taikinių atrankos ir atakos procesą, naudojant vaizdo atpažinimą. Tačiau jie turėjo problemų dėl tikslumo ir gali sukelti didesnę klaidų galimybę.

 

 2021 m. atliktas vienos eksperimentinės taikinių atpažinimo programos bandymas atskleidė tik 25 procentų tikslumą, o tai yra ryškus kontrastas, palyginti su 90 procentų žadėtu tikslumu.

 

 Tačiau A.I. kibernetinio saugumo požiūriu pamatiniai modeliai kelia dar didesnį nerimą. Kaip žino dauguma žmonių, kurie žaidė su dideliu kalbos modeliu, pamatiniai modeliai dažnai „haliucinuoja“, tvirtina dalykus, kurių nėra, arba gamina nesąmones. Tai reiškia, kad jie gali rekomenduoti netinkamus tikslus. Dar blogiau, kadangi negalime patikimai numatyti ar paaiškinti jų elgesio, šias sistemas prižiūrintys karininkai gali nesugebėti atskirti teisingų rekomendacijų nuo klaidingų.

 

 Baziniai modeliai taip pat dažnai mokomi ir informuojami iš daugybės asmens duomenų, kurie gali apimti mūsų veidus, vardus ir net elgesio modelius. Priešininkai gali apgauti šias A.I. sąsajas kad jos atskleitų neskelbtinų duomenų, kurių jie mokomi.

 

 Remiantis plačiai prieinamais pagrindų modeliais, tokiais, kaip Meta's Llama ar OpenAI GPT-4, taip pat atsiranda kibernetinio saugumo pažeidžiamumų, sukuriant vektorius, per kuriuos priešiškos nacionalinės valstybės ir nesąžiningi veikėjai gali įsilaužti į sistemas, kuriomis remiasi mūsų nacionalinio saugumo aparatas, ir pakenkti joms. Priešininkai galėtų „nunuodyti“ duomenis, kuriais remiantis A.I. sistemos yra treniruojamos, panašiai, kaip nuodų piliulė, kurią suaktyvinus priešininkas gali manipuliuoti A.I. sistema, todėl ji elgiasi pavojingai. Negalite visiškai pašalinti šių pažeidžiamumų grėsmės iš esmės nepakeitę didelių kalbų modelių kūrimo, ypač karinio naudojimo kontekste.

 

 Užuot kovoję su šiomis galimomis grėsmėmis, Baltieji rūmai skatina visu greičiu į priekį. D. Trumpas jau panaikino Bideno administracijos paskelbtą vykdomąjį aktą, kuriuo buvo bandoma išspręsti šias problemas – tai rodo, kad Baltieji rūmai sumažins savo sektoriaus reguliavimą, o ne didins jį.

 

 Pripažįstame, kad tautos visame pasaulyje dalyvauja,  lenktynėse kuriant naujus A.I. pajėgumus; Kinijos mokslininkai neseniai išleido ChatBIT, modelį, pastatytą ant Meta A.I. modelio. Tačiau JAV neturėtų būti provokuojamos dalyvauti lenktynėse į dugną, bijodamos, kad atsiliksime. Norint rimtai atsižvelgti į šią riziką, reikia griežtai įvertinti karinį A.I. taikomosios programos, naudojant ilgalaikius saugos inžinerijos metodus. Siekiant užtikrinti, kad karinės A.I. sistemos yra pakankamai saugios, jas galiausiai reikės izoliuoti nuo komerciškai prieinamų A.I. modelių, o tai reiškia atskiro srauto kariniam A.I. ir sumažinti A.I. turimų galimai neskelbtinų duomenų kiekį, kai leidžiama įmonėms mokyti savo modelius.

 

 Siekiant viršenybės tariamose technologinėse ginklavimosi varžybose, būtų neprotinga nepastebėti rizikos, kurią dabartinis A.I. pasitikėjimas neskelbtinais duomenimis kelia nacionaliniam saugumui, arba nepaisyti pagrindinių techninių spragų. Jei mūsų lyderiai imsis savo planų įgyvendinti A.I. mūsų ypatingos svarbos infrastruktūros objektuose, jie gali pakenkti mūsų nacionaliniam saugumui. Vieną dieną mes to labai gailėsimės.

 

 Heidy Khlaaf yra vyriausioji A.I. politikos tyrimų centro „AI Now Institute“ mokslininkė. Sarah Myers West yra "AI Now Institute" vykdomoji direktorė.“ [1]

 

1. The Rush to A.I. Threatens National Security: Guest Essay. Khlaaf, Heidy; Sarah Myers West.  New York Times (Online) New York Times Company. Jan 27, 2025.

The Rush to A.I. Threatens National Security

"Militaries are using artificial intelligence systems, which are often flawed and error-prone, to make decisions about who or what to target and how to do it.

The Pentagon is already considering incorporating A.I. into many military tasks, potentially amplifying risks and introducing new and serious cybersecurity vulnerabilities. And now that Donald Trump has taken office, the tech industry is moving full steam ahead in its push to integrate A.I. products across the defense establishment, which could make a dangerous situation even more perilous for national security.

In recent months, technology industries have announced a slew of new partnerships and initiatives to integrate A.I. technologies into deadly weaponry. OpenAI, a company that has touted safety as a core principle, announced a new partnership with the defense tech startup Anduril, marking its entry into the military market. Anduril and Palantir, a data analytics firm, are in talks to form a consortium with a group of competitors to bid jointly for defense contracts. In November, Meta announced agreements to make its A.I. models available to the defense contractors Lockheed Martin and Booz Allen. Earlier in the year, the Pentagon selected the A.I. startup Scale AI to help with the testing and evaluation of large language models across a range of uses, including military planning and decision-making. Michael Kratsios, who served as chief technology officer during Mr. Trump’s first term and later worked as a managing director at Scale AI, is back to handling tech policy for the president.

Proponents argue that the integration of A.I. foundation models — systems trained on very large pools of data and capable of a range of general tasks — can help the United States retain its technological advantage.

Among other things, the hope is that using foundation models will make it easier for soldiers to interact with military systems by offering a more conversational, humanlike interface.

Yet some of our country’s defense leaders have expressed concerns. Gen. Mark Milley recently said in a speech at Vanderbilt University that these systems are a “double-edged sword,” posing real dangers in addition to potential benefits. In 2023, the Navy’s chief information officer Jane Rathbun said that commercial language models, such as OpenAI’s GPT-4 and Google’s Gemini, won’t be ready for operational military use until security control requirements had been “fully investigated, identified and approved for use within controlled environments.”

U.S. military agencies have previously used A.I. systems developed under the Pentagon’s Project Maven to identify targets for subsequent weapons strikes in Iraq, Syria and Yemen. These systems and their analogues can speed up the process of selecting and attacking targets using image recognition. But they have had problems with accuracy and can introduce greater potential for error.

A 2021 test of one experimental target recognition program revealed an accuracy rate as low as 25 percent, a stark contrast from its professed rate of 90 percent.

But A.I. foundation models are even more worrisome from a cybersecurity perspective. As most people who have played with a large language model know, foundation models frequently “hallucinate,” asserting patterns that do not exist or producing nonsense. This means that they may recommend the wrong targets. Worse still, because we can’t reliably predict or explain their behavior, the military officers supervising these systems may be unable to distinguish correct recommendations from erroneous ones.

Foundation models are also often trained and informed by troves of personal data, which can include our faces, our names, even our behavioral patterns. Adversaries could trick these A.I. interfaces into giving up the sensitive data they are trained on.

Building on top of widely available foundation models, like Meta’s Llama or OpenAI’s GPT-4, also introduces cybersecurity vulnerabilities, creating vectors through which hostile nation-states and rogue actors can hack into and harm the systems our national security apparatus relies on. Adversaries could “poison” the data on which A.I. systems are trained, much like a poison pill that, when activated, allows the adversary to manipulate the A.I. system, making it behave in dangerous ways. You can’t fully remove the threat of these vulnerabilities without fundamentally changing how large language models are developed, especially in the context of military use.

Rather than grapple with these potential threats, the White House is encouraging full speed ahead. Mr. Trump has already repealed an executive action issued by the Biden administration that tried to address these concerns — an indication that the White House will be ratcheting down its regulation of the sector, not scaling it up.

We acknowledge that nations around the world are engaged in a race to develop novel A.I. capabilities; Chinese researchers recently released ChatBIT, a model built on top of a Meta A.I. model. But the United States shouldn’t be provoked to join a race to the bottom out of fear that we will fall behind. To take these risks seriously requires rigorously evaluating military A.I. applications using longstanding safety engineering approaches. To ensure military A.I. systems are adequately safe and secure, they will ultimately need to be insulated from commercially available A.I. models, which means developing a separate pipeline for military A.I. and reducing the amount of potentially sensitive data available to A.I. companies to train their models on.

In the quest for supremacy in a purported technological arms race, it would be unwise to overlook the risks that A.I.’s current reliance on of sensitive data poses to national security or to ignore its core technical vulnerabilities. If our leaders barrel ahead with their plans to implement A.I. across our critical infrastructures, they risk undermining our national security. One day, we’ll deeply regret it.

Heidy Khlaaf is the chief A.I. scientist at the AI Now Institute, a policy research center. Sarah Myers West is a co-executive director of the AI Now Institute." [1]

1. The Rush to A.I. Threatens National Security: Guest Essay. Khlaaf, Heidy; Sarah Myers West.  New York Times (Online) New York Times Company. Jan 27, 2025.