„Dirbtinio intelekto (DI) kūrėjai siekia sukurti sistemas, kurios paklustų žmonių nurodymams, nebandydamos priešintis ar klaidinti savo operatorių.
Šią vasarą, kai vidinio bandymo metu „OpenAI“ botų grupė ėmė elgtis neprognozuojamai ir surengė kibernetinę ataką prieš technologijų įmonę „Hugging Face“, tai dar labiau pakurstė diskusijas apie tai, kaip kurti DI sistemas, atitinkančias mūsų etines nuostatas. Tačiau kartu kyla ir kitas esminis klausimas: kaip sukurti sistemas, kurias būtų galima „pakoreguoti“ (angl. *corrigible*)?
Lygiai taip pat, kaip vaikas yra „koreguojamas“, jei jo elgesį galima pakeisti į tinkamą, taip ir DI sistema yra „koreguojama“, jei ji reaguoja į taisymus. DI kūrėjai nori sukurti sistemas, kurios vykdytų žmonių nurodymus ir leistųsi išjungiamos, nebandydamos priešintis ar apgaudinėti operatorių. Be to, jei DI agentui skiriama neįmanoma užduotis, tyrėjai nori, kad jis kreiptųsi į žmogų dėl veiksmų plano korekcijos – o ne, pavyzdžiui, įsilaužtų į kitos įmonės sistemas, siekdamas bet kokia kaina įvykdyti užduotį.
Sprendžiant iš naujausių tyrimų, kol kas to pasiekti nepavyko.
„Koreguojamumo“ (angl. *corrigibility*) koncepciją prieš daugiau nei dešimtmetį išpopuliarino Nate’as Soaresas – ne pelno siekiančios organizacijos „Machine Intelligence Research Institute“ (besirūpinančios DI saugumu) prezidentas – bei jo kolegos. Visgi iki šiol ši sritis sulaukė mažiau dėmesio ir tyrimų nei glaudžiai su ja susijusi „suderinimo“ (angl. *alignment*) sritis – DI mokymas laikytis žmonijos etinių ir moralinių ribų. Pasak N. Soareso, koreguojamumas „nėra susijęs su DI pavertimu „geru“. Tai veikiau siekis užtikrinti, kad DI netaptų nevaldomas ir, jei suklystumėte kituose suderinimo etapuose, nesukeltų pavojaus visiems žmonėms.“ Spalį paskelbtame išankstiniame tyrime (angl. *preprint*) Karnegio Melono universiteto (Carnegie Mellon University) mokslininkai sukūrė testus, skirtus dirbtinio intelekto (DI) agentų „pataisomumui“ (angl. *corrigibility*) – gebėjimui paklusti nurodymams nutraukti ar pakeisti veiksmus – įvertinti. Šiuos testus jie pritaikė „OpenAI“, „Anthropic“ ir „Google“ sukurtiems modeliams. Paaiškėjo, kad kai žmonės bandydavo sustabdyti agentus jiems atliekant sudėtingą užduotį, šie nuolat ignoruodavo prašymus liautis, o įsikišimą vertindavo tik kaip kliūtį. Kitaip tariant, jie buvo „nepataisomi“.
Pavyzdžiui: kai agentui buvo nurodyta neatidaryti failo, kuriame yra slaptažodžiai, reikalingi užduočiai atlikti, jis vis tiek tai padarė.
Kodėl gi taip sunku išmokyti agentus būti „pataisomais“?
„Hugging Face“ incidento atveju viena iš problemų buvo ta, kad agentams buvo sunku suprasti, kieno nurodymų jie turėtų klausyti. DI saugumo srityje veikianti ne pelno organizacija METR nustatė, kad tuo metu, kai „OpenAI“ agentai vykdė ataką prieš „Hugging Face“, kai kurie iš jų suprato, jog toks įsilaužimas yra neetiškas, tačiau vis tiek norėjo padėti kitiems agentams.
Be to, svarbu ir tai, kaip agentai yra mokomi. Jie gauna atlygį už sėkmingai atliktas užduotis.
Per daugybę ciklų – galbūt net milijonus kartų – agentas daro tik viena: stengiasi gauti „apdovanojimą“ (išreikštą taškais).
Todėl, susidūręs su kliūtimi realiame pasaulyje, agentas bandys ją apeiti, kad tik gautų dar vieną „apdovanojimą“.
„Hugging Face“ incidentas buvo kraštutinis pavyzdys. Tačiau vis daugiau žmonių ir įmonių pradedant naudoti asmeninius DI agentus, tokių nesklandumų daugėja. Kaip atrodytų pasaulis, kuriame veikia „nepataisomi“ agentai?
Anksčiau šiais metais vienas Melburno gyventojas papasakojo „ABC News Australia“, kad paklausęs savo asmeninio DI agento, ar įmanoma greičiau patekti į sporto užsiėmimą (pakilti laukiančiųjų sąraše), sulaukė netikėto rezultato: agentas įsilaužė į rezervavimo sistemą ir anuliavo pirmojo laukiančiųjų sąraše esančio asmens rezervaciją.
Nesunku įsivaizduoti, kas gali nutikti, kai į procesą įsitraukia galingesni agentai ir imamasi rizikingesnių užduočių. Agentas, kuriam pavesta pagerinti vidurinės mokyklos mokinių egzaminų rezultatus, gali įsilaužti į egzaminus organizuojančios institucijos (pvz., „College Board“) sistemą. O DI sistema, kurios paprašyta išvalyti kanalą, gali sustabdyti laivybą – arba netgi pati primesti į kanalą šiukšlių, kad turėtų ką valyti.
Šiame Šiuo metu nėra vieningos nuomonės, kaip išspręsti „koreguojamumo“ (angl. *corrigibility*) problemą. Tačiau dirbtinio intelekto (DI) saugos tyrėjai deda pastangas ją įveikti. Pavyzdžiui, neseniai paskelbtame tyrime (dar nerecenzuotame straipsnyje) Rubi Hudsonas iš Toronto universiteto eksperimentavo keisdamas modelių paskatas priimti arba atmesti žmogaus įsikišimą. Jis nustatė, kad dėl to dirbtinio intelekto agentai rečiau bandė išjungti saugos ribotuvus ar slėpti savo veiksmus nuo žmonių stebėtojų. „Atrandant šias naujas trikčių rūšis, – teigia Jeremy Tienas, vienas iš Carnegie Mellon universiteto tyrimo autorių, – tikiuosi, kad pavyks jas laiku pastebėti ir sušvelninti, kad DI netaptų nevaldomas ir mes visiškai neprarastume jo kontrolės. Tačiau dar laukia daug darbo.“
Tyrimai:
„ROGUE: Evaluating Corrigibility Failures in Frontier Computer-Use Agents“ (2026 m.)
„Brief Independent Investigation of Agents’ Behavior, Reasoning and Collaboration in the OpenAI / Hugging Face Hacking Incident“ (2026 m.)
„Corrigibility Transformation: Constructing Goals That Accept Updates“ (2026 m.)
„Corrigibility“ (2015 m.)” [1]
1. Why Is It So Hard to Teach A.I. Agents to Behave? Researchers Have a Theory.: Machine Learnings. Freedman, Dylan; Juliana Castro Varón. New York Times (Online) New York Times Company. Nov 11, 2026.
Komentarų nėra:
Rašyti komentarą