„Amerikietiškos įmonės OpenAI sukurtas pokalbių robotas ChatGPT gali duoti priimtinus atsakymus į klausimus nuo branduolinės inžinerijos iki stoikų filosofijos.
Ar bent jau tai gali anglų kalba. Naujausia versija, ChatGPT-4, išlaikė 85% bendrų klausimų ir atsakymų testo. Kitomis kalbomis tai mažiau įspūdinga. Pavyzdžiui, atliekant testą telugų kalba, indų kalba, kuria kalba beveik 100 mln. žmonių, ji surinko tik 62 proc.
„OpenAI“ daug neatskleidė, kaip buvo sukurtas „ChatGPT-4“. Tačiau žvilgsnis į jo pirmtaką „ChatGPT-3“ yra įtaigus. Dideli kalbų modeliai (LLM) mokomi, naudojant tekstą, paimtą iš interneto, kuriame anglų kalba yra lingua franca. Maždaug 93 % ChatGPT-3 mokymo duomenų buvo anglų kalba. „Common Crawl“, tik viename iš duomenų rinkinių, pagal kuriuos buvo parengtas modelis, anglų kalba sudaro 47 % korpuso, o kitos (dažniausiai susijusios) Europos kalbos sudaro 38 % daugiau. Kinų ir japonų, priešingai, kartu sudarė tik 9%. Telugų kalba net nebuvo apvalinimo klaida.
Johnso Hopkinso universiteto mokslininko Nathanielio Robinsono ir jo kolegų įvertinimas rodo, kad tai nėra tik ChatGPT problema. Visiems LLM sekasi geriau su „didelių išteklių“ kalbomis, kurių mokymo duomenų yra daug, nei su mažai išteklių turinčiomis kalbomis, kurioms jų trūksta. Tai yra problema tiems, kurie tikisi eksportuoti dirbtinį intelektą į neturtingas šalis, tikėdamiesi, kad tai gali pagerinti viską nuo mokyklų iki sveikatos priežiūros. Todėl mokslininkai visame pasaulyje stengiasi, kad dirbtinis intelektas būtų daugiakalbis.
Indijos vyriausybė yra ypač suinteresuota. Daugelis jos viešųjų paslaugų jau yra suskaitmenintos ir nori jas sustiprinti dirbtiniu intelektu. Pavyzdžiui, rugsėjį ji pradėjo pokalbių robotą, padedantį ūkininkams gauti informacijos apie valstybės išmokas.
Botas veikia, suvirindamas dviejų tipų kalbos modelius, sako Shankar Maruwada iš EkStep Foundation, ne pelno organizacijos, padėjusios jį sukurti. Vartotojai gali pateikti užklausas savo gimtąja kalba. (Kol kas palaikomos aštuonios; netrukus pasirodys dar penkios.) Jie perduodami mašininio vertimo programinei įrangai, sukurtai Indijos akademinėje įstaigoje IIT Madras, kuri išverčia juos į anglų kalbą. Angliška klausimo versija perduodama LLM, o jo atsakymas išverčiamas atgal į vartotojo gimtąją kalbą.
Panašu, kad sistema veikia. Tačiau užklausų vertimas į LLM pageidaujamą kalbą yra gana gremėzdiškas sprendimas. Juk kalba yra pasaulėžiūros ir kultūros bei tiesiog prasmės priemonė, pažymi vienos Indijos AI firmos vadovas. 2022 m. paskelbtame Sidnėjaus universiteto mokslininkės Rebeccos Johnson straipsnyje nustatyta, kad „ChatGPT-3“ davė atsakymus tokiomis temomis, kaip ginklų kontrolė ir pabėgėlių politika, kurie labiausiai atitiko vertybes, kurias amerikiečiai demonstravo Pasaulio vertybių tyrime, visuotiniame visuomenės nuomonės klausimyne.
Todėl daugelis tyrinėtojų stengiasi, kad patys LLM geriau kalbėtų mažiau vartojamomis kalbomis. Vienas iš būdų yra modifikuoti prieigos raktą – LLM dalį, kuri susmulkina žodžius į mažesnius gabalus, žetonus, kad būtų galima manipuliuoti likusia modelio dalimi. Tekstui devanagari kalba, raštu, naudojamu hindi kalba, reikia nuo trijų iki keturių kartų daugiau žetonų, kai jie žymimi standartiniu būdu, nei tam pačiam tekstui anglų kalba. Indijos startuolis, pavadintas „Sarvam AI“, parašė hindi kalbai optimizuotą žetonų rinkiklį, kuris gerokai sumažina šį skaičių. Mažiau žetonų reiškia mažiau skaičiavimų. Sarvam mano, kad „OpenHathi“, „Devanagari“ optimizuota LLM, gali maždaug trimis ketvirčiais sumažinti atsakymų į klausimus išlaidas.
Kitas dalykas yra tobulinti duomenų rinkinius, kuriais remiantis mokomi LLM. Dažnai tai reiškia daugybės rašiklio ir popieriaus tekstų skaitmeninimą. Lapkričio mėnesį Mohamedo bin Zayedo universiteto Abu Dabyje tyrėjų komanda išleido naujausią arabiškai kalbančio modelio versiją, pavadintą „Jais“. Jame yra šeštadaliu daugiau parametrų (vienas modelio dydžio matas) kaip ChatGPT-3, tačiau arabų kalba veikia lygiai taip pat. Timothy Baldwin, universiteto provostas, pažymi, kad kadangi jo komanda galėjo suskaitmeninti tik tiek arabiško teksto, modelis taip pat apėmė šiek tiek anglų kalbos. Galų gale, kai kurios sąvokos yra panašios visomis kalbomis ir jas galima išmokti bet kuria kalba. Duomenys konkrečia kalba yra svarbesni, mokant modelį konkrečių kultūrinių idėjų ir keistenybių.
Trečias būdas yra pakoreguoti modelius po to, kai jie buvo išmokyti. Ir Jais, ir OpenHathi turėjo kai kurias klausimų ir atsakymų poras, kurias sukūrė žmonės. Tas pats atsitinka su Vakarų pokalbių robotais, kad jie neplatintų tai, ką jų kūrėjai laiko dezinformacija. Ernie Bot, LLM iš Baidu, didelės Kinijos technologijų įmonės, buvo pakoreguotas taip, kad ji nekalbėtų dalykų, kuriems vyriausybė galėtų prieštarauti. Modeliai taip pat gali mokytis iš žmonių atsiliepimų, kuriuose vartotojai vertina LLM atsakymus. Tačiau tai sunku padaryti daugeliui skurdžių pasaulio kalbų, sako daktaras Baldwinas, nes tam reikia įdarbinti pakankamai raštingus žmones, kad galėtų kritikuoti mašinos rašymą.
Kaip gerai visa tai veiks, pamatysime. Ketvirtadalis Indijos suaugusiųjų yra neraštingi, o to neišspręs joks LLM koregavimas. Daugelis indų nori bendrauti balso žinutėmis, o ne tekstinėmis žinutėmis. AI taip pat gali paversti kalbą žodžiais, kaip tai daro Indijos pokalbių robotas ūkininkams. Tačiau tai prideda dar vieną žingsnį, per kurį gali atsirasti klaidų.
Ir gali būti, kad Silicio slėnio didžiųjų berniukų pastangomis vietinių LLM kūrėjai galiausiai gali būti išvesti iš verslo. Nors ChatGPT-4 toli gražu nėra tobulas, jis daug geriau, nei ChatGPT-3, atsako į klausimus ne anglų kalbomis. Kad ir kaip būtų, dirbtinio intelekto mokymas kalbėti daugiau iš 7000 pasaulio kalbų gali būti tik geras dalykas." [1]
Lietuvos vaikai dabar priversti naudotis labai ribotu dirbtiniu intelektu, nes lietuvių kalba medžiagos internete yra išskirtinai mažai. Tai dar pagilina mūsų jaunosios kartos galimybių konkuruoti pasaulyje apribojimus. Jei nenorite, kad vaikai užaugtų laukiniais, vežkite juos į Vakarus jau dabar.
1. Sending AI to language school. The Economist; London Vol. 450, Iss. 9381, (Jan 27, 2024): 73, 74.
Komentarų nėra:
Rašyti komentarą