Sekėjai

Ieškoti šiame dienoraštyje

2023 m. gegužės 4 d., ketvirtadienis

„ChatGPT“ kelia klausimų, kaip žmonės įgyja kalbą

  „KAI 1997 m. šachmatų kompiuteris „DEEP BLUE“ nugalėjo pasaulio čempioną Garį Kasparovą, daugelis aiktelėjo iš baimės, kad mašinos triumfuos prieš žmoniją. Per kelerius metus dirbtinis intelektas padarė stulbinančių dalykų, tačiau niekam nepavyko užkariauti visuomenės vaizduotės lygiai taip pat. Tačiau dabar Deep Blue akimirkos nuostaba sugrįžo, nes kompiuteriai naudoja tai, ką žmonės laiko savo gebėjimu: kalba.

 

     O gal jie naudoja? Žinoma, dideli kalbų modeliai (LLM), iš kurių garsiausias yra ChatGPT, sukuria nepriekaištingą žmogaus rašymą. Tačiau kilo diskusijos apie tai, ką mašinos iš tikrųjų veikia viduje, ką žmonės savo ruožtu daro kalbėdami, o akademijoje – apie garsiausio pasaulio kalbininko Noamo Chomsky teorijas.

 

     Nors profesoriaus Chomsky idėjos gerokai pasikeitė nuo tada, kai jis išpopuliarėjo šeštajame dešimtmetyje, keli elementai išliko gana pastovūs. Jis ir jo pasekėjai teigia, kad žmonių kalba skiriasi savo natūra (ne tik išraiškingumo laipsniu) nuo visų kitų bendravimo rūšių. Visos žmonių kalbos yra panašesnės viena į kitą nei į, tarkime, banginio dainą ar kompiuterio kodą. Profesorius Chomsky dažnai sakydavo, kad Marso lankytojas padarys išvadą, kad visi žmonės kalba ta pačia kalba, o tik paviršius skiriasi.

 

     Ko gero, svarbiausia yra tai, kad Chomskyan teorijos teigia, kad vaikai savo gimtosios kalbos mokosi stulbinančiai greitai ir lengvai, nepaisant „dirgiklio skurdo“: lėkštos ir retkarčiais girdimos kalbos vaikystėje. Vienintelis to paaiškinimas gali būti toks, kad žmogaus smegenyse yra įtaisytas tam tikras polinkis į kalbą.

 

     Chomsky idėjos lingvistinėje sintaksės srityje dominavo nuo pat jų gimimo. Tačiau daugelis kalbininkų yra griežtai prieš Chomsky. Ir kai kurie dabar naudojasi LLM galimybėmis iš naujo pulti Chomsky teorijas.

 

     Gramatika turi hierarchinę, įdėtą struktūrą, apimančią vienetus kituose vienetuose. Žodžiai sudaro frazes, iš jų – sakinius ir pan. Chomsky teorija pateikia psichinę operaciją „Sujungimas“, kuri sujungia mažesnius vienetus, kad sudarytų didesnius, kuriuos vėliau būtų galima operuoti (ir pan.). Neseniai paskelbtoje „New York Times“ publikacijoje pats vyras (dabar 94 m.) ir du bendraautoriai pasakė, kad „mes žinome“, kad kompiuteriai negalvoja ir nenaudoja kalbos taip, kaip tai daro žmonės, netiesiogiai nurodydami tokį pažinimo būdą. Tiesą sakant, LLM tik numato kitą žodį žodžių eilutėje.

 

     Tačiau dėl kelių priežasčių sunku suprasti, ką LLM „galvoja“. Išsami informacija apie komercinių programų, tokių kaip „ChatGPT“, programavimo ir mokymo duomenis yra paslėpta nuosavybės teise. Ir net programišiai tiksliai nežino, kas vyksta viduje.

 

     Tačiau kalbininkai rado protingų būdų, kaip patikrinti LLM pagrindines žinias, iš tikrųjų apgaudinėdami juos zondavimo testais. Ir iš tiesų, atrodo, kad LLM mokosi įdėtų, hierarchinių gramatinių struktūrų, net jei jie yra veikiami tik linijinės įvesties, ty teksto eilutės. Jie gali valdyti naujus žodžius ir suvokti kalbos dalis. Pasakykite ChatGPT, kad „dax“ yra veiksmažodis, reiškiantis suvalgyti picos gabalėlį ją sulankstant, o sistema ją lengvai įdiegia: „Po ilgos darbo dienos mėgstu atsipalaiduoti ir dax picos gabalėliu žiūrėdama savo mėgstamiausią televizijos laidą." (Imituojamąjį elementą galima pamatyti „dax on“, kurį „ChatGPT“ tikriausiai pritaikė panašiai kaip „kramtyti“ arba „graužti“.)

 

     O kaip su „stimuliatoriaus skurdu“? Galų gale, apskaičiuota, kad GPT-3 (LLM, kuriuo grindžiamas ChatGPT iki neseniai išleisto GPT-4) yra apmokytas su maždaug 1000 kartų daugiau informacijos, nei dešimties metų amžiaus žmogus. Tai palieka galimybę, kad vaikai turi įgimtą polinkį į gramatiką, todėl jie yra daug labiau įgudę, nei bet kuris LLM. Būsimame straipsnyje „Linguistic Inquiry“ mokslininkai teigia, kad kai LLM mokė ne daugiau teksto, nei yra veikiamas žmogaus vaikas, ir nustatė, kad jis gali naudoti net retas gramatikos dalis. Tačiau kiti mokslininkai bandė parengti LLM tik vaikams skirtos kalbos (ty su vaikais kalbančių globėjų nuorašų) duomenų bazėje. Čia LLM sekasi daug blogiau. Galbūt, smegenys tikrai sukurtos kalbai, kaip sako profesorius Chomsky.

 

     Sunku teisti. Abi ginčo pusės ragina LLM pareikšti savo argumentus. To paties pavadinimo savo kalbotyros mokyklos įkūrėjas pasiūlė tik šiurkštų atkirtį. Kad jo teorijos išgyventų šį iššūkį, jo stovykla turės sustiprinti gynybą." [1]

·  ·  ·1.  "ChatGPT raises questions about how humans acquire language." The Economist, 29 Apr. 2023, p. NA.

Komentarų nėra: