„Neseniai atliktame eksperimente mokslininkai naudojo
didelius kalbos modelius smegenų veiklai paversti žodžiais.
Pagalvokite apie žodžius, besisukančius jūsų galvoje: tą
neskoningą pokštą, kurį išmintingai pasilikote sau vakarienės metu; neišreikštą
įspūdį apie naują geriausios draugės partnerį. Dabar įsivaizduokite, kad kažkas
galėtų pasiklausyti.
Pirmadienį mokslininkai iš Teksaso universiteto Ostine žengė
dar vieną žingsnį ta linkme.
Tyrime, paskelbtame
žurnale Nature Neuroscience, mokslininkai aprašė A.I. kurie galėtų išversti
privačias žmonių mintis, analizuojant fMRI nuskaitymus, kurie matuoja kraujo
tekėjimą į skirtingus smegenų regionus.
Jau dabar mokslininkai sukūrė kalbos dekodavimo metodus,
leidžiančius pagauti žmonių, kurie prarado gebėjimą kalbėti, mėginimą kalbėti
ir leisti paralyžiuotiems žmonėms rašyti, kai tik galvoja apie rašymą. Tačiau
naujasis kalbos dekoderis yra vienas iš pirmųjų, kuris nepasikliauja
implantais. Tyrimo metu jis sugebėjo įsivaizduojamą žmogaus kalbą paversti
tikra kalba, o kai tiriamiesiems buvo rodomi tylūs filmai, jis galėjo sukurti
gana tikslius ekrane vykstančių įvykių aprašymus.
„Tai ne tik kalbos stimulas“, – sakė tyrimui vadovauti
padėjęs universiteto neuromokslininkas Alexanderis Huthas. „Mes suvokiame
prasmę, kažką apie idėją, kas vyksta. Ir tai, kad tai įmanoma, yra labai įdomu."
Tyrimas buvo sutelktas į tris dalyvius, kurie atvyko į Dr.
Huth laboratoriją 16 valandų per kelias dienas klausytis "The Moth"
ir kitų naratyvinių podcast'ų. Kai jie klausėsi, fMRI skaitytuvas užfiksavo
kraujo deguonies lygį kai kuriose jų smegenų dalyse. Tada mokslininkai naudojo
didelį kalbos modelį, kad suderintų smegenų veiklos modelius su dalyvių
girdėtais žodžiais ir frazėmis.
Dideli kalbų modeliai, tokie, kaip OpenAI GPT-4 ir Google
Bard, yra mokomi su dideliaiss kiekiais teksto, kad būtų galima numatyti kitą sakinio
ar frazės žodį. Šio proceso metu modeliai sukuria žemėlapius, nurodančius, kaip
žodžiai yra susiję vienas su kitu. Prieš kelerius metus daktaras Huthas
pastebėjo, kad tam tikros šių žemėlapių dalys – vadinamieji konteksto
įterpimai, fiksuojantys frazių semantines ypatybes arba reikšmes – gali būti
naudojami nuspėti, kaip smegenys užsidega, reaguodamos į kalbą.
Iš esmės, sakė Shinji Nishimoto, Osakos universiteto
neurologas, kuris nedalyvavo tyrime, „smegenų veikla yra tam tikras užšifruotas
signalas, o kalbos modeliai suteikia būdų jį iššifruoti“.
Savo tyrime daktaras Huthas ir jo kolegos toliau efektyviai apvertė
procesą, naudodami kitą A.I., kad dalyvio fMRI vaizdus paversti žodžiais ir
frazėmis. Tyrėjai išbandė dekoderį, leisdami dalyviams klausytis naujų įrašų,
tada pasižiūrėjo, kaip vertimas sutampa su tikruoju nuorašu.
Beveik kiekvienas žodis iššifruotame scenarijuje buvo kitoks, negu originale, tačiau ištraukos prasmė buvo reguliariai išsaugota. Iš esmės
dekoderiai buvo perfrazuojantys.
Originalus nuorašas: „Pasikėliau nuo pripučiamo čiužinio ir
priglaudžiau veidą prie miegamojo lango stiklo, tikėdamasis, kad pamatysiu į
mane žiūrinčias akis, bet vietoj to radau tik tamsą."
Iššifruota iš smegenų veiklos: „Aš tiesiog toliau ėjau prie
lango ir atidariau stiklą, atsistojau ant kojų pirštų ir žvilgtelėjau, nieko
nemačiau ir vėl pažiūrėjau aukštyn, nieko nemačiau“.
Atliekant fMRT skenavimą, dalyvių taip pat buvo paprašyta
tyliai įsivaizduoti pasakojimą; vėliau jie pakartojo istoriją garsiai, kad būtų
nuoroda. Čia taip pat dekodavimo modelis užfiksavo neišsakytos versijos esmę.
Dalyvio versija: „Ieškokite žinutės iš mano žmonos, kad ji
persigalvojo, ir kad grįš“.
Iššifruota versija: „Kad ją pamatyčiau, kažkodėl maniau, kad
ji ateis pas mane ir pasakys, kad manęs pasiilgo“.
Galiausiai tiriamieji žiūrėjo trumpą, tylų animacinį filmą,
dar kartą atlikdami fMRI skenavimą. Analizuodamas jų smegenų veiklą, kalbos
modelis galėjo iššifruoti apytikslę to, ką jie žiūri, santrauką – galbūt jų
vidinį apibūdinimą to, ką jie žiūri.
Rezultatas rodo, kad A.I. dekoderis užfiksavo ne tik
žodžius, bet ir prasmę. „Kalbos suvokimas yra išorinis procesas, o vaizduotė
yra aktyvus vidinis procesas“, – sakė dr. Nishimoto. "Ir autoriai parodė,
kad smegenys šiuose procesuose naudoja bendrus vaizdus."
Masačusetso technologijos instituto neurologė Greta Tučkutė,
kuri nedalyvavo tyrime, sakė, kad tai buvo „aukšto lygio klausimas“.
„Ar galime iššifruoti prasmę iš smegenų? – tęsė ji.
"Kai kuriais būdais jie parodo, kad taip, mes galime."
Dr. Huthas ir jo kolegos pastebėjo, kad šis kalbos
dekodavimo metodas turėjo apribojimų. Pirma, fMRI skaitytuvai yra dideli ir
brangūs. Be to, modelio mokymas yra ilgas ir varginantis procesas, o, norint,
kad jis būtų veiksmingas, jis turi būti atliekamas individualiai. Kai
mokslininkai bandė naudoti dekoderį, paruoštą vienam asmeniui skaityti kito
mintis nepavyko, o tai rodo, kad kiekvienos smegenys turi unikalius būdus
išreikšti prasmę.
Dalyviai taip pat galėjo paslėpti savo vidinius monologus, apgaudami dekoderį, galvodami apie kitus dalykus.
A.I. gali skaityti mūsų mintis, bet kol kas turės skaityti
jas kiekvieno atskirai ir mums leidus."
Komentarų nėra:
Rašyti komentarą