"Pranešimo zvimbimas ar el. laiško skambėjimas gali sukelti jaudulį arba baimę. Garsiajame eksperimente Ivanas Pavlovas parodė, kad šunis galima išmokyti seilėtis, kai tik pasigirsta metronomo garsas arba skamba armonika. Šis priežasties ir pasekmės ryšys – žinomas kaip asociatyvinis arba sustiprinamasis mokymasis – yra pagrindinis daugelio gyvūnų elgesys su pasauliu.
Nuo aštuntojo dešimtmečio pradžios vyraujanti teorija apie tai, kas vyksta, buvo ta, kad gyvūnai mokosi bandymų ir klaidų būdu. Užuomina (metronomas) susiejama su atlygiu (maistu) vyksta taip. Kai ateina užuomina, gyvūnas nuspėja, kada bus gautas atlygis. Tada laukiama, kas ateis. Po to jis apskaičiuoja skirtumą tarp prognozės ir rezultato - klaidą. Galiausiai jis naudoja tą klaidų įvertinimą, kad atnaujintų dalykus, kad ateityje būtų galima geriau prognozuoti.
Tikėjimą šiuo požiūriu XX amžiaus pabaigoje sustiprino du dalykai. Vienas iš jų buvo atradimas, kad jis taip pat gerai sprendžia inžinerines problemas, susijusias su dirbtiniu intelektu (AI). Gilieji neuroniniai tinklai mokosi sumažindami savo prognozių klaidą.
Kitas sustiprinantis pastebėjimas buvo 1997 m. Science publikuotas straipsnis. Jame buvo pažymėta, kad dopamino – cheminės medžiagos, kuri perduoda signalus tarp kai kurių nervinių ląstelių ir, kaip žinoma, susijusi su atlygio, smegenyse, svyravimai atrodė kaip numatymo klaidų signalai. Dopaminą generuojančios ląstelės yra aktyvesnės, kai atlygis ateina anksčiau, nei tikėtasi arba jo visai nesitikima, ir yra slopinamos, kai atlygis ateina vėliau arba visai nėra – kas nutiktų, jei tai iš tikrųjų būtų tokie signalai.
Tad graži istorija apie tai, kaip veikia mokslas. Bet jei naujas straipsnis, taip pat paskelbtas Science, pasirodo esąs teisingas, ši istorija neteisinga.
Mokslininkai jau kurį laiką žinojo, kad kai kurie dopamino aktyvumo aspektai nesuderinami su numatymo klaidų modeliu. Tačiau iš dalies dėl to, kad jis taip gerai veikia, treniruojant dirbtinius agentus, šios problemos buvo nušluotos po kilimu. Iki dabar. Naujasis tyrimas, kurį atliko Huijeong Jeong ir Vijay Namboodiri iš Kalifornijos universiteto San Franciske ir bendradarbių komanda, apvertė neurologijos pasaulį. Jame siūlomas asociatyvaus mokymosi modelis, leidžiantis manyti, kad tyrėjai viską padarė atbulai. Be to, jų pasiūlymą patvirtina daugybė eksperimentų.
Senasis modelis žiūri į priekį, siedamas priežastį su pasekme. Naujasis elgiasi priešingai. Jis susieja pasekmes su priežastimi. Jie mano, kad kai gyvūnas gauna atlygį (arba bausmę), jis atsigręžia į savo atmintį, kad išsiaiškintų, kas galėjo paskatinti šį įvykį. Dopamino vaidmuo modelyje yra pažymėti įvykius, pakankamai reikšmingus, kad būtų galima ateityje gauti atlygį ar bausmes.
Taip žvelgiant į dalykus, susiduriama su dviem dalykais, kurie visada trikdė senąjį modelį. Vienas iš jų yra jautrumas laiko skalei. Kitas yra skaičiuojamumas.
Laiko skalės problema yra ta, kad priežastis ir pasekmės gali būti atskirtos milisekundėmis (įjungus lemputę ir pajutus apšvietimą), minutėmis (išgėrus ir jaučiuosi apsvaigęs) ar net valandomis (valgant ką nors blogo ir apsinuodijus maistu). Žvelgiant atgal, daktaras Namboodiri aiškina, leidžia ištirti savavališkai ilgą galimų priežasčių sąrašą. Žiūrėti į priekį, iš anksto nežinant, kaip toli žiūrėti, yra daug sudėtingiau.
Tai veda prie antrosios problemos. Sensorinė patirtis yra turtinga, ir viskas, kas joje yra, gali numatyti rezultatą. Prognozuoti remiantis kiekviena įmanoma užuomina būtų sunku ir neįmanoma. Daug paprasčiau, kai įvyksta prasmingas įvykis, pažvelgti atgal į kitus potencialiai reikšmingus įvykius ir ieškoti priežasties.
Tačiau praktiškai sunku eksperimentiškai atskirti du modelius. Ir tai ypač aktualu, jei net nesivargiate žiūrėti – ko iki šiol žmonės nežiūrėjo. Dr Jeong ir Dr Namboodiri tai padarė. Jie sukūrė ir atliko 11 eksperimentų su pelėmis, garsiakalbiais ir cukraus tirpalo lašais, kurie buvo sukurti specialiai tam tikslui.
Jų metu jie realiu laiku išmatavo dopamino kiekį, kurį išskiria nucleus accumbens – smegenų sritis, kurioje dopaminas yra susijęs su mokymusi ir priklausomybe. Visi eksperimentai nuėjo naujojo modelio naudai.
180° mąstymo posūkis – nuo perspektyvinio iki retrospektyvinio –, kurį numano šie eksperimentai, sukelia nemažą sumaištį neurologijos pasaulyje. Tai „verčia susimąstyti ir rodo skatinančią naują kryptį“, – sako Ilana Witten, Prinstono universiteto neurologė, nesusijusi su šiuo straipsniu.
Norint patvirtinti naujus atradimus, reikės atlikti daugiau eksperimentų. Bet jei ateis patvirtinimas, tai turės pasekmių už neurologijos ribų. Tai rodo, kad AI veikia ne taip, kaip dabar ginčijosi, turi net menką ryšį su smegenų veikla, bet iš tikrųjų tai buvo sėkmingas spėjimas.
Tačiau tai taip pat gali pasiūlyti geresnių AI atlikimo būdų. Daktaras Namboodiri taip mano ir tiria galimybes. Evoliucija turėjo šimtus milijonų metų, kad optimizuotų mokymosi procesą. Taigi mokytis iš gamtos retai kada yra bloga mintis. [1]
· · · 1. "A decades-old model of animal (and human) learning is under fire." The Economist, 18 Jan. 2023, p. NA.
·
Komentarų nėra:
Rašyti komentarą