„Penkius DEŠIMTMEČIUS trukę dirbtinių neuroninių tinklų tyrinėjimai suteikė Geoffrey'ui Hintonui dirbtinio intelekto (AI) krikštatėvio pravardę. Jo grupės Toronto universitete darbas padėjo pagrindus šiandieniniams antraštes traukiantiems AI modeliams, įskaitant ChatGPT ir LaMDA. Jie gali rašyti nuoseklią (jei neįkvepiančią) prozą, diagnozuoti ligas iš medicininių tyrimų ir valdyti savarankiškai važiuojančius automobilius. Tačiau daktaro Hintono galutinis tikslas buvo ne sukurti dirbtinius neuroninius tinklus, kurie galėtų išmokti juos išspręsti sudėtingų problemų, o tai, kad gali paaiškėti, kaip smegenų neuroniniai tinklai daro tą patį.
Smegenys mokosi subtiliai perjungiamos: kai kurios jungtys tarp neuronų, žinomos, kaip sinapsės, sustiprėja, o kitos turi susilpnėti.
Tačiau kadangi smegenyse yra milijardai neuronų, iš kurių milijonai gali būti įtraukti į bet kurią užduotį, mokslininkai nesupranta, kaip jos žino, kurias sinapses ir kiek reikia koreguoti.
Dr Hintonas išpopuliarino sumanų matematinį algoritmą, žinomą kaip atgalinis sklaidymas, kad išspręstų šią problemą dirbtiniuose neuroniniuose tinkluose.
Tačiau ilgą laiką buvo manoma, kad jis yra per sunkus, kad būtų išsivystęs žmogaus smegenyse. Dabar, kai dirbtinio intelekto modeliai savo sugebėjimais pradeda atrodyti vis labiau panašūs į žmones, mokslininkai abejoja, ar smegenys vis dėlto gali padaryti kažką panašaus.
Išsiaiškinti, kaip smegenys daro tai, ką daro, nėra lengvas žygdarbis. Didžioji dalis to, ką neurologai supranta apie žmogaus mokymąsi, gaunama iš eksperimentų su mažais smegenų audinio gabalėliais arba sauja neuronų Petri lėkštelėje. Dažnai neaišku, ar gyvos, besimokančios smegenys veikia pagal padidintas tų pačių taisyklių versijas, ar vyksta kažkas sudėtingesnio. Net naudojant šiuolaikinius eksperimentinius metodus, kai neurologai vienu metu stebi šimtus gyvų gyvūnų neuronų, sunku nustatyti, kas iš tikrųjų vyksta.
Viena ryškiausių ir seniausių teorijų, kaip smegenys mokosi, yra Hebo mokymasis. Idėja yra ta, kad neuronai, kurie aktyvuojasi maždaug tuo pačiu metu, tampa tvirčiau sujungti; dažnai apibendrinamos kaip „ląstelės, kurios užsidega kartu“. Hebo mokymasis gali paaiškinti, kaip smegenys išmoksta paprastų asociacijų – pagalvokite apie Pavlovo šunis, kurie seilėjosi, skambant varpeliui. Tačiau sudėtingesnėms užduotims, tokioms, kaip kalbos mokymasis, Hebo mokymasis atrodo per neefektyvus. Net ir su didžiuliu treniruočių kiekiu, dirbtiniai neuroniniai tinklai, treniruojami tokiu būdu, gerokai nusileidžia žmogaus našumui.
Šiuolaikiniai AI modeliai sukurti skirtingai. Norėdami suprasti, kaip jie veikia, įsivaizduokite dirbtinį neuroninį tinklą, išmokytą pastebėti paukščius vaizduose. Toks modelis būtų sudarytas iš tūkstančių sintetinių neuronų, išdėstytų sluoksniais. Nuotraukos įvedamos į pirmąjį tinklo sluoksnį, kuris siunčia informaciją apie kiekvieno pikselio turinį į kitą sluoksnį per sinaptinių jungčių AI ekvivalentą. Čia neuronai gali naudoti šią informaciją, kad išskirtų linijas ar kraštus, prieš siųsdami signalus į kitą sluoksnį, kuris gali išskirti akis ar pėdas. Šis procesas tęsiasi tol, kol signalai pasiekia galutinį sluoksnį, atsakingą už teisingą didelį skambutį: „paukštis“ arba „ne paukštis“.
Neatsiejama šio mokymosi proceso dalis yra vadinamasis klaidų platinimo atgalinis algoritmas, dažnai žinomas kaip backprop. Jei tinklui rodomas paukščio vaizdas, bet klaidingai daroma išvada, kad taip nėra, tada, kai tik jis suvokia klaidą, jis sukuria klaidos signalą. Šis klaidos signalas juda atgal per tinklą, sluoksnis po sluoksnio, stiprindamas arba susilpnindamas kiekvieną ryšį, kad būtų sumažintos būsimos klaidos. Jei modeliui vėl bus rodomas panašus vaizdas, pakoreguotos jungtys paskatins modelį teisingai paskelbti: „paukštis“.
Neurologai visada skeptiškai žiūrėjo į tai, kad atgalinis dauginimasis gali veikti smegenyse. 1989 m., netrukus po to, kai daktaras Hintonas ir jo kolegos parodė, kad algoritmas gali būti naudojamas daugiasluoksniams neuroniniams tinklams treniruoti, Francisas Crickas, Nobelio premijos laureatas, kartu atradęs DNR struktūrą, žurnale „Nature“ paskelbė teorijos panaikinimą. Jis sakė, kad neuroniniai tinklai, naudojantys atgalinio sklidimo algoritmą, buvo biologiškai „nerealūs beveik visais atžvilgiais“.
Viena vertus, neuronai dažniausiai siunčia informaciją viena kryptimi. Kad smegenyse veiktų atgalinis sklidimas, turėtų egzistuoti tobulas veidrodinis kiekvieno neuronų tinklo vaizdas, kad būtų galima siųsti klaidos signalą atgal. Be to, dirbtiniai neuronai bendrauja, naudodami įvairaus stiprumo signalus. Biologiniai neuronai savo ruožtu siunčia fiksuoto stiprumo signalus, kuriems „backprop“ algoritmas nėra skirtas.
Nepaisant to, neuroninių tinklų sėkmė atnaujino susidomėjimą, ar smegenyse neįvyksta koks nors atgalinis platinimas. Gali būti, kad buvo daug žadančių eksperimentinių užuominų. Pavyzdžiui, 2023 m. lapkritį paskelbtas išankstinis tyrimas parodė, kad atskiri pelių smegenų neuronai reaguoja į unikalius klaidų signalus, kurie yra vienas iš svarbiausių į backprop panašių algoritmų sudedamųjų dalių, kurių, ilgai manyta, trūksta gyvose smegenyse.
Neurologijos ir dirbtinio intelekto ribose dirbantys mokslininkai taip pat parodė, kad nedideli backpropo patobulinimai gali padaryti jį palankesnį smegenims. Vienas įtakingas tyrimas parodė, kad veidrodinio vaizdo tinklas, kuris kažkada buvo laikomas būtinu, nebūtinai turi būti tiksli originalo kopija, kad mokymasis vyktų (nors ir lėčiau dideliuose tinkluose). Dėl to jis tampa mažiau neįtikėtinas. Kiti rado būdų, kaip visiškai apeiti veidrodinį tinklą. Jei dirbtiniams neuroniniams tinklams gali būti suteikiamos biologiškai tikroviškos savybės, pvz., specializuoti neuronai, galintys integruoti aktyvumo ir klaidų signalus skirtingose ląstelės dalyse, tada backprop gali atsirasti su vienu neuronų rinkiniu. Kai kurie mokslininkai taip pat pakeitė „backprop“ algoritmą, kad jis galėtų apdoroti šuolius, o ne nuolatinius signalus.
Kiti tyrinėtojai tiria gana skirtingas teorijas. Straipsnyje, paskelbtame Nature Neuroscience anksčiau šiais metais, Yuhang Song ir kolegos iš Oksfordo universiteto išdėstė metodą, kuris apverčia backpropą žemyn galva. Įprastiniame backprope klaidų signalai lemia sinapsių koregavimą, o tai savo ruožtu sukelia neuronų veiklos pokyčius. Oksfordo mokslininkai pasiūlė, kad tinklas pirmiausia galėtų pakeisti neuronų aktyvumą ir tik tada pritaikyti sinapses, kad jos atitiktų. Jie pavadino tai numatoma konfigūracija.
Kai autoriai išbandė numatomą konfigūraciją dirbtiniuose neuroniniuose tinkluose, jie nustatė, kad jie mokėsi daug panašesniu į žmones būdu – tvirčiau ir mažiau treniruodamiesi – nei modeliai, mokyti, naudojant backpropą. Jie taip pat nustatė, kad tinklas siūlo daug artimesnį žmogaus elgsenos atitikmenį, atliekant kitas labai skirtingas užduotis, pavyzdžiui, tas, kurios apėmė mokymąsi judinti vairasvirtę reaguojant į skirtingus vaizdinius signalus.
Mokymasis sunkiu būdu
Tačiau kol kas visos šios teorijos yra tik tas. Planuoti eksperimentus, siekiant įrodyti, ar smegenyse veikia backpropas ar bet koks kitas algoritmas, yra stebėtinai sudėtinga. Aranui Nayebi ir kolegoms iš Stanfordo universiteto tai atrodė, kaip problema, kurią AI galėtų išspręsti.
Mokslininkai naudojo vieną iš keturių skirtingų mokymosi algoritmų, kad išmokytų daugiau, nei tūkstantį neuroninių tinklų atlikti įvairias užduotis. Tada jie stebėjo kiekvieną tinklą treniruočių metu, registruodami neuronų aktyvumą ir sinapsinių ryšių stiprumą. Tada daktaras Nayebi ir jo kolegos parengė kitą priežiūros metamodelį, kad iš įrašų išvestų mokymosi algoritmą. Jie nustatė, kad metamodelis gali pasakyti, kuris iš keturių algoritmų buvo naudojamas, mokymosi metu įvairiais intervalais įrašydamas vos kelis šimtus virtualių neuronų. Tyrėjai tikisi, kad toks metamodelis galėtų padaryti kažką panašaus su lygiaverčiais tikrų smegenų įrašais.
Algoritmo ar algoritmų, kuriuos smegenys naudoja mokytis, nustatymas būtų didelis žingsnis į priekį neuromokslui. Tai ne tik atskleistų, kaip veikia paslaptingiausias kūno organas, bet ir galėtų padėti mokslininkams sukurti naujus dirbtinio intelekto įrankius, kad būtų galima suprasti konkrečius nervinius procesus. Neaišku, ar tai gali paskatinti geresnius AI algoritmus. Bent jau daktarui Hintonui „backpropas“, tikriausiai, yra pranašesnis, negu tai, kas vyksta smegenyse.“ [1]
1. Great minds. The Economist; London Vol. 452, Iss. 9410, (Aug 17, 2024): 63, 64.
Komentarų nėra:
Rašyti komentarą