Kodėl kompiuteriai naudoja matricas funkcijoms diferencijuoti?
Kompiuteriai naudoja matricas funkcijoms diferencijuoti, nes matricos siūlo sistemingą ir efektyvų būdą tvarkyti didelius duomenų kiekius (pvz., funkcijų įvestis / išvestis) ir sudėtingas transformacijas, ypač daugiamatėse situacijose (mašininis mokymasis, grafika). Matricos leidžia grupuoti dalines išvestines (Jakobianus) į vieną struktūrą, supaprastinti žymėjimą, įgalinti galingus įrankius, tokius kaip automatinis diferencijavimas (AutoDiff), neuroniniuose tinkluose (atgalinis sklaidymas) ir panaudoti labai optimizuotą aparatinę įrangą greitoms matricų operacijoms (GPU).
Pagrindinės priežastys, kodėl kompiuteriai naudoja matricas diferenciacijai:
Duomenų vaizdavimas: Matricos natūraliai tvarko didelius duomenų rinkinius, pvz., įvestis ir gradientus neuroniniuose tinkluose, todėl sudėtingi skaičiavimai yra lengvai valdomi.
Efektyvumas ir greitis: Matricų operacijos (daugyba, sudėtis) yra labai lygiagrečios, todėl GPU gali atlikti tūkstančius skaičiavimų vienu metu, o tai žymiai pagreitina gilaus mokymosi mokymą. Apibendrinimas (tiesinė algebra): Matricų skaičiavimas išplečia diferencijavimą į daugiamačius erdves (vektorius/matricas), naudodamas tokius įrankius kaip Jacobianas (visos dalinės išvestinės) ir Hesianas (antrosios išvestinės), kurie yra esminiai optimizavimui.
Glaudumas ir struktūra: Viena matrica gali pavaizduoti daug dalinių išvestinių (pvz., Jacobianas), todėl kodas yra švaresnis ir lengviau suprantamas nei atskirų kintamųjų tvarkymas.
Automatinis diferencijavimas (AutoDiff): Bibliotekos, tokios kaip „TensorFlow“ / „PyTorch“, naudoja matricomis pagrįstą diferencijavimą, kad automatiškai apskaičiuotų gradientus, o tai labai svarbu mokymo modeliams naudojant atgalinį sklidimą (išvestinių skaičiavimas atgal per tinklą).
Sistemingas požiūris: Matricomis pagrįsti metodai suteikia struktūrizuotą, algoritminį būdą taikyti skaičiavimo taisykles (pvz., grandinės taisyklę) sudėtingoms funkcijoms, o tai puikiai atlieka kompiuteriai.
Norėdami prisiminti grandinės taisyklę, sutelkite dėmesį į pagrindinę idėją: „Išorės išvestinė, padauginta iš vidinės išvestinės“.
Pavyzdys: Neuroniniai tinklai ir atgalinis sklidimas
Mokant neuroninį tinklą, reikia apskaičiuoti nuostolių (išvesties) išvestinę kiekvieno svorio (įvesties) atžvilgiu.
Tai reiškia grandinės taisyklės taikymą daugelyje sluoksnių.
Matricos (jakobietės) tvarko šias išvestines, o atgalinis sklidimas efektyviai jas apskaičiuoja daugindamas šias matricas atgal nuo išvesties iki įvesties, sistemingai atnaujindamas svorius.
„Dirbtiniu intelektu (DI) pagrįstos sistemos vis plačiau naudojamos užduotims – nuo genetinių duomenų dekodavimo iki automobilių vairavimo. Tačiau didėjant DI modelių dydžiui ir jų naudojimo mastui, artėja ir našumo lubos, ir energijos siena. Kompiuterių lustų tranzistorių našumui pasiekus stagnacijos ribą, DI modeliams palaikyti reikalinga skaičiavimo galia šiandieninę elektroninę įrangą privers ją išnaudoti iki lūžio taško. Tuo tarpu bendras DI energijos poreikis sparčiai auga1, didindamas anglies dioksido išmetimą ir apkraudamas vietinius elektros tinklus aplink duomenų centrus. Praėjusių metų rugsėjį technologijų įmonė „Microsoft“ pasirašė išskirtines teises į visos JAV atominės elektrinės produkciją, kad padėtų įgyvendinti savo DI ambicijas.
Siekiant užtikrinti tvaresnę ateitį, reikia radikaliai pertvarkyti pagrindinę duomenų apdorojimo įrangą. Žurnale „Nature“ rašantys Hua ir kt.2 bei Ahmed ir kt.3 demonstruoja papildomus proveržius, naudojant silicio fotoniką – puslaidininkinius lustus, kurie apdoroja šviesą, o ne elektrą – siekiant padidinti skaičiavimo našumą ir sumažinti energijos suvartojimą. Jų elektroninių-fotoninių skaičiavimo sistemų pagrindiniai našumo rodikliai yra panašūs, o kai kuriais atvejais ir lenkia grynai elektroninius procesorius realiose programose. Tai reiškia... reikšmingas šuolis link fotoninių skaičiavimų potencialo panaudojimo.
Fotoniniai skaičiavimai jau dešimtmečius yra mokslinių tyrimų tema, tačiau realaus pasaulio įgyvendinimą stabdo itin sėkmingo silicio elektroninio integrinio grandyno lustų dydžio, keičiamo dydžio optinių analogų trūkumas. Tačiau per pastarąjį dešimtmetį tai pradėjo keistis, kai ant tų pačių silicio plokštelių, kurios naudojamos mikroelektronikoje, buvo gaminami didelio našumo fotoniniai integriniai grandynai, daugiausia dėl optinių lustų tarp lustų jungčių poreikio.
Nors kelios pažangiausios demonstracijos parodė integruotos fotonikos potencialą pagreitinti skaičiavimus4–6, jose fotoninių lustų našumas buvo įvertintas daugiausia atskirai. Tačiau daugumos realaus pasaulio sistemų duomenys yra kilę iš elektronikos srities, todėl fotoniniams skaičiavimams reikalinga glaudžios integracijos ir bendro projektavimo su elektronika.
Iš tiesų, šios dvi technologijos viena kitą papildo, o ne tiesiogiai konkuruoja. Visų pirma, fotonika atlieka linijines operacijas, kuriose yra paprastas proporcingas ryšys tarp įvesties ir išvesties duomenų, efektyviau ir greičiau nei elektronika. Tuo tarpu elektronika pasižymi netiesinėmis operacijomis, kuriose įvesties ir išvesties duomenys yra susiję sudėtingesnėmis matematinėmis funkcijomis, kurios neišsaugo proporcingo ryšio tarp jų.
Fotoniniai skaičiavimai yra ypač vertingi atliekant matricų daugybą, dažnai vadinamą daugybos-kaupimo (MAC) operacijomis. Tai sudaro dirbtinių neuroninių tinklų ir daugelio kombinatorinių optimizavimo problemų, kurios dažnai iškyla tokiose srityse kaip išteklių paskirstymas, tinklo projektavimas, planavimas ir tiekimo grandinės logistika, matematinį pagrindą. Efektyvus tokių problemų sprendimas yra pagrindinis daugelio šiuolaikinių skaičiavimo sistemų prioritetas, ir tai paprastai atlieka specialūs elektroniniai skaičiavimo greitintuvai, tokie kaip grafikos procesoriai (GPU) ir tenzorių apdorojimo įrenginiai (TPU). Jie turi labai lygiagrečias architektūras, kurios geriau tinka MAC operacijoms apskaičiuoti nei įprastų centrinių procesorių (CPU) nuosekliojo apdorojimo architektūra.
Naujausi darbai2,3 rodo, kad silicio fotoniniai skaičiavimai gali smarkiai pagerinti pagrindinius našumo rodiklius, tuo pačiu sunaudodami mažiau energijos ir galėdami visiškai vykdyti standartinius dirbtinio intelekto darbo krūvius. Hua ir kt.2, Singapūre įsikūrusios bendrovės „Lightelligence“ komanda, nagrinėja kombinatorinio optimizavimo problemas, o Ahmed ir kt.3, dirbę bendrovėje „Lightmatter“ Mountain View, Kalifornijoje, daugiausia dėmesio skiria pažangiausių dirbtinio intelekto darbo krūvių, tokių kaip dideli kalbų modeliai, valdymui.
Hua ir kolegos2 taiko savo fotoninį aritmetinį skaičiavimo variklį (PACE), kad išspręstų kombinatorinio optimizavimo uždavinių klasę, vadinamą Isingo problemomis, kurios plačiai taikomos daugelyje realaus pasaulio sričių, įskaitant logistiką ir planavimo optimizavimą. Jie tiesiogiai palygina jo našumą su pažangiausio NVIDIA A10 GPU našumu Isingo modeliui, kuris apima 64 × 64 matricų dauginimą, ir parodo beveik 500 kartų sumažėjusį minimalų delsos laiką – pagrindinį skaičiavimo greičio rodiklį – nuo 2300 nanosekundžių iki vos 5 nanosekundžių. Be to, PACE delsos mastelio koeficientas yra maždaug 1000 kartų mažesnis nei TPU, o tai reiškia, kad delsos našumo padidėjimas tampa dar ryškesnis didėjant matricos dydžiui.
Tuo tarpu Ahmedas ir jo kolegos3 pademonstravo fotoninį procesorių, kuris gali vykdyti standartinius pažangiausius dirbtinio intelekto modelius, įskaitant natūralios kalbos procesorių BERT ir konvoliucinį neuroninį tinklą ResNet, daugiausia naudojamą vaizdams atpažinti, tikslumu, artimu standartinių elektroninių procesorių tikslumui. Autoriai pritaikė savo fotoninį procesorių įspūdingam realaus pasaulio dirbtinio intelekto programų spektrui, įskaitant Šekspyro stiliaus teksto generavimą, filmų recenzijų klasifikavimą kaip teigiamas arba neigiamas ir net vaizdo žaidimo „Pac-Man“ žaidimą.
Seno kompiuterinio žaidimo „Pacman“ ekrano kopija, kurioje pavaizduotas mėlynas labirintas su keliomis mėlynomis vaiduokliškomis piktogramomis ir geltonais apskritimais. Skaičiai su rezultatu viršuje pažymėti balta spalva.
1 pav. | Laimėta kokybė. „Pac-Man“ žaidimas buvo viena iš programų, kurioje Ahmedo ir jo kolegų3 fotoninis procesorius – viena iš dviejų tokių neseniai sukurtų sistemų2,3 – veikė panašiai kaip įprasti elektroniniai procesoriai. Nuotrauka: ArcadeImages/Alamy
Nepaisant šių įspūdingų proveržių, vis dar reikia įveikti kliūtis, kad būtų galima visapusiškai išnaudoti fotoninių skaičiavimų, kaip komercinės alternatyvos elektroniniams greitintuvams, potencialą. Didelė dalis fizinio optinių skaičiavimų pranašumo slypi jų didesniame pralaidume ir masinio lygiagretumo pajėgume7. Abi dabartinės demonstracijos2,3 yra apribotos taktiniu dažniu – operacijų skaičiumi, kurį procesorius gali atlikti per vieną sekundę – maždaug 1 gigaherco eilės, o optinės architektūros ir fotoniniai įrenginiai gali palaikyti didesnį nei 100 gigahercų greitį8 su minimaliu energijos išsklaidymu. Be to, abiejose demonstracijose naudojama monochromatinė šviesa viename erdviniame bangolaidžio režime. Tai palieka daug erdvės būsimiems patobulinimams, kurie galėtų lygiagrečiai naudoti daug dažnių ir erdvinių režimų. Galiausiai dar reikia išsiaiškinti, ar šios sistemos gali išlaikyti našumą, kai jos bus pritaikytos prie sudėtingų ir dinamiškų komercinių dirbtinio intelekto diegimo darbo krūvių.
Nepaisant to, yra daug priežasčių tikėtis, kad fotoninių skaičiavimų greitintuvai artimiausiu metu ras kelią į realaus pasaulio sistemas. Svarbiausia, kad abiejose šiose demonstracijose naudoti fotoniniai ir elektroniniai lustai buvo pagaminti standartinėse, viena kitą papildančiose metalo oksido puslaidininkių (CMOS) liejyklose, naudojamose mikroelektroniniams lustams gaminti, todėl šią esamą infrastruktūrą galima nedelsiant panaudoti gamybos mastui didinti. Be to, abi sistemos buvo visiškai integruotos į standartinę „pagrindinės plokštės“ sąsają, techniškai vadinamą periferinių komponentų sujungimo greitąja sąsaja, todėl jos buvo lengvai suderinamos su esamomis sąsajomis ir protokolais. Fotoniniai skaičiavimai kuriami jau dešimtmečius, tačiau šios demonstracijos gali reikšti, kad mes „pagaliau ruošiamės panaudoti šviesos galią galingesnėms ir energiją taupančioms kompiuterinėms sistemoms kurti.“” [A]
A. Nature 640, 323-325 (2025) By Anthony Rizzo
Komentarų nėra:
Rašyti komentarą