"Jie pakeitė pasaulį, rašydami programinę įrangą. Tačiau techniniai tipai taip pat žinomi dėl ilgų atmintinių kūrimo prozoje, iš kurių žinomiausi buvo lūžio taškai kompiuterijoje. Pagalvokite apie Billo Gateso 1995 m. "Interneto potvynio bangos" atmintinę, kuri perorientavo „Microsoft“ link žiniatinklio; arba Jeffo Bezoso „API mandato“ atmintinė 2002 m., kuri atvėrė „Amazon“ skaitmeninę infrastruktūrą ir atverė kelią šiuolaikinei debesų kompiuterijai. Dabar technikos specialistai nerimauja dėl dar vienos atmintinės, kuri šį kartą nutekėjo iš „Google“, pavadinta „Mes turime jokio apsaugos griovio“. Nežinomas autorius išsamiai aprašo stulbinamą dirbtinio intelekto (AI) pažangą ir meta iššūkį kai kurioms senoms prielaidoms apie jėgų pusiausvyrą šioje sparčiai besivystančioje pramonėje.
AI įsiveržė į visuomenės sąmonę, kai 2022 m. pabaigoje buvo paleistas ChatGPT – pokalbių robotas, kurį varo „didelės kalbos modelis“ (LLM), kurį sukūrė OpenAI – startuolis, glaudžiai susijęs su „Microsoft“. Jos sėkmė paskatino „Google“ ir kitas technologijų įmones išleisti savo LLM valdomus pokalbių robotus. Tokios sistemos gali generuoti tekstą ir palaikyti tikroviškus pokalbius, nes jos buvo išmokytos, naudojant trilijonus žodžių, paimtų iš interneto. Didelio LLM mokymas trunka mėnesius ir kainuoja dešimtis milijonų dolerių. Tai sukėlė susirūpinimą, kad dirbtinį intelektą dominuos kelios įmonės, turinčios didelę kišenę.
Tačiau ši prielaida klaidinga, sakoma „Google“ atmintinėje. Jame pažymima, kad atvirojo kodo bendruomenės tyrėjai, naudodami nemokamus internetinius išteklius, dabar pasiekia rezultatų, palyginamų su didžiausiais patentuotais modeliais. Pasirodo, kad LLM gali būti „tiksliai sureguliuoti“, naudojant metodą, vadinamą žemo rango adaptacija arba LoRa [1]. Tai leidžia esamą LLM optimizuoti tam tikrai užduočiai daug greičiau ir pigiau, nei mokyti LLM nuo nulio.
Atvirojo kodo dirbtinio intelekto aktyvumas smarkiai išaugo kovo mėnesį, kai internete buvo nutekintas LLaMa, „Facebook“ patronuojančios Metos sukurtas modelis. Nors jis yra mažesnis už didžiausius LLM (jos mažiausia versija turi 7 mlrd. parametrų, palyginti su 540 mlrd. „Google“ PaLM), ji buvo greitai sureguliuota, kad kai kuriose užduotyse būtų gauti rezultatai, panašūs į pradinę ChatGPT versiją. Atvirojo kodo tyrėjams remiantis vieniems kitų darbu su LLaMa, „sekė didžiulis naujovių antplūdis“, rašo atmintinės autorius.
Tai gali turėti seisminių pasekmių pramonės ateičiai. „Kliūtis patekti į mokymus ir eksperimentus sumažėjo nuo bendros didelės mokslinių tyrimų organizacijos produkcijos iki vieno žmogaus, vieno vakaro ir vieno galingo nešiojamojo kompiuterio“, – teigiama „Google“ atmintinėje. LLM dabar gali būti sureguliuotas už 100 JAV dolerių per kelias valandas. Dėl sparčiai besikeičiančio, bendradarbiavimo ir nebrangaus modelio „atvirasis kodas turi keletą reikšmingų pranašumų, kurių negalime pakartoti“. Taigi, atmintinės pavadinimas: tai gali reikšti, kad „Google“ neturi gynybinio „griovio“ prieš atvirojo kodo konkurentus. Taip pat ir OpenAI to griovio neturi.
Ne visi sutinka su šia teze. Tiesa, kad internetas veikia, naudojant atvirojo kodo programinę įrangą. Tačiau žmonės taip pat naudoja mokamą, patentuotą programinę įrangą, nuo „Adobe Photoshop“ iki „Microsoft Windows“. AI gali rasti panašią pusiausvyrą. Be to, dirbtinio intelekto sistemų lyginamoji analizė yra labai sudėtinga (lyginamoji analizė – įvertinti arba patikrinti (kažką), palyginant su standartu). Tačiau net jei atmintinė tik iš dalies teisinga, tai reiškia, kad prieiga prie AI technologijos bus daug labiau demokratizuota, nei atrodė įmanoma net prieš metus. Galingi LLM gali būti paleisti nešiojamajame kompiuteryje; visi norintys dabar gali pakoreguoti savo AI.
Tai turi ir teigiamų, ir neigiamų pasekmių. Teigiama yra tai, kad dėl to daug mažiau tikėtina, kad kelių įmonių monopolinė dirbtinio intelekto kontrolė bus realiai vykdoma. Tai leis daug pigiau naudotis dirbtiniu intelektu, paspartins naujovių diegimą visose srityse ir leis tyrėjams lengviau analizuoti AI sistemų elgseną (jų prieiga prie patentuotų modelių buvo ribota), padidins skaidrumą ir saugumą. Tačiau lengvesnė prieiga prie AI taip pat reiškia, kad blogi veikėjai galės tiksliai suderinti sistemas nešvankiais tikslais, pavyzdžiui, generuoti dezinformaciją. Tai reiškia, kad Vakarų bandymai neleisti priešiškiems režimams gauti prieigą prie galingos AI technologijos žlugs. Ir tai apsunkina AI reguliavimą, nes džinas iškrito iš butelio.
Netrukus paaiškės, ar „Google“ ir į ją panašūs iš tikrųjų prarado savo AI griovį. Tačiau, kaip ir tose ankstesnėse pastabose, tai atrodo, kaip dar vienas lūžio taškas kompiuterijoje." [2]
1. Kas yra LoRA žemo rango adaptacija?
"Didelių kalbos modelių žemo rango adaptacija (LoRA) yra mokymo metodas, kuris pagreitina didelių modelių mokymą ir sunaudoja mažiau atminties. Prie esamų svorių prideda porų rangų skaidymo svorio matricų (vadinamų atnaujinimo matricų) ir treniruoja tik tuos. naujai pridėtus svorius.“
· · · 2. "What does a leaked Google memo reveal about the future of AI?" The Economist, 13 May 2023, p. NA.
Komentarų nėra:
Rašyti komentarą