Sekėjai

Ieškoti šiame dienoraštyje

2024 m. liepos 27 d., šeštadienis

Laisvai prieinamas didelis kalbos modelis

  "Kalbant apie alter ego, Augustas Cezaris nėra blogas Markui Zuckerbergui, Meta pontifex maximus, "Facebook" programų šeimos savininkui. Abu vyrai pradėjo jų žygį į valdžią, būdami paaugliai. Abu nesustojo, eidami pirmyn, kad sukurtų imperijas, nors, kitaip nei veržlusis ponas Zuckerbergas, Augusto šūkis buvo „skubėk pamažu“ (Augustas su Senatu, ponas Zuckerbergas su akcininkais), taigi, Romos imperatorius yra p. Zuckerbergo pavyzdys. Podcast'e jis panaudojo 200 metų stabilumo erą, kurią įvedė Augustas, norėdamas parodyti, kodėl jis daro Meta generatyvinius dirbtinio intelekto (AI) modelius prieinamus tokiu būdu, kurį, turėdamas tam tikrą poetinę licenciją, jis vadina atviruoju šaltiniu.

 

 Liepos 23 d. Zuckerbergas paskelbė manifestą, kuriame išsamiau išdėstė atvirojo kodo AI verslo pagrindą.

 

 Tai sutapo su Meta of Llama 3.1 – laisvai prieinamo didelės kalbos modelio (LLM) – išleidimu, kurio galingiausia versija, kaip teigiama, konkuruoja su geriausiu „ChatGPT“ kūrėjo OpenAI pasiūlymu.

 

 M. Zuckerbergas teigė, kad „Meta“ ketino išsivaduoti nuo sargų, kurie ją anksčiau varžo, pavyzdžiui, „Apple“ ir jos „iPhone“. Tai skamba protingai. Vis dėlto niekas neprarado, kad Meta yra vienintelė Lamos vartų sargas.

 

 Naujasis Metos modelis tikrai patraukia dėmesį. Didžiausia versija turi 405 milijardus parametrų (bendras LLM galios apibrėžimas), beveik šešis kartus daugiau, nei jos pirmtakė. P. Zuckerbergas tvirtino, kad kitais metais įmonės modeliai viešpataus ir mesti pirštinę tokiems konkurentams, kaip OpenAI, kurie laikosi uždaro požiūrio. Didėjant atviriems ir uždariems modeliams, diskusijos dėl to, kuris yra geresnis, tampa beveik teologiniu intensyvumu. Viena vertus, atvirojo kodo puristai pasisako už decentralizuotą „mažą technologiją“. Kita vertus, uždarojo kodo realistai teigia, kad didesnis centralizavimas ir kontrolė yra geresni saugai ir nacionaliniam saugumui.

 

 Zuckerbergo manifestas dar labiau pakursto šias diskusijas. Nors išlieka klausimų apie tai, kiek atviri yra Metos modeliai ir koks jo atsidavimas tokiam požiūriui, jis pateikia gerą argumentą.

 

 Kaip jis pažymi, atvirojo kodo programinė įranga turi puikų kilmę. Dešimtajame dešimtmetyje „Linux“, neaiški operacinė sistema, sukurta universiteto studento, galiausiai tapo serverių pramonės standartu, iš dalies dėl IBM, savo dienų technologijų milžino, paramos. „Linux“ metodo grožis buvo tas, kad ji suteikė visišką prieigą prie šaltinio kodo, leidžiantį kūrėjams ją modifikuoti ir tobulinti.

 

 Tai subtiliai skiriasi nuo Meta požiūrio į AI.

 

 Percy Liangas, debesų kompiuterijos startuolio „Together AI“, kuris naudos „Llama 3.1“, įkūrėjas, technologijų milžinės modelius vadina „atvirais svoriais“, o ne atviruoju šaltiniu. „Meta“ pateikia jos modeliuose naudojamas skaitines reikšmes, žinomas kaip svoriai, tačiau neatskleidžia duomenų, pagal kuriuos modeliai mokomi, o tai yra šaltinio kodo atitikmuo. Tai gali sumažinti kūrėjų galimybes pritaikyti tuos modelius. Vis dėlto tai geriau, nei nieko.

 

 Tai taip pat kelia klausimą, ar „Meta“ gali pakeisti savo požiūrį, todėl kūrėjai, kurie remiasi jos modeliais, bus pakabinti aukštai ir sausi. Meta nėra labdara, o LLM kūrimas gali būti brangus. Investuotojai, priešiškai reaguodami į M. Zuckerbergo metaversines ambicijas, parodė, kad, nepaisant to, kad jis valdo bendrovės balsavimo teisę turinčias akcijas, jis neturi tuščio čekio, kad galėtų pasilepinti tuo, kas jam patinka. Jei Meta negaus komercinės naudos, kurios tikisi, ji gali būti priversta persvarstyti jos požiūrį.

 

 Tuo tarpu atvirumas kelia du didelius saugumo klausimus. Pirmasis yra žalos prevencija. Nors „Meta“ ištyrė „Llama 3.1“ pavojų, kuo didesni modeliai, tuo didesnė rizika, kad jie gali sukčiauti arba būti netinkamai naudojami. Išleidžiami tokie modeliai neturi žudymo jungiklio. Tai savo ruožtu kelia atsakomybės klausimą. Kas prisiima atsakomybę, jei šie modeliai pateks į blogų aktorių rankas? Reguliavimo institucijos grumiasi su tokiais klausimais; apribojimas gali turėti įtakos ilgalaikiam atvirojo kodo AI gyvybingumui.

 

 M. Zuckerbergo atsikirtimas prasideda nuo savanaudiškumo. Jis teigia, kad „Meta“ turi naudos iš sąveikos su atvirojo kodo bendruomene, kuri pasiūlys būdus, kaip pagerinti jos modelius. Geresni modeliai savo ruožtu turėtų padėti įmonei pagerinti AI produktų, kuriuos ji siūlo „Facebook“, „Instagram“ ir „WhatsApp“ vartotojams, našumą, didinant įsitraukimą ir pelną. „Meta“ verslas remiasi reklama, o ne prenumerata, todėl jai nekyla kanibalizmo pavojaus.

 

 Be to, nors jis to nesako, didelių kalbų modelių pateikimas nemokamai padeda paversti pramonę prekine, o tai sumažina konkuruojančių technologijų milžinų perspektyvas. Kaip ir IBM, kuri palaikė „Linux“ prieš „Microsoft Windows“, „Meta“ milijardai dolerių ir įtaka atvirojo kodo dirbtiniam intelektui suteikia užpakalinį vėją. Didelės įmonės, tokios, kaip Nvidia, generatyvinių AI lustų kūrėja ir susijusių pasiūlymų tiekėja, bei debesų paslaugų teikėja Amazon Web Services į savo produktus įtraukia Llama 3.1.

 

 M. Zuckerbergas taip pat tvirtina, kad saugiau valdžią sutelkti daugelio, o ne kelių rankose. Kalbant apie nacionalinį saugumą, modelių uždarymas, kad Kinija nepatektų į juos, būtų neproduktyvus, rašo jis. Tai pakenktų Amerikos naujovėms, o Kinija vis tiek gali pavogti paslaptis.

 

 Veiksmo vyras

 

 Pono Zuckerbergo ilgalaikis statymas yra tas, kad atvirumas bus naudingas pasauliui ir Metai. Jis palygino jį su Augusto Pax Romana. Po, ilgus metus trukusio, pilietinio karo po Julijaus Cezario mirties 44 m. pr. Kr. retas Senovės Romoje galėjo suvokti ilgalaikio taikos ir klestėjimo laikotarpio idėją. Be to, jis mano, kad šiuo metu nedaugelis investuotojų gali įsivaizduoti ilgalaikį potencialą, dėl kurio „Meta“ atiduos jos karūnos brangenybes. Kaip ir jo herojus, jis turi kovoti, kol nebus užtikrinta jo padėtis. Bet jis yra karo kelyje.“ [1]

1.  Augustus on the open-source warpath. The Economist; London Vol. 452, Iss. 9407,  (Jul 27, 2024): 58.

Komentarų nėra: