„Kompiuterių genijai Tang Jie ir Yang Zhilin prieš daugiau nei dešimtmetį buvo tik mokytojas ir mokinys, svajoję sukurti mašiną, kuri galėtų mąstyti, kaip žmogus. Šiandien jie yra du Kinijos dirbtinio intelekto magnatai, į kuriuos JAV dirbtinio intelekto pionieriai žiūri su nerimu.
Tangas, Tsinghua universiteto profesorius, buvo vienas iš „Z.AI“ įkūrėjų – vienos iš bendrovių, sparčiai žengiančių po „Anthropic“ ir „OpenAI“ pagal pajėgumus ir pasaulinį naudojimą. Yangas, kurį Tangas kadaise nominavo aukščiausiam universiteto akademiniam apdovanojimui, vadovauja kitai – „Moonshot AI“. Abiejų bendrovių vertė siekia dešimtis milijardų dolerių.
Sparčiai augantis Kinijos dirbtinio intelekto modelių skaičius sukėlė daugybę klausimų tiek Silicio slėnyje, tiek Vašingtone. Kaip Kinijos dirbtinio intelekto laboratorijos taip greitai nuėjo taip toli? Iš kur atsirado jų dirbtinio intelekto modeliai? Ar tokios įmonės kaip Tango ir Yango vagia iš JAV modelių ir ar jų produktai turėtų būti uždrausti, siekiant apsaugoti Amerikos nacionalinį saugumą?
Tango ir Yango karjeros rodo, kad Kinijos dirbtinio intelekto postūmis nėra staigus. 49 metų Tangas mašininio mokymosi srityje dirba jau apie ketvirtį amžiaus. Prieš daugiau nei dešimtmetį jis buvo vienas iš Kinijos dirbtinio intelekto ekspertų, jau pirmaujančių naudojant kompiuterius tokioms žmogiškoms užduotims kaip kalbos supratimas ir veidų atpažinimas.
Tangas, Yangas ir jų kolegos tyrėjai, daugelis kurių pradėjo dirbti Tsinghua ir keliose kitose institucijose, Kinijos technologijų centruose sudaro virtualų Silicio slėnį. Žinios tarp jų lengvai perduodamos dėl tyrimų publikavimo kultūros ir Kinijos kūrėjų pirmenybės atvirojo kodo technologijoms, kurias daugiausia galima nemokamai atsisiųsti ir modifikuoti.
Norėdamos pasivyti generatyvinio dirbtinio intelekto erą, Kinijos įmonės rėmėsi pažįstamu išradingumo ir imitacijos deriniu, kuris taip pat slypi už šalies sėkmės elektronikos, automobilių ir žaliosios energijos srityse. Kinijos dirbtinio intelekto kūrėjai parsivežė namo JAV apmokytus kompiuterių mokslininkus ir atidžiai sekė pažangą JAV.
Dar prieštaringiau vertinama tai, kad kai kurie, atrodo, „distiliavo“ JAV modelius. kad greičiau apmokytų savąsias, taikydami procesą, kurio metu nauja sistema mokosi iš esamos, užduodama jai šimtus tūkstančių klausimų ir analizuodama atsakymus.
„Anthropic“ apkaltino Kinijos bendroves, įskaitant „Z.AI“ ir „Moonshot“, pažeidus jos politiką, vykdant didelio masto distiliavimą. Nei viena bendrovė šio klausimo nekomentavo. Kinijos modelių kūrėjų darbuotojai pripažįsta, kad distiliavimas yra plačiai paplitęs visame pasaulyje ir kad kai kurios Kinijos bendrovės gali jį naudoti agresyviau nei Amerikos kolegos.
Elonas Muskas birželį prognozavo, kad Kinija neprilygs „Anthropic“ aukščiausios klasės „Fable“ modeliui iki 2027 m. pirmojo ketvirčio. Tangas atkirto X: „Tai neužtruks ilgai“.
Abiejų šalių pramonės lyderiai teigė, kad geriausio Kinijos dirbtinio intelekto modelio galimybės vos keliais mėnesiais atsilieka nuo geriausių JAV.
Šį mėnesį „Z.AI“ išleido naujausią GLM-5.3 modelį, teigdama, kad jis prilygo „Anthropic“ „Mythos 5“ kibernetinio saugumo galimybėmis.
Kinijos vyriausybė jau seniai laikė dirbtinį intelektą ir kompiuterių mokslą svarbiais ekonomikos augimo varikliais. ir nacionalinį saugumą. Jos pasivyjimo formulė apima ir valstybės paramą, ir privačiojo sektoriaus konkurenciją. Valstybė skyrė lėšų moksliniams tyrimams tokiuose universitetuose kaip „Tsinghua“ ir finansavo startuolius, o centrinė ir vietos valdžios institucijos buvo pirmosios startuolių paslaugų klientės.
Po to, kai šį pavasarį „Anthropic“ pristatė savo „Mythos“ modelį, kuris gali aptikti kibernetinio saugumo spragas, kai kurie Kinijos pareigūnai jį palygino su dirbtinio intelekto eros branduoliniu ginklu. Žinodamas, kad Vašingtonas gali užkirsti kelią užsieniečiams įsigyti geriausių JAV modelių, Pekinas remia šalies dirbtinio intelekto kūrėjus per nacionalinį fondą ir sušvelnina taisykles, kad padėtų startuoliams kotiruoti akcijas viešosiose rinkose.
Beveik pusė visų Kinijos nuosavo kapitalo investicijų pirmąjį šių metų pusmetį buvo skirta dirbtiniam intelektui, didžioji dalis – iš vyriausybės remiamų fondų, teigia Centrinių valstybinių įmonių investicijų asociacija.
2000-ųjų pradžioje Kinijos interneto pramonė įsibėgėjo ir pradėjo generuoti duomenų srautus, milijonams vartotojų pradėjus apsipirkti, ieškoti ir bendrauti internetu. Įmonės pradėjo investuoti į mašininį mokymąsi, kad elektroninė prekyba būtų efektyvesnė ir analizuotų vartotojų elgesį internete.
Vyriausybė, žvelgdama į ieškodami būdų, kaip stebėti gyventojus ir aptikti grėsmes, ieškojo kompiuterinių programų, kurios galėtų atpažinti veidus ir balsus. Kinijos universitetai rengė studentus, besispecializuojančius kompiuterinėje regoje – kompiuterių mokslo šakoje, kuri bando išmokyti mašinas matyti taip, kaip mato žmonės.
Tas laikotarpis išugdė „keturis mažuosius dirbtinio intelekto drakonus“ – kompiuterinio matymo startuolius, įskaitant „SenseTime“, kurie apmokė daugelį šiandien dirbtinio intelekto srityje dirbančių inžinierių.
Pinigai ir talentai pradėjo plūsti į Tsinghua, šalies pavyzdinį mokslo ir technologijų universitetą 2005 m. Buvęs Prinstono universiteto profesorius Andrew Yao, apdovanotas kompiuterių mokslo pradininko Alano Turingo vardu, Tsinghua universitete įkūrė elitinę „Yao klasę“, skirtą ugdyti aukščiausio lygio talentus.
Tangas, Tsinghua universiteto profesorius ir Z.AI bendraįkūrėjas, universitete dirba nuo doktorantūros metų. Jis studijavo duomenų gavybą – discipliną, kuria siekiama išgauti paslėptus modelius iš didelių duomenų rinkinių ir kuri vėliau tapo DI pagrindu.
„Profesoriaus Tango komanda yra pagarsėjusi savo intensyviu darbu“, – sakė Kevinas Zhongas, kuris trumpai dirbo su Tangu jo magistro studijų Tsinghua universitete metu ir dabar dirba Londone. Profesorius visada ragino savo komandą išbandyti potencialias mašininio mokymosi technikas atliekant eksperimentus, prisiminė Zhongas, o tyrėjai kartais likdavo laboratorijoje iki 3 val. nakties, kad užbaigtų savo bandymus.
„Jie turi tikrą talentą nuolat publikuoti savo straipsnius aukščiausios klasės žurnaluose ir puikiai žino, kaip užsidirbti pinigų iš savo darbo“, – sakė Zhongas.
Iki 2010-ųjų Tango laboratorija jau pelnė nacionalinę reputaciją tarp pradedančiųjų technologijų specialistų, o jo buvę mokiniai pradėjo dirbti geriausiose Silicio slėnio įmonėse. Yangas, būsimasis „Moonshot“ įkūrėjas, intensyvius programavimo mokymus pradėjo būdamas 17 metų, dalyvaudamas Kinijos nacionalinėje informatikos olimpiadoje. Tsinghua universitete jis kartu su Tangu kūrė mašininio mokymosi algoritmus.
2018 m. Pekinas atvėrė kelią valstybinių institutų ir universitetų tyrėjams steigti įmones ir pardavinėti savo technologijas. Kitais metais Tangas iš savo Tsinghua laboratorijos įkūrė įmonę, dabar vadinamą Z.AI, iš dalies ją finansuodamas iš savo valdomos duomenų analizės platformos, kuri turėjo tokius klientus kaip „Google“ ir IBM.
Gerokai prieš tai, kai JAV ir Kinijos dirbtinio intelekto kova tapo antrašte, Tangas laikė save konkurentu su „OpenAI“ atstovu Samu Altmanu. Kai 2020 m. „OpenAI“ išleido savo novatorišką GPT-3 modelį, Z.AI siekė sukurti kažką tokio pat gero.
Po studijų pas Tangą Yangas įgijo daktaro laipsnį Carnegie Mellon universitete Pitsburge. Jis grįžo į Kiniją padėti savo buvusiam profesoriui atlikti tyrimus ir nusprendė įkurti savo įmonę.
Uolus roko būgnininkas Yangas savo startuolį kiniškai pavadino „Dark Side of the Moon“, pagal „Pink Floyd“ albumo melodiją. Angliškam pavadinimui jis pasirinko „Moonshot“.
Šanchajuje dar du buvę Tsinghua tyrėjai, įskaitant vieną iš prestižinės „Yao klasės“, taip pat įkūrė savo įmones, skirtas dirbtinio intelekto modeliams kurti.
Paskutinis dalyvis buvo „DeepSeek“. Jos įkūrėjas Liangas Wenfengas prieš du dešimtmečius pradėjo savo veiklą kompiuterinio matymo srityje ir vėliau įkūrė rizikos draudimo fondą, pagrįstą dirbtinio intelekto naudojimu finansų rinkoms analizuoti. 2023 m. jis kalbėjosi su Tangu, kuris vėliau savo darbuotojams pasakė, kad jį sužavėjo Liango „kitokie mąstymo būdai“. Tais metais Liangas iš savo rizikos draudimo fondo atskyrė „DeepSeek“, paskelbdamas tą patį tikslą kaip ir Tango: žmogišką intelektą.
Startuolio įkūrėjai žinojo Kinijos trūkumus, palyginti su JAV: finansavimo trūkumą ir prieigos prie pažangiausių dirbtinio intelekto lustų trūkumą dėl Vašingtono eksporto kontrolės.
Iki 2025 m. vidurio „Tang“ pritraukė apie 1,25 mlrd. JAV dolerių iš investuotojų, įskaitant Kinijos technologijų gigantus ir Honkonge įsikūrusį rizikos kapitalistą Neilą Sheną. Valstybės remiami fondai taip pat išrašė čekius.
Investicinis bankas „Jefferies“ vėliau apskaičiavo, kad Kinijos technologijų įmonės per šiuos metus investavo mažiau nei penktadalį to, ką investavo jų kolegos JAV. Jos turėjo padaryti daugiau su mažiau.
Liango komanda „DeepSeek“ sugalvojo keletą svarbiausių sprendimų, įskaitant daugiagalvį latentinį dėmesį arba MLA [1]. Ši technika sumažina dirbtinio intelekto modelio atminties naudojimą – pavyzdžiui, pokalbių roboto pokalbyje – sukurdama sutrumpintą ankstesnių veiksmų versiją. Naudojant mažiau atminties, taupoma skaičiavimo galia ir pinigai.
„DeepSeek“ buvo viena iš pirmųjų Kinijoje, pritaikiusių modelio dizainą, vadinamą „ekspertų mišiniu“ (MoE), kai pradinis maršruto parinkimo mechanizmas nukreipia problemą į specializuotą ekspertų modelį. „DeepSeek“ parodė Kinijos pramonei perspektyvų kelią padidinti modelio našumą, kartu sumažinant lustų reikalavimus.
Šie metodai buvo „DeepSeek“ šoko“ priežastis 2025 m. sausio mėn., kai Liango įmonė išleido galingą, bet nebrangų naują atvirojo kodo modelį, o JAV akcijos trumpam nualpo dėl netikėto Kinijos konkurencijos augimo.
Liango Kinijos konkurentai taip pat buvo sukrėsti. „Moonshot“ įmonėje Yangas atsakė į susirūpinusių investuotojų skambučius, įskaitant vieną, kuris norėjo sužinoti, kodėl Yangas nenumatė „DeepSeek“ iškilimo, teigė su šiuo klausimu susipažinę asmenys.
Yangas į vėlesnius „Moonshot“ modelius įtraukė „DeepSeek“ išrastas arba patikrintas technikas. Savo ruožtu „DeepSeek“ naudojo „Moonshot“ optimizuotą techniką, kad padidintų mokymo efektyvumą ir stabilumą.
Be JAV dirbtinio intelekto modelių kūrimo, kai kurios Kinijos įmonės pasinaudojo Amerikos patirtimi, samdydamos Kinijos piliečius, kurie dirbo JAV dirbtinio intelekto lyderiams. Kinijos interneto milžinė „Tencent“ pasamdė du „Tsinghua“ absolventus, kurie dirbo „OpenAI“. „TikTok“ patronuojanti įmonė „ByteDance“ parsivežė namo „Google“ tyrėją ir per metus sukūrė galingą vaizdo įrašų generavimo įrankį, kurį dabar plačiai naudoja Holivudo turinio kūrėjai.
Sausio mėnesį Tango „Z.AI“ – tuomet žinomos kaip „Knowledge Atlas Technology“ arba „Zhipu“ – vadovai Honkongo vertybinių popierių biržoje sumušė gongą, ir tai tapo pirmuoju Kinijos dirbtinio intelekto modelio startuoliu, tapusiu viešai prieinamu. Iki liepos mėnesio „Z.AI“ metinės pasikartojančios pajamos – pagrindinis prenumeratos pagrindu teikiamų paslaugų rodiklis – išaugo iki 1 milijardo dolerių, teigia su jos veikla susipažinę asmenys, maždaug dvigubai daugiau nei „DeepSeek“.
Tai vis dar gerokai atsilieka nuo Amerikos titanų.
Gegužės mėnesį vykusiame „DeepSeek“ susitikime Liang teigė, kad didžiausią atotrūkį tarp Kinijos ir Amerikos įmonių lemia kompiuterių lustai, o ne žmonės. Geriausių laboratorijų, įskaitant „Alibaba“ ir „Z.AI“, tyrėjai teigė, kad jiems dažnai skiriama penktadalis aukščiausios klasės lustų, kuriuos gali įsigyti „OpenAI“ ir „Google“ kolegos.
Nors Kinijos bendrovės siekia „iki galo ekonomiškumo“, – teigė Majamyje įsikūrusios „Gavekal Technologies“ analitikė Laila Khawaja, – „JAV bendrovės, turinčios pažangesnius lustus ir norinčios investuoti kapitalą, daug daugiau išleidžia tiriamiesiems tyrimams, kurie gali lemti esmines inovacijas.“
Tangas apmoko kitą Z.AI pavyzdinį modelį, kuris, jo komandos manymu, galės atlikti sudėtingas tyrimų užduotis, trunkančias kelias savaites, teigė su planais susipažinę šaltiniai. „Kas pirmas pakels technologines ribas bent coliu aukščiau, iš naujo apibrėš, kas įmanoma kiekvienoje pramonės šakoje“, – liepos mėnesį darbuotojams skirtame memorandume rašė Tangas." [2]
1. Kelių galvų latentinis dėmesys (MLA) yra optimizuotas transformatoriaus dėmesio mechanizmas, sukurtas „DeepSeek-V2“ architektūroje, kuris drastiškai sumažina rakto-reikšmės (KV) talpyklos atminties kiekį [3] išvadų darymo metu, suglaudindamas didelio matmens rakto ir reikšmės būsenas į žemo rango, bendrą latentinio vektoriaus erdvę prieš jas kaupdamas talpykloje.
Kaip veikia MLA
• Žemo rango glaudinimas: Užuot saugoję pilnus, nepriklausomus rakto ir reikšmės tenzorius kiekvienai galvelei, MLA projektuoja įvesties paslėptą būseną į mažesnį latentinį vaizdą.
• Talpyklos mažinimas: Modelis autoregresinio generavimo metu KV talpykloje saugo tik šį siaurą, suspaustą vektorių [4].
• Rekonstrukcija pagal poreikį: Skaičiuojant dėmesį, atskiros galvos išskleidžia bendrą latentinį vektorių atgal į konkrečias, funkcines rakto ir reikšmės būsenas.
Pagrindiniai privalumai
• Didelis atminties taupymas: Sumažina KV talpyklos atminties apkrovą daugiau nei 90 % (iki 93 % tam tikrose konfigūracijose), todėl galima naudoti daug ilgesnius kontekstinius langus ir didesnius paketų dydžius.
• Išsaugota galvų įvairovė: Skirtingai nuo Daugiafunkcinis užklausų dėmesys (MQA) arba grupinis užklausų dėmesys (GQA), kurie pablogina reprezentacijos kokybę, priversdami kelias užklausų galvutes ieškoti identiškų fizinių raktų / reikšmių, MLA išlaiko unikalų kiekvienos galvutės elgesį naudodamas skirtingus dekompresijos svorius.
• Didelis našumas: atitinka arba šiek tiek viršija standartinio daugiafunkcinio dėmesio (MHA) modeliavimo našumą, nepaisant to, kad naudoja daug mažiau atminties.
2. Smegenys, kurios lėmė netikėtą Kinijos dirbtinio intelekto šuolį --- Universiteto laboratorija ugdė kompiuterių mokslininkus, kurie, naudodami išradingumą ir imitaciją, persekioja antropologinį ir atvirąjį dirbtinį intelektą. Huang, Raffaele. „Wall Street Journal“, rytinis leidimas; Niujorkas, Niujorkas. 2026 m. rugpjūčio 22 d.: A1.
3. Rakto ir reikšmės (KV) talpykla yra atminties optimizavimo technika, naudojama teksto generavimo metu transformatorių pagrindu sukurtuose dideliuose kalbos modeliuose (LLM). Joje saugomi tarpiniai rakto (K) ir reikšmės (V) vektoriai, apskaičiuoti ankstesniems žetonams. Pakartotinis šių reikšmių naudojimas neleidžia modeliui kartoti identiškų skaičiavimų kiekvienam naujam žodžiui, todėl išvados darymo metu pasiekiamas didžiulis greitis.
Kodėl Reikalinga KV talpykla
• Autoregresyvus generavimas: LLMs generuoja tekstą po vieną žetoną. Kiekvienas naujas žodis priklauso nuo visų prieš jį buvusių žodžių.
• Perteklinio apdorojimo vengimas: Be talpyklos modelis kiekviename žingsnyje iš naujo apdoroja visą raginimą ir ankstesnius rezultatus, kad iš naujo apskaičiuotų K ir V matricas.
• Efektyvumas: Talpinimas sumažina kiekvieno naujo žetono generavimo laiko sudėtingumą nuo kvadratinės O(n²) iki tiesinės O(n). Išsamesnės įgyvendinimo detalės gali būti nagrinėjamos tokiuose šaltiniuose kaip „Hugging Face Cache Strategies“.
Kaip tai veikia
A. Išankstinio užpildymo etapas: Modelis apdoroja pradinę įvesties užklausą vienu metu. Jis apskaičiuoja visų įvesties žetonų užklausas (Q), raktus (K) ir reikšmes (V), išsaugodamas K ir V vektorius talpykloje.
B. Dekodavimo etapas: Generuodamas naują žetoną, modelis apskaičiuoja tik to vieno naujo žetono Q, K ir V.
C. Atnaujinimas: Jis prideda naujus K ir V vektorius prie esamos talpyklos ir naudoja naujus Užklausa, skirta apskaičiuoti dėmesį pagal visus anksčiau išsaugotus raktus.
Kompromisas: atmintis ir greitis
• Gerai: smarkiai sumažina delsą ir padidina generavimo greitį, todėl pokalbiai realiuoju laiku su DI yra praktiški.
• Blogai: KV talpyklos atminties užimama vieta auga tiesiškai, ilgėjant pokalbiams ar konteksto ilgiui. Dideliems modeliams arba dideliems konteksto langams (pvz., 128 tūkst. ir daugiau žetonų) talpykla gali sunaudoti dešimtis gigabaitų VRAM, dažnai viršydama GPU talpą ir reikalaudama atminties taupymo architektūrų, tokių kaip „Grouped-Query Attention“ arba „PagedAttention“.
4. Autoregresyvus generavimas – tai metodas, kai modelis kuria duomenis po vieną dalį. Kiekviena nauja dalis priklauso nuo visų ankstesnių dalių. Šiuo žingsnis po žingsnio procesu šiuolaikinės dirbtinio intelekto priemonės, tokios kaip teksto ir medijos generatoriai, kuria nuoseklius rezultatus.
• Žingsnis po žingsnio numatymas: sistema peržiūri esamus duomenis ir atspėja vieną kitą elementą, vadinamą žetonu arba žodžiu.
• Grįžtamojo ryšio ciklas: naujai atspėtas elementas pridedamas prie įvesties sąrašo.
• Kartojimo ciklas: sistema naudoja šį ilgesnį sąrašą kitam elementui atspėti, kartodama ciklą, kol seka baigiama.
• Tikimybės grandinės taisyklė: matematiškai ji suskaido viso sakinio ar modelio įvykimo tikimybę į mažesnius, sąlyginius žingsnius.
Kur ji naudojama
• Kalbos modeliai: tokios priemonės kaip GPT naudoja tai sakiniams, pastraipoms ir kodui pažodžiui rašyti.
• Laiko eilutės: finansinės ir orų prognozavimo priemonės naudoja praeities skaičius, kad numatytų kitą reikšmę laiko juostoje.
• Garsas ir vaizdai: tam tikri generavimo modeliai nuosekliai kuria garso bangas arba pikselius.
Privalumai ir trūkumai
• Privalumai: Pateikia sklandžius, logiškus ir gramatiškai taisyklingus rezultatus, nes kontekstas kaupiasi pats savaime.
• Trūkumai: Veikia lėčiau, nes elementus reikia generuoti griežtai eilės tvarka, o ne visus iš karto. Klaidos taip pat gali padidėti, jei ankstyva klaida pakeičia vėlesnių veiksmų kontekstą.
Komentarų nėra:
Rašyti komentarą