„Kompiuterių genijai Tang Jie ir Yang Zhilin prieš daugiau
nei dešimtmetį buvo tik mokytojas ir mokinys, svajoję sukurti mašiną, kuri
galėtų mąstyti, kaip žmogus. Šiandien jie yra du Kinijos dirbtinio intelekto
magnatai, į kuriuos JAV dirbtinio intelekto pionieriai žiūri su nerimu.
Tangas, Tsinghua universiteto profesorius, buvo vienas iš
„Z.AI“ įkūrėjų – vienos iš bendrovių, sparčiai žengiančių po „Anthropic“ ir
„OpenAI“ pagal pajėgumus ir pasaulinį naudojimą. Yangas, kurį Tangas kadaise
nominavo aukščiausiam universiteto akademiniam apdovanojimui, vadovauja kitai –
„Moonshot AI“. Abiejų bendrovių vertė siekia dešimtis milijardų dolerių.
Sparčiai augantis Kinijos dirbtinio intelekto modelių
skaičius sukėlė daugybę klausimų tiek Silicio slėnyje, tiek Vašingtone. Kaip
Kinijos dirbtinio intelekto laboratorijos taip greitai nuėjo taip toli? Iš kur
atsirado jų dirbtinio intelekto modeliai? Ar tokios įmonės kaip Tango ir Yango
vagia iš JAV modelių ir ar jų produktai turėtų būti uždrausti, siekiant
apsaugoti Amerikos nacionalinį saugumą?
Tango ir Yango karjeros rodo, kad Kinijos dirbtinio
intelekto postūmis nėra staigus. 49 metų Tangas mašininio mokymosi srityje
dirba jau apie ketvirtį amžiaus. Prieš daugiau nei dešimtmetį jis buvo vienas
iš Kinijos dirbtinio intelekto ekspertų, jau pirmaujančių naudojant
kompiuterius tokioms žmogiškoms užduotims kaip kalbos supratimas ir veidų
atpažinimas.
Tangas, Yangas ir jų kolegos tyrėjai, daugelis kurių pradėjo
dirbti Tsinghua ir keliose kitose institucijose, Kinijos technologijų centruose
sudaro virtualų Silicio slėnį. Žinios tarp jų lengvai perduodamos dėl tyrimų
publikavimo kultūros ir Kinijos kūrėjų pirmenybės atvirojo kodo technologijoms,
kurias daugiausia galima nemokamai atsisiųsti ir modifikuoti.
Norėdamos pasivyti generatyvinio dirbtinio intelekto erą,
Kinijos įmonės rėmėsi pažįstamu išradingumo ir imitacijos deriniu, kuris taip
pat slypi už šalies sėkmės elektronikos, automobilių ir žaliosios energijos
srityse. Kinijos dirbtinio intelekto kūrėjai parsivežė namo JAV apmokytus
kompiuterių mokslininkus ir atidžiai sekė pažangą JAV.
Dar prieštaringiau vertinama tai, kad kai kurie, atrodo,
„distiliavo“ JAV modelius. kad greičiau apmokytų savąsias, taikydami procesą,
kurio metu nauja sistema mokosi iš esamos, užduodama jai šimtus tūkstančių
klausimų ir analizuodama atsakymus.
„Anthropic“ apkaltino Kinijos bendroves, įskaitant „Z.AI“ ir
„Moonshot“, pažeidus jos politiką, vykdant didelio masto distiliavimą. Nei
viena bendrovė šio klausimo nekomentavo. Kinijos modelių kūrėjų darbuotojai
pripažįsta, kad distiliavimas yra plačiai paplitęs visame pasaulyje ir kad kai
kurios Kinijos bendrovės gali jį naudoti agresyviau nei Amerikos kolegos.
Elonas Muskas birželį prognozavo, kad Kinija neprilygs
„Anthropic“ aukščiausios klasės „Fable“ modeliui iki 2027 m. pirmojo ketvirčio.
Tangas atkirto X: „Tai neužtruks ilgai“.
Abiejų šalių pramonės lyderiai teigė, kad geriausio Kinijos
dirbtinio intelekto modelio galimybės vos keliais mėnesiais atsilieka nuo
geriausių JAV.
Šį mėnesį „Z.AI“ išleido naujausią GLM-5.3 modelį, teigdama,
kad jis prilygo „Anthropic“ „Mythos 5“ kibernetinio saugumo galimybėmis.
Kinijos vyriausybė jau seniai laikė dirbtinį intelektą ir
kompiuterių mokslą svarbiais ekonomikos augimo varikliais. ir nacionalinį
saugumą. Jos pasivyjimo formulė apima ir valstybės paramą, ir privačiojo
sektoriaus konkurenciją. Valstybė skyrė lėšų moksliniams tyrimams tokiuose
universitetuose kaip „Tsinghua“ ir finansavo startuolius, o centrinė ir vietos
valdžios institucijos buvo pirmosios startuolių paslaugų klientės.
Po to, kai šį pavasarį „Anthropic“ pristatė savo „Mythos“
modelį, kuris gali aptikti kibernetinio saugumo spragas, kai kurie Kinijos
pareigūnai jį palygino su dirbtinio intelekto eros branduoliniu ginklu.
Žinodamas, kad Vašingtonas gali užkirsti kelią užsieniečiams įsigyti geriausių
JAV modelių, Pekinas remia šalies dirbtinio intelekto kūrėjus per nacionalinį
fondą ir sušvelnina taisykles, kad padėtų startuoliams kotiruoti akcijas
viešosiose rinkose.
Beveik pusė visų Kinijos nuosavo kapitalo investicijų
pirmąjį šių metų pusmetį buvo skirta dirbtiniam intelektui, didžioji dalis – iš
vyriausybės remiamų fondų, teigia Centrinių valstybinių įmonių investicijų
asociacija.
2000-ųjų pradžioje Kinijos interneto pramonė įsibėgėjo ir
pradėjo generuoti duomenų srautus, milijonams vartotojų pradėjus apsipirkti,
ieškoti ir bendrauti internetu. Įmonės pradėjo investuoti į mašininį mokymąsi,
kad elektroninė prekyba būtų efektyvesnė ir analizuotų vartotojų elgesį
internete.
Vyriausybė, žvelgdama į ieškodami būdų, kaip stebėti
gyventojus ir aptikti grėsmes, ieškojo kompiuterinių programų, kurios galėtų
atpažinti veidus ir balsus. Kinijos universitetai rengė studentus,
besispecializuojančius kompiuterinėje regoje – kompiuterių mokslo šakoje, kuri
bando išmokyti mašinas matyti taip, kaip mato žmonės.
Tas laikotarpis išugdė „keturis mažuosius dirbtinio
intelekto drakonus“ – kompiuterinio matymo startuolius, įskaitant „SenseTime“,
kurie apmokė daugelį šiandien dirbtinio intelekto srityje dirbančių inžinierių.
Pinigai ir talentai pradėjo plūsti į Tsinghua, šalies
pavyzdinį mokslo ir technologijų universitetą 2005 m. Buvęs Prinstono
universiteto profesorius Andrew Yao, apdovanotas kompiuterių mokslo pradininko
Alano Turingo vardu, Tsinghua universitete įkūrė elitinę „Yao klasę“, skirtą
ugdyti aukščiausio lygio talentus.
Tangas, Tsinghua universiteto profesorius ir Z.AI
bendraįkūrėjas, universitete dirba nuo doktorantūros metų. Jis studijavo
duomenų gavybą – discipliną, kuria siekiama išgauti paslėptus modelius iš
didelių duomenų rinkinių ir kuri vėliau tapo DI pagrindu.
„Profesoriaus Tango komanda yra pagarsėjusi savo intensyviu
darbu“, – sakė Kevinas Zhongas, kuris trumpai dirbo su Tangu jo magistro
studijų Tsinghua universitete metu ir dabar dirba Londone. Profesorius visada
ragino savo komandą išbandyti potencialias mašininio mokymosi technikas
atliekant eksperimentus, prisiminė Zhongas, o tyrėjai kartais likdavo
laboratorijoje iki 3 val. nakties, kad užbaigtų savo bandymus.
„Jie turi tikrą talentą nuolat publikuoti savo straipsnius
aukščiausios klasės žurnaluose ir puikiai žino, kaip užsidirbti pinigų iš savo
darbo“, – sakė Zhongas.
Iki 2010-ųjų Tango laboratorija jau pelnė nacionalinę
reputaciją tarp pradedančiųjų technologijų specialistų, o jo buvę mokiniai
pradėjo dirbti geriausiose Silicio slėnio įmonėse. Yangas, būsimasis „Moonshot“
įkūrėjas, intensyvius programavimo mokymus pradėjo būdamas 17 metų,
dalyvaudamas Kinijos nacionalinėje informatikos olimpiadoje. Tsinghua
universitete jis kartu su Tangu kūrė mašininio mokymosi algoritmus.
2018 m. Pekinas atvėrė kelią valstybinių institutų ir
universitetų tyrėjams steigti įmones ir pardavinėti savo technologijas. Kitais
metais Tangas iš savo Tsinghua laboratorijos įkūrė įmonę, dabar vadinamą Z.AI,
iš dalies ją finansuodamas iš savo valdomos duomenų analizės platformos, kuri
turėjo tokius klientus kaip „Google“ ir IBM.
Gerokai prieš tai, kai JAV ir Kinijos dirbtinio intelekto
kova tapo antrašte, Tangas laikė save konkurentu su „OpenAI“ atstovu Samu
Altmanu. Kai 2020 m. „OpenAI“ išleido savo novatorišką GPT-3 modelį, Z.AI siekė
sukurti kažką tokio pat gero.
Po studijų pas Tangą Yangas įgijo daktaro laipsnį Carnegie
Mellon universitete Pitsburge. Jis grįžo į Kiniją padėti savo buvusiam
profesoriui atlikti tyrimus ir nusprendė įkurti savo įmonę.
Uolus roko būgnininkas Yangas savo startuolį kiniškai
pavadino „Dark Side of the Moon“, pagal „Pink Floyd“ albumo melodiją. Angliškam
pavadinimui jis pasirinko „Moonshot“.
Šanchajuje dar du buvę Tsinghua tyrėjai, įskaitant vieną iš
prestižinės „Yao klasės“, taip pat įkūrė savo įmones, skirtas dirbtinio
intelekto modeliams kurti.
Paskutinis dalyvis buvo „DeepSeek“. Jos įkūrėjas Liangas
Wenfengas prieš du dešimtmečius pradėjo savo veiklą kompiuterinio matymo
srityje ir vėliau įkūrė rizikos draudimo fondą, pagrįstą dirbtinio intelekto
naudojimu finansų rinkoms analizuoti. 2023 m. jis kalbėjosi su Tangu, kuris
vėliau savo darbuotojams pasakė, kad jį sužavėjo Liango „kitokie mąstymo
būdai“. Tais metais Liangas iš savo rizikos draudimo fondo atskyrė „DeepSeek“,
paskelbdamas tą patį tikslą kaip ir Tango: žmogišką intelektą.
Startuolio įkūrėjai žinojo Kinijos trūkumus, palyginti su
JAV: finansavimo trūkumą ir prieigos prie pažangiausių dirbtinio intelekto
lustų trūkumą dėl Vašingtono eksporto kontrolės.
Iki 2025 m. vidurio „Tang“ pritraukė apie 1,25 mlrd. JAV
dolerių iš investuotojų, įskaitant Kinijos technologijų gigantus ir Honkonge
įsikūrusį rizikos kapitalistą Neilą Sheną. Valstybės remiami fondai taip pat
išrašė čekius.
Investicinis bankas „Jefferies“ vėliau apskaičiavo, kad
Kinijos technologijų įmonės per šiuos metus investavo mažiau nei penktadalį to,
ką investavo jų kolegos JAV. Jos turėjo padaryti daugiau su mažiau.
Liango komanda „DeepSeek“ sugalvojo keletą svarbiausių
sprendimų, įskaitant daugiagalvį latentinį dėmesį arba MLA [1]. Ši technika
sumažina dirbtinio intelekto modelio atminties naudojimą – pavyzdžiui, pokalbių
roboto pokalbyje – sukurdama sutrumpintą ankstesnių veiksmų versiją. Naudojant
mažiau atminties, taupoma skaičiavimo galia ir pinigai.
„DeepSeek“ buvo viena iš pirmųjų Kinijoje, pritaikiusių
modelio dizainą, vadinamą „ekspertų mišiniu“ (MoE), kai pradinis maršruto
parinkimo mechanizmas nukreipia problemą į specializuotą ekspertų modelį.
„DeepSeek“ parodė Kinijos pramonei perspektyvų kelią padidinti modelio našumą,
kartu sumažinant lustų reikalavimus.
Šie metodai buvo „DeepSeek“ šoko“ priežastis 2025 m. sausio
mėn., kai Liango įmonė išleido galingą, bet nebrangų naują atvirojo kodo
modelį, o JAV akcijos trumpam nualpo dėl netikėto Kinijos konkurencijos augimo.
Liango Kinijos konkurentai taip pat buvo sukrėsti.
„Moonshot“ įmonėje Yangas atsakė į susirūpinusių investuotojų skambučius,
įskaitant vieną, kuris norėjo sužinoti, kodėl Yangas nenumatė „DeepSeek“
iškilimo, teigė su šiuo klausimu susipažinę asmenys.
Yangas į vėlesnius „Moonshot“ modelius įtraukė „DeepSeek“
išrastas arba patikrintas technikas. Savo ruožtu „DeepSeek“ naudojo „Moonshot“
optimizuotą techniką, kad padidintų mokymo efektyvumą ir stabilumą.
Be JAV dirbtinio intelekto modelių kūrimo, kai kurios
Kinijos įmonės pasinaudojo Amerikos patirtimi, samdydamos Kinijos piliečius,
kurie dirbo JAV dirbtinio intelekto lyderiams. Kinijos interneto milžinė
„Tencent“ pasamdė du „Tsinghua“ absolventus, kurie dirbo „OpenAI“. „TikTok“
patronuojanti įmonė „ByteDance“ parsivežė namo „Google“ tyrėją ir per metus
sukūrė galingą vaizdo įrašų generavimo įrankį, kurį dabar plačiai naudoja Holivudo
turinio kūrėjai.
Sausio mėnesį Tango „Z.AI“ – tuomet žinomos kaip „Knowledge
Atlas Technology“ arba „Zhipu“ – vadovai Honkongo vertybinių popierių biržoje
sumušė gongą, ir tai tapo pirmuoju Kinijos dirbtinio intelekto modelio
startuoliu, tapusiu viešai prieinamu. Iki liepos mėnesio „Z.AI“ metinės
pasikartojančios pajamos – pagrindinis prenumeratos pagrindu teikiamų paslaugų
rodiklis – išaugo iki 1 milijardo dolerių, teigia su jos veikla susipažinę
asmenys, maždaug dvigubai daugiau nei „DeepSeek“.
Tai vis dar gerokai atsilieka nuo Amerikos titanų.
Gegužės mėnesį vykusiame „DeepSeek“ susitikime Liang teigė,
kad didžiausią atotrūkį tarp Kinijos ir Amerikos įmonių lemia kompiuterių
lustai, o ne žmonės. Geriausių laboratorijų, įskaitant „Alibaba“ ir „Z.AI“,
tyrėjai teigė, kad jiems dažnai skiriama penktadalis aukščiausios klasės lustų,
kuriuos gali įsigyti „OpenAI“ ir „Google“ kolegos.
Nors Kinijos bendrovės siekia „iki galo ekonomiškumo“, –
teigė Majamyje įsikūrusios „Gavekal Technologies“ analitikė Laila Khawaja, –
„JAV bendrovės, turinčios pažangesnius lustus ir norinčios investuoti kapitalą,
daug daugiau išleidžia tiriamiesiems tyrimams, kurie gali lemti esmines
inovacijas.“
Tangas apmoko kitą Z.AI pavyzdinį modelį, kuris, jo komandos
manymu, galės atlikti sudėtingas tyrimų užduotis, trunkančias kelias savaites,
teigė su planais susipažinę šaltiniai. „Kas pirmas pakels technologines ribas
bent coliu aukščiau, iš naujo apibrėš, kas įmanoma kiekvienoje pramonės
šakoje“, – liepos mėnesį darbuotojams skirtame memorandume rašė Tangas." [2]
1. Kelių galvų latentinis dėmesys (MLA) yra optimizuotas
transformatoriaus dėmesio mechanizmas, sukurtas „DeepSeek-V2“ architektūroje,
kuris drastiškai sumažina rakto-reikšmės (KV) talpyklos atminties kiekį [3]
išvadų darymo metu, suglaudindamas didelio matmens rakto ir reikšmės būsenas į
žemo rango, bendrą latentinio vektoriaus erdvę prieš jas kaupdamas talpykloje.
Kaip veikia MLA
• Žemo rango glaudinimas: Užuot saugoję pilnus,
nepriklausomus rakto ir reikšmės tenzorius kiekvienai galvelei, MLA projektuoja
įvesties paslėptą būseną į mažesnį latentinį vaizdą.
• Talpyklos mažinimas: Modelis autoregresinio generavimo
metu KV talpykloje saugo tik šį siaurą, suspaustą vektorių [4].
• Rekonstrukcija pagal poreikį: Skaičiuojant dėmesį,
atskiros galvos išskleidžia bendrą latentinį vektorių atgal į konkrečias,
funkcines rakto ir reikšmės būsenas.
Pagrindiniai privalumai
• Didelis atminties taupymas: Sumažina KV talpyklos
atminties apkrovą daugiau nei 90 % (iki 93 % tam tikrose konfigūracijose),
todėl galima naudoti daug ilgesnius kontekstinius langus ir didesnius paketų
dydžius.
• Išsaugota galvų įvairovė: Skirtingai nuo Daugiafunkcinis
užklausų dėmesys (MQA) arba grupinis užklausų dėmesys (GQA), kurie pablogina
reprezentacijos kokybę, priversdami kelias užklausų galvutes ieškoti identiškų
fizinių raktų / reikšmių, MLA išlaiko unikalų kiekvienos galvutės elgesį
naudodamas skirtingus dekompresijos svorius.
• Didelis našumas: atitinka arba šiek tiek viršija
standartinio daugiafunkcinio dėmesio (MHA) modeliavimo našumą, nepaisant to,
kad naudoja daug mažiau atminties.
2. Smegenys, kurios lėmė netikėtą Kinijos dirbtinio
intelekto šuolį --- Universiteto laboratorija ugdė kompiuterių mokslininkus,
kurie, naudodami išradingumą ir imitaciją, persekioja antropologinį ir atvirąjį
dirbtinį intelektą. Huang, Raffaele. „Wall Street Journal“, rytinis leidimas;
Niujorkas, Niujorkas. 2026 m. rugpjūčio 22 d.: A1.
3. Rakto ir reikšmės (KV) talpykla yra atminties
optimizavimo technika, naudojama teksto generavimo metu transformatorių
pagrindu sukurtuose dideliuose kalbos modeliuose (LLM). Joje saugomi tarpiniai
rakto (K) ir reikšmės (V) vektoriai, apskaičiuoti ankstesniems žetonams.
Pakartotinis šių reikšmių naudojimas neleidžia modeliui kartoti identiškų
skaičiavimų kiekvienam naujam žodžiui, todėl išvados darymo metu pasiekiamas
didžiulis greitis.
Kodėl Reikalinga KV talpykla
• Autoregresyvus generavimas: LLMs generuoja tekstą po vieną
žetoną. Kiekvienas naujas žodis priklauso nuo visų prieš jį buvusių žodžių.
• Perteklinio apdorojimo vengimas: Be talpyklos modelis
kiekviename žingsnyje iš naujo apdoroja visą raginimą ir ankstesnius
rezultatus, kad iš naujo apskaičiuotų K ir V matricas.
• Efektyvumas: Talpinimas sumažina kiekvieno naujo žetono
generavimo laiko sudėtingumą nuo kvadratinės O(n²) iki tiesinės O(n).
Išsamesnės įgyvendinimo detalės gali būti nagrinėjamos tokiuose šaltiniuose
kaip „Hugging Face Cache Strategies“.
Kaip tai veikia
A. Išankstinio užpildymo etapas: Modelis apdoroja pradinę
įvesties užklausą vienu metu. Jis apskaičiuoja visų įvesties žetonų užklausas
(Q), raktus (K) ir reikšmes (V), išsaugodamas K ir V vektorius talpykloje.
B. Dekodavimo etapas: Generuodamas naują žetoną, modelis
apskaičiuoja tik to vieno naujo žetono Q, K ir V.
C. Atnaujinimas: Jis prideda naujus K ir V vektorius prie
esamos talpyklos ir naudoja naujus Užklausa, skirta apskaičiuoti dėmesį pagal
visus anksčiau išsaugotus raktus.
Kompromisas: atmintis ir greitis
• Gerai: smarkiai sumažina delsą ir padidina generavimo
greitį, todėl pokalbiai realiuoju laiku su DI yra praktiški.
• Blogai: KV talpyklos atminties užimama vieta auga
tiesiškai, ilgėjant pokalbiams ar konteksto ilgiui. Dideliems modeliams arba
dideliems konteksto langams (pvz., 128 tūkst. ir daugiau žetonų) talpykla gali
sunaudoti dešimtis gigabaitų VRAM, dažnai viršydama GPU talpą ir reikalaudama
atminties taupymo architektūrų, tokių kaip „Grouped-Query Attention“ arba
„PagedAttention“.
4. Autoregresyvus generavimas – tai metodas, kai modelis
kuria duomenis po vieną dalį. Kiekviena nauja dalis priklauso nuo visų
ankstesnių dalių. Šiuo žingsnis po žingsnio procesu šiuolaikinės dirbtinio
intelekto priemonės, tokios kaip teksto ir medijos generatoriai, kuria
nuoseklius rezultatus.
• Žingsnis po žingsnio numatymas: sistema peržiūri esamus
duomenis ir atspėja vieną kitą elementą, vadinamą žetonu arba žodžiu.
• Grįžtamojo ryšio ciklas: naujai atspėtas elementas
pridedamas prie įvesties sąrašo.
• Kartojimo ciklas: sistema naudoja šį ilgesnį sąrašą kitam
elementui atspėti, kartodama ciklą, kol seka baigiama.
• Tikimybės grandinės taisyklė: matematiškai ji suskaido
viso sakinio ar modelio įvykimo tikimybę į mažesnius, sąlyginius žingsnius.
Kur ji naudojama
• Kalbos modeliai: tokios priemonės kaip GPT naudoja tai
sakiniams, pastraipoms ir kodui pažodžiui rašyti.
• Laiko eilutės: finansinės ir orų prognozavimo priemonės
naudoja praeities skaičius, kad numatytų kitą reikšmę laiko juostoje.
• Garsas ir vaizdai: tam tikri generavimo modeliai
nuosekliai kuria garso bangas arba pikselius.
Privalumai ir trūkumai
• Privalumai: Pateikia sklandžius, logiškus ir gramatiškai
taisyklingus rezultatus, nes kontekstas kaupiasi pats savaime.
• Trūkumai: Veikia lėčiau, nes elementus reikia generuoti
griežtai eilės tvarka, o ne visus iš karto. Klaidos taip pat gali padidėti, jei
ankstyva klaida pakeičia vėlesnių veiksmų kontekstą.