„JAV sankcijos skatina Kinijos technologijų įmones paspartinti mokslinius tyrimus, kad būtų sukurtas pažangiausias dirbtinis intelektas (AI), nepasikliaujant naujausiais Amerikos lustais.
„Wall Street Journal“ tyrimų straipsnių apžvalgoje ir pokalbiuose su darbuotojais nustatyta, kad Kinijos įmonės tiria metodus, kurie leistų joms pasiekti pažangiausią AI našumą, naudojant mažesnį skaičių ar mažiau galingus puslaidininkius. Jie taip pat tiria, kaip sujungti skirtingų tipų lustus, kad būtų išvengta pasikliauti vieno tipo aparatine įranga.
Kinijos telekomunikacijų paslaugų teikėjas „Huawei Technologies“, paieškos įmonė „Baidu“ ir elektroninės prekybos milžinė „Alibaba Group“ yra tarp tų, kurie ieško būdų, kaip iš esamų kompiuterių lustų išgauti daugiau naudingumo.
Tyrėjai ir analitikai teigė, kad šių sprendimų naudojimas, siekiant pasivyti Amerikos AI lyderius tebėra didelis iššūkis.
Tačiau kai kurie eksperimentai davė daug vilčių, o jei tyrimai bus sėkmingi, Kinijos technologijų įmonės galėtų atlaikyti Amerikos sankcijas ir padaryti tas įmones atsparesnes būsimiems apribojimams.
„Huawei“ ir „Baidu“ atsisakė komentuoti. „Alibaba“ neatsakė į prašymą pakomentuoti.
Įsibėgėjus lenktynėms, siekiant komercializuoti į „ChatGPT“ panašius modelius, įmonėms visame pasaulyje reikia galingesnių lustų ir jos ieško būdų, kaip iš jų išnaudoti daugiau, kad sumažintų sprogstančias AI kūrimo išlaidas.
Kinijos įmonėms šis klausimas yra svarbesnis: JAV sankcijos atkirto joms pažangiausius lustus, pagamintus tokių kaip „Nvidia“, ir jos greitai išnaudojo turimas Amerikos lustų atsargas, kad sukurtų savo „ChatGPT“ atitikmenis, sako darbuotojai, dirbtinio intelekto tyrėjai ir pramonės analitikai.
„Galite tiesiog pasakyti, skaitydami tarp eilučių, kad jie bando rasti bet kokį skaičiavimą po saule, kad kompensuotų aukščiausios klasės aparatūros trūkumą“, - sakė Susan Zhang, „Meta Platforms“ dirbtinio intelekto tyrėja, kuri specializuojasi dirbtinio intelekto infrastruktūroje ir dideliuose kalbų modeliuose.
AI pramonėje skaičiavimas reiškia lustų rinkinyje turimos skaičiavimo galios kiekį.
Aukščiausia Pekino sprendimus priimanti institucija praėjusį mėnesį pareiškė, kad Kinija turėtų skatinti naujoves, kuriant dirbtinį bendrąjį intelektą.
Po to, kai Prekybos departamentas praėjusį spalį įvedė didžiulius apribojimus tiekti lustus Kinijai, Bideno administracija nurodė, kad gali imtis papildomų sankcijų.
Kinijos įmonės yra atskirtos nuo Nvidia A100 lustų, populiariausių pramonėje, kuriant AI, ir kovo mėnesį išleistos naujos kartos versijos H100, kuri siūlo daugiau skaičiavimo galios.
Kad atitiktų sankcijų reikalavimus, „Nvidia“ Kinijos rinkai sukūrė pažemintas savo lustų versijas, atitinkamai vadinamas A800 ir H800. Abu modifikuoti lustai sumažina lusto gebėjimą bendrauti su kitais lustais.
Produktai yra efektyvi alternatyva, kuriant nedidelio masto AI modelius, tokius, kaip rekomendacinis algoritmas, valdantis ByteDance trumpo vaizdo įrašo programą TikTok. Tačiau kliūtis stabdo didesnių AI modelių, kuriems reikia koordinuoti šimtus ar tūkstančius lustų, kūrimą.
„OpenAI“ išleido „ChatGPT“ praėjus mėnesiui po to, kai buvo paskelbtos sankcijos. Paleidimas sukėlė pasaulinį siautulį kuriant generatyvųjį AI – programinę įrangą, kuri gali kurti tekstą ir vaizdus ir kuriai sukurti reikia precedento neturinčios skaičiavimo galios. UBS analitikai apskaičiavo, kad norint parengti tokius didelius dirbtinio intelekto modelius, reikia nuo 5 000 iki 10 000 A100 lustų.
OpenAI neatsakė į prašymą pakomentuoti.
Su Kinijos vyriausybe siejamos puslaidininkių pramonės asociacijos atlikta apklausa, paskelbta per neseniai vykusią uždarų durų pramonės konferenciją, parodė tiekimo apribojimus ir nustatė, kad, pasak vieno asmens, Kinijoje yra apie 40 000–50 000 A100, skirtų mokyti didelio masto AI modelius. Asociacija į prašymą pakomentuoti neatsakė.
Pasak žmonių, susipažinusių su šiuo klausimu, Kinijos bendrovės, tokios, kaip „Alibaba“ ir „Baidu“, kurios prieš sankcijas kaupė A100 atsargas, labai apribojo užsienio pažangių lustų naudojimą viduje, palikdamos jas daugiausiai skaičiavimo reikalaujančioms užduotims.
„Baidu“ sustabdė savo A100 naudojimą visose komandose, įskaitant savo savarankišką vairavimo įrenginį, kad galėtų juos sujungti savo „ChatGPT“ atitikmeniui Ernie Bot sukurti prieš jo paleidimo datą, anksčiau pranešė žurnalas.
Remiantis atvirojo kodo tyrimų dokumentais ir šia tema susipažinusių žmonių duomenimis, „Baidu“ pastaraisiais metais siekė įtraukti vietinius lustus į savo AI kūrimą, įskaitant „Hygon Information Technology“ DCU ir „Huawei“ AI mokymo lustą „Ascend“, taip pat savo „Kunlun“. Tačiau daugelis vietinių lustų lieka nepatikimi, kad būtų galima mokyti didelio masto modelius, nes jie linkę dūžti, sakė kai kurie žmonės.
Daugelis Kinijos firmų dabar bando sujungti tris ar keturias mažiau išvystytus lustus, įskaiant A800 ir H800, kad pakartotivieno galingesnio Nvidia procesoriaus veikimą, pasak Singapūro nacionalinio universiteto profesoriaus Yang You, vadovaujančio dirbtinio intelekto infrastruktūros įmonei HPC-AI Tech.
Balandžio mėnesį „Tencent“ pristatė naują skaičiavimo klasterį – prijungtų lustų rinkinį, skirtą didelio masto AI modelių mokymui, naudojant „Nvidia H800“.
Šis metodas gali būti brangus: jei JAV įmonei reikia 1 000 H100, kad būtų parengtas didelis kalbos modelis, Kinijos įmonei gali prireikti 3 000 ar daugiau H800, kad būtų pasiekti tokie patys rezultatai, sakė p. You.
Tai skatina kai kurias įmones paspartinti metodų, skirtų lavinti didelio masto AI modelius skirtingų tipų lustuose, kūrimą, sakė p. You, tyrimų sritis, kuri jau buvo įprasta Kinijos firmoms, turinčioms ribotus aparatinės įrangos išteklius ir norinčioms mažinti išlaidas. „Alibaba“, „Baidu“ ir „Huawei“ siekė naudoti įvairius A100, senesnės kartos „Nvidia“ lustų, žinomų kaip „V100s“ ir „P100“ bei „Huawei Ascends“, derinius, rodo dokumentai.
Priešingai, kelių tipų lustų naudojimas JAV įmonėse retai pastebimas dėl techninių iššūkių, susijusių su patikimu jų veikimu, sakė dirbtinio intelekto ekspertai. „Tai paskutinė išeitis“, – sakė „Meta“ ponia Zhang.
Tuo pačiu metu Kinijos įmonės siekė naudoti įvairius programinės įrangos metodus, kad sumažintų didelio masto AI modelių mokymo skaičiavimo intensyvumą. Šis metodas paspartėjo visame pasaulyje, taip pat ir tarp JAV įmonių. Tačiau, skirtingai, nei JAV bendrovės, Kinijos įmonės buvo agresyvesnės, derindamos kelias programinės įrangos technologijas, rodo dokumentai.
Nors daugelis šių metodų vis dar yra išlyginami pasaulinėje mokslinių tyrimų bendruomenėje ir sunkiai įgyvendinami, Kinijos mokslininkai sulaukė tam tikros sėkmės.
Kovo mėn. paskelbtame dokumente „Huawei“ mokslininkai pademonstravo, kaip jie galėtų panaudoti tokius metodus, kad mokytų naujausios kartos didelės kalbos modelį, naudojant tik bendrovės „Ascend“ lustus ir be „Nvidia“ lustų. Nepaisant kai kurių trūkumų, modelis pasiekė naujausią našumą atliekant keletą kinų kalbos užduočių, įskaitant skaitymo supratimo ir gramatikos iššūkius, rašo mokslininkai.
Dylanas Patelis, vyriausiasis puslaidininkių tyrimų ir konsultacijų įmonės „SemiAnalysis“ analitikas, teigė, kad Kinijos mokslininkų skausmo taškai tik pablogės, jei nebus pasiekiamas naujasis „Nvidia H100“, kuriame yra papildoma našumą didinanti funkcija, ypač naudinga, treniruojant į „ChatGPT“ panašius modelius.
Tačiau praeitais metais Baidu ir Peng Cheng Laboratory, Šendžene įsikūrusio tyrimų instituto, publikuotas dokumentas parodė, kad mokslininkai moko didelius kalbų modelius taip, kad ši funkcija taptų nereikalinga. Ponas Patelis sakė, kad tai atrodo daug žadantis, nors tyrimas buvo pradiniame etape.
„Jei tai veikia gerai, jie gali veiksmingai apeiti sankcijas“, – sakė jis." [1]
1. China AI Makers Work Around U.S. Sanctions. Hao, Karen.
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 08 May 2023: B.1.