Didelių kalbos modelių vasaros išpardavimas Kinijoje

"KAINŲ KARAI Kinijoje kainuoja dešimt už centą. Šimtai panašių kompanijų atsiradimas, atrodo, per vieną naktį, mažina mažmenines kainas viskam, pradedant elektromobiliais ir baigiant dalijimusi dviračiais ir burbulų arbata. Naujausi produktai, patekę į pražūtingą mūšį, yra dirbtinis intelektas ( AI) tai gali atrodyti stebėtina dideliems kalbos modeliams (LLM), kurie Kinijoje  egzistavo neseniai ir, pagal ekspertus, dešimtmečiu atsiliko nuo Amerikos pažangos.

 

 Dabar tie patys ekspertai skaičiuoja, kad atotrūkis tarp priešingų Ramiojo vandenyno krantų modelių sumažėjo iki metų ar mažiau.

 

 LMSYS Chatbot Arena, kuri vertina LLM rezultatus, penkis kiniškus įtraukė į geriausių pasaulio dvidešimtuką.

 

 Kai kuriais rodikliais modelis, vadinamas SenseNova 5.0, kurį sukūrė Šanchajaus AI įmonė SenseTime, pranoksta LLM, kuris iki gegužės mėn. atnaujinimo leido ChatGPT logiškai mąstyti ir kūrybiškai rašyti. Vasario mėnesį rinkos tyrimų įmonė AskCI prognozavo, kad Kinijos LLM šiemet uždirbs 22 mlrd. juanių (3 mlrd. dolerių), palyginti su 15 mlrd. juanių 2023 m.. Iki 2028 m. jie gali uždirbti penkis kartus daugiau.

 

 Visi šie akį traukiantys technologiniai žingsniai ir turtų pažadai paskatino daug dirbtinio intelekto tikinčiųjų įsitraukti. Praėjusiais metais Kinijos paieškos milžinės, turinčios savo AI ambicijų, generalinis direktorius Robinas Li pastebėjo, kad Kinija gamina vieną LLM per diena. Jis galėjo perdėti, siekdamas efekto, bet nebuvo pakankamai klaidingai nusiteikęs. Remiantis vyriausybės skaičiavimais, šiuo metu šalyje yra daugiau, nei 100, modelių su daugiau, nei milijardu, parametrų, o tai yra bent apytiksliai tokie pat sudėtingi, kaip kai kurios populiarių „Llama“ modelių versijos, kurias gamina „Facebook“ pagrindinė įmonė „Meta“.

 

 Kinijos dirbtinio intelekto kūrėjai dabar paverčia šiuos modelius gaminiais į kairę ir į dešinę. Tačiau, priešingai nei Amerikoje, kur OpenAI yra akivaizdus technologinis pranašumas, Kinijoje vartotojams trūksta tokio pramonės etalono, kuris padėtų jiems atskirti įvairius siūlomus produktus, sako Jeffrey Dingas, kinų dirbtinio intelekto mokslininkas iš Džordžo Vašingtono universiteto. Negalėdami konkuruoti technologijomis, jie konkuruoja kaina.

 

 Gegužės 6 d. High-Flyer, savo modelį sukūręs rizikos draudimo fondas, sumažino naujausios versijos kainas iki šimtosios dalies vieno juanio cento už 1000 žetonų (pageidautinas LLM kainodaros vienetas).

 

 Tai yra maždaug 1% to, ką OpenAI ima už jos nuostabiausią modelį GPT-4 Turbo. Gegužės 15 d. „ByteDance“, kuriai priklauso „TikTok“ ir jos sesuo Kinijoje „Douyin“, pradėjo siūlyti jos naujausią modelį su panašia nuolaida. Po savaitės „Alibaba“, elektroninės prekybos konglomeratas, jo flagmano LLM kainas sumažino 97%. Po kelių valandų „Baidu“ paskelbė, kad jos „Ernie“ pokalbių robotai bus nemokami visiems verslo vartotojams. Tencent, didžiausia Kinijos interneto įmonė, taip pat už dyką atiduoda vieną iš savo LLM.

 

 Vienas Tencent vadovas dabar kalba apie „šimto modelių karą“. Lee Kai-fu, Taivano technologijų investuotojas ir 2018 m. perkamiausios knygos „AI Superpowers“ autorius, perspėjo, kad šis konfliktas yra „pralaimėk-pralaimėk“.

 

 Pritraukti daugiau klientų – taigi ir kaupti daugiau duomenų, pagal kuriuos būtų galima parengti vis protingesnius algoritmus – mažai ką verta, jei dėl to gaunamos mažesnės pajamos reiškia daug mažiau pinigų išleisti brangiems skaičiavimo ištekliams, kurių reikia mokymui atlikti.

 

 Ši problema modelių kūrėjus kamuoja visur, tačiau ji ypač aktuali kinams. Taip yra todėl, kad dėl Amerikos sankcijų jiems neleidžiama pasiekti Amerikoje pagamintų AI lustų, kurie yra galingiausi ir efektyviausi pasaulyje.

 

 Ilgainiui labiausiai tikėtina kainų karo pasekmė – Kinijos dirbtinio intelekto pramonės konsolidavimas kelių, gilias kišenes turinčių, skaitmeninių gigantų, tokių, kaip Alibaba, Baidu, ByteDance ir Tencent, rankose. Perspektyvūs mažesni modelių gamintojai, tokie, kaip „Baichuan“, „Moonshot“ ir „Zhipu AI“, gali būti išstumti iš vidaus rinkos – nesvarbu, kad „OpenAI“ ir kiti „Anthropic“ ir „Mistral“ lyderiai Vakaruose parodė, naujokai turi rekordinį naujovių diegimą, kaip mašininio mokymosi operatoriai.

 

 Vietoj to kai kurie Kinijos varžovai gali išbandyti savo laimę tarptautinėse rinkose. 01AI, naujausia pono Lee įmonė, pranešė, kad jei kainų karas taps nevaldomas, jis yra pasirengęs ieškoti augimo užsienyje. Tačiau daugeliui šalies konkurentų būtų sunku naršyti užsienio technologijų rinkose, todėl jie yra įstrigę jų pernelyg konkurencingoje vidaus rinkoje. Kinijoje gali žydėti šimtas LLM. Daugelis jų gali nuvyti daug anksčiau, nei tikėjosi jų kūrėjai.“ [1]

 

 

O kaip su Kinijos drakonų žudikoje Lietuvoje? Tylu, tik girdisi žiogų dainos... Lietuvio žarnynas yra pernelyg plonas, kad gamintų ką nors šiuolaikiško. Perkame tik per brangius ir pasenusius tankus, kiniškus dronus ir dyzelinius dūmus skleidžiančius karinius transporterius. Užmiesčio damos džiaugiasi pamatę mūsų dyzelino dūmus ir negali nustoti, mums entuziastingai mojuodamos. “Štai jums kariškas vaizdelis, apie pulką ir mergelę…” Jėga... Tiek malonumo už tiek mažai darbo.

 

1. The LLM summer sale. The Economist; London Vol. 451, Iss. 9401,  (Jun 15, 2024): 56, 57.

The LLM summer sale in China

"PRICE WARS are ten a penny in China. The emergence of hundreds of lookalike companies seemingly overnight is pushing down retail prices of everything from electric vehicles to bike-sharing and bubble tea. The latest products to enter the ruinous fray are artificial-intelligence (AI) chatbots. This may seem surprising. Until recently China’s problem was not a surfeit of large language models (LLMs), the sort that makes ChatGPT a humanlike content-creator, but their dearth. At the start of 2023 experts reckoned that the Chinese LLMs that did exist were a decade behind the American cutting edge.

Now the same experts reckon that the transpacific model gap has shrunk to a year or less. 

LMSYS Chatbot Arena, which ranks LLMs’ performance, puts five Chinese ones in the world’s top 20. 

On some measures, a model called SenseNova 5.0, created by SenseTime, a Shanghainese AI firm, outperforms the LLM which until an upgrade in May powered ChatGPT in logical reasoning and creative writing. In February AskCI, a market-research firm, forecast that Chinese LLMs will generate 22bn yuan ($3bn) in revenue this year, up from 15bn yuan in 2023. By 2028 they could be generating five times as much.

All these eye-catching technological strides and the promise of riches have motivated plenty of AI hopefuls to pile in. Last year Robin Li, chief executive of Baidu, a Chinese search giant with AI ambitions of its own, observed that China was producing one LLM a day. He may have been exaggerating for effect but was not wide of the mark. According to government estimates, the country now boasts more than 100 models with more than a billion parameters, which is to say at least roughly as complex as some versions of the popular Llama models made by Meta, Facebook’s parent company.

Chinese AI developers are now turning these models into products left and right. But in contrast to America, where OpenAI commands a clear technological lead, in China users lack such an industry benchmark to help them differentiate between the sundry products on offer, says Jeffrey Ding, a scholar of Chinese AI at George Washington University. Unable to compete on technology, they are therefore competing on price.

On May 6th High-Flyer, a quant hedge fund that built its own model, slashed prices for the latest version to one-hundredth of one yuan cent per 1,000 tokens (the preferred unit of LLM pricing). 

That is approximately 1% of what OpenAI charges for its snazziest model, GPT-4 Turbo. On May 15th ByteDance, which owns TikTok and its Chinese sister video-app, Douyin, began offering its newest model at a similar discount. A week later Alibaba, an e-commerce conglomerate, cut prices for its flagship LLM by 97%. Hours later Baidu announced that its Ernie chatbots will be free of charge for all business users. Tencent, China’s biggest internet firm, is also giving away one of its LLMs for nothing.

One Tencent executive now talks of “the war of a hundred models”. Lee Kai-fu, a Taiwanese tech investor and author of “AI Superpowers”, a bestselling book from 2018, has warned that this conflict is a “lose-lose” one. 

Attracting more customers—and therefore hoarding more data on which to train ever cleverer algorithms—counts for little if the resulting lower revenues mean much less money to spend on the pricey computing resources necessary to do the training. 

This problem afflicts model-makers everywhere but it is especially acute for Chinese ones. That is because they are barred by American sanctions from gaining access to American-made AI chips, which are the most powerful and efficient in the world.

In the longer run, the likeliest consequence of the price war is consolidation of the Chinese AI industry in the hands of a few deep-pocketed digital giants such as Alibaba, Baidu, ByteDance and Tencent. Promising smaller model-makers, such as Baichuan, Moonshot and Zhipu AI, could be squeezed out of the domestic market—never mind that, as OpenAI and fellow upstarts such as Anthropic and Mistral have shown in the West, newcomers have a record of outinnovating incumbents in machine learning.

Some of the Chinese challengers may try their luck in international markets instead. 01AI, Mr Lee’s latest venture, has signalled that if the price war gets out of control it is prepared to look abroad for growth. But many domestic rivals would struggle to navigate foreign technology markets and so are stuck in their hypercompetitive home market. A hundred LLMs may be blooming in China. Many of them may wither much sooner than their creators expected." [1]

What about AI in Chinese dragon killer Lithuania? Crickets... Lithuanian gut is to thin to produce anything contemporary. We are only buying overpriced and obsolete tanks, Chinese drones, and diesel smoke belching military transporters. Country side ladies are excited to see our diesel smoke, and can't stop waiving at us enthusiastically. Power... So much pleasure for so little work.

1. The LLM summer sale. The Economist; London Vol. 451, Iss. 9401,  (Jun 15, 2024): 56, 57.

Kadrų išlaikymas yra viskas, ko jums reikia: dirbtinio intelekto darbo rinka

„Gaila OpenAI personalo skyriaus. Nuo metų pradžios ChatGPT – populiariausio dirbtinio intelekto (AI) pokalbių roboto – kūrėjas neteko maždaug tuzino geriausių mokslininkų. Didžiausias vardas buvo Ilja Sutskeveris, vienas iš įkūrėjų, atsakingas už daugelį didžiulių startuolio proveržių, kuris paskelbė apie jo atsistatydinimą gegužės 14 dieną Neįprasta OpenAI, remiantis vienu skaičiavimu, maždaug pusė iš 100 dirbtinio intelekto ekspertų, kuriuos įmonė pasamdė nuo 2016 m. išėjo.

 

 Tai atspindi ne pono Altmano lyderystę, o platesnę technologijų pramonės tendenciją, kurią sukėlė pats OpenAI. 2022 m. lapkričio mėn. pradėjus naudoti ChatGPT, dirbtinio intelekto darbo rinka pasikeitė. Rinkos žvalgybos įmonė „Zeki Research“ skaičiuoja, kad maždaug 20 000 įmonių Vakaruose samdo dirbtinio intelekto ekspertus. Sparti mašininio mokymosi pažanga ir „platformos poslinkio“ galimybė – techniškai kalbant apie visiškai naujo technologijų sluoksnio sukūrimą – pakeitė darbdavių reikalaujamų įgūdžių tipus ir vietas, kur eina juos turintys asmenys. Rezultatas – rinka, kurioje AI talentai, anksčiau kaupti technologijų gigantų, vis labiau pasiskirsto.

 

 Pradėkite nuo įgūdžių. Galiotai, tokie, kaip „Microsoft“ ir „Google“, gali atleisti ne inžinierius, tačiau jie ieško tyrinėtojų - žvaigždžių, kurios galėtų suprasti ir sukurti pažangiausius modelius. Šią grupę sudaro galbūt, keli šimtai žmonių, tokių kaip ponas Sutskeveris ar Jeffas Deanas, kuris vadovauja „Google“ AI pastangoms. Įmonės trokšta tokių superžvaigždžių, nes jos gali pasiekti proveržių, kurie, tarkime, smarkiai padidina dirbtinio intelekto sistemos efektyvumą arba sumažina jo polinkį sugalvoti haliucinacijas. Dėl to jie yra neįtikėtinai vertingi; daugelis gauna septynių skaitmenų atlyginimų paketus.

 

 Kai kurie samdomi be interviu arba kaip visos komandos. Kovo mėnesį „Microsoft“ įdarbino daugumą pažangiausius modelius kuriančio startuolio „Inflection ai“ darbuotojų, įskaitant jo įkūrėją Mustafą Suleymaną – šis žingsnis, kaip pranešama, patraukė Federalinės prekybos komisijos pasitikėjimo griovėjų dėmesį. (Ponas Suleymanas yra pagrindinės „The Economist“ įmonės valdyboje.) Markas Zuckerbergas, Meta („Facebook“ patronuojančios įmonės) vadovas, asmeniškai elektroniniu paštu išsiuntė laiškus kai kuriems „Google“ AI laboratorijos „DeepMind“ tyrėjams, siekdamas juos įtraukti.

 

 Dar labiau intriguoja tai, kaip generatyvus AI pakeitė talentų rinką toliau laiptais. Remiantis darbo vietų sąrašų svetainės „Indeed“ duomenimis, viena iš 40 laisvų programinės įrangos kūrėjų darbo vietų Amerikoje mini įgūdžius, susijusius su „generatyviuoju“ AI, dėl kurių ChatGPT yra toks žmogiškas. Tai daugiau, nei 100 kartų, daugiau nuo 2023 m. pradžios. Amit Bhatia, vienas iš tyrimų įmonės Datapeople.io įkūrėjų, teigia, kad prieš ChatGPT vidutinio dydžio technologijų įmonė galėjo įdarbinti keletą dirbtinio intelekto inžinierių, kurie sukūrė mažus modelius, kad galėtų atlikti tokius veiksmus, kaip analizuoti klientų el. laiškų jausmus. Šiandien generatyvūs modeliai gali atlikti daug geresnį darbą, nei tos nedidelės įmonės pastangos.

 

 Dėl to kai kurių AI inžinierių dabar prašo išsiaiškinti, kurią AI sistemą naudoti ir kaip prijungti ją prie įmonės duomenų. Ponas Bhatia teigia, kad nuo 2022 m. pradžios programinės įrangos inžinerijos darbo vietų, kuriose nurodomi tokie „MLops“ (sutrumpinimas iš mašininio mokymosi operacijų), dalis padvigubėjo.

 

 Taip pat paklausūs yra įvairių tipų įgūdžiai. Kelsey Szot, kito AI startuolio „Adept“ įkūrėja, atkreipia dėmesį į asmenis, kurie greitai išmoksta naudotis AI įrankiais ir gali juos sujungti, kad sukurtų ką nors naujo ir įspūdingo. Skirtingai nuo tvankių mokslų daktarų, jie pateikia idėjų, kurios dažnai nėra akademiškai elegantiškos. Tačiau, sako ponia Szot, jie išspręs problemą per trumpą laiką. Itin konkurencingame AI startuolių pasaulyje tai neįkainojama.

 

 Dėl visos šios paklausos talentų srautai keičiasi. Daugelį metų inžinieriai plūdo į didžiųjų technologijų kvintetą: Alphabet („Google“ pagrindinė įmonė), „Amazon“, „Apple“, „Meta“ ir „Microsoft“. Tyrimų įmonė „Live Data Technologies“ stebi darbo pasikeitimus tarp įmonių. Iš jos duomenų bazėje esančių dirbtinio intelekto darbuotojų, didžiojo penketo kaupiamasis grynasis papildymas (samdymai atėmus išvykimus) buvo vidutiniškai 168 per mėnesį nuo 2019 m. sausio iki 2022 m. lapkričio, kai buvo išleistas ChatGPT. Daugelis tų, kurie paliko vieną iš didžiojo penketo, tiesiog prisijungė prie kito.

 

 Tačiau per ateinančius devynis mėnesius grynasis dirbtinio intelekto darbuotojų srautas į milžinus pasikeitė į vidutinį mėnesinį nutekėjimą. Dabar jie vėl papildo savo dirbtinio intelekto darbo jėgą, brakonieriuodami iš mažiau didelių technologijų įmonių, turinčių ne tokius įspūdingus dirbtinio intelekto kilmės dokumentus, iš tokių, kaip IBM ir Oracle. Tačiau grynosios įplaukos vis dar negrįžo į ilgalaikį vidurkį.

 

 Kur dingsta AI talentas? Viena populiarių vietų yra „Nvidia“, lustų gamintoja, kurios „grafikos apdorojimo įrenginiai“ skatina dirbtinio intelekto bumą ir kurios ambicijos apima ne tik aparatinę įrangą, bet ir programinę įrangą bei programas. Šį mėnesį jos rinkos vertė viršijo 3 mlrd. dolerių, stulbinančiu atstumu nuo „Microsoft“, vertingiausios pasaulyje bendrovės. Kiti prisijungė prie brandesnių startuolių, tokių, kaip Databricks, duomenų bazių ir AI įmonių, kaip OpenAI.

 

 Tačiau vienas iš septintų didžiųjų technologijų pasitraukusiųjų pradėjo dirbti „slaptuoju“ režimu, kuris neatskleidė produktų ar nepaskelbė planų. Visi aštuoni 2017 m. paskelbto dokumento „Dėmesys yra viskas, ko jums reikia“, kuriame buvo pateikti generatyvaus AI algoritminiai pagrindai, autoriai paliko „Google“, kur jie tuo metu dirbo. Septyni įkūrė savo įmones (kitas prisijungė prie OpenAI).

 

 Viena iš motyvų eiti į mažesnį startuolį gali būti finansinis. AI vedliui galimi atlygiai už sėkmingos įmonės akcijų paketą gali lengvai nusverti atlyginimą ir akcijų pasirinkimo sandorius, kuriuos siūlo technologijų gigantas. Tyrėjai taip pat vis dažniau nori dirbti su reikšmingomis problemomis. Pasak Zeki, nuo 2015 m. kasmet prie sveikatos priežiūros sektoriaus prisijungiančių asmenų skaičius išaugo 20 kartų (tai gali paaiškinti, kodėl „Google“ dirba su AI gydytoju Med-PaLM 2). Kitas motyvas – savarankiškumas. „Didelėse įmonėse yra per daug prekės ženklo rizikos, kad galėtų pradėti ką nors įdomaus“, – praėjusį rugsėjį vykusioje rizikos kapitalo konferencijoje sakė Noamas Shazeeris, vienas iš šio dokumento autorių. Jis įkūrė Character.ai, kuris leidžia vartotojams kurti pokalbių robotus su skirtingomis asmenybėmis.

 

 Geros naujienos tiek didelėms technologijų bendrovėms, tiek mažoms naujoms įmonėms yra tai, kad dirbtinio intelekto darbo pasiūla auga. Vienas iš šaltinių yra akademinė bendruomenė. Remiantis Stanfordo universiteto ataskaita, 2011 m. apie 41 % dirbtinio intelekto mokslų daktarų įsidarbino pramonėje, maždaug tiek pat, kiek ir akademinėje bendruomenėje. 2022 m. pramonėje šis skaičius siekė 71 %, o akademinėje bendruomenėje – 20 %. Universitetai taip pat moko daugiau dirbtinio intelekto. Nuo 2017 m. anglų kalbos studijų programų, susijusių su dirbtiniu intelektu, skaičius išaugo trigubai. „Visi kompiuterių mokslo skyriai tampa mašininio mokymosi katedromis“, – sako Naveen Rao iš Databricks.

 

 Amerikos įmonėms, kurios dominuoja pasaulinėje AI pramonėje, samdymas iš kitų šalių yra dar vienas būdas sumažinti talentų trūkumą. Spalio mėnesį prezidentas Joe Bidenas pasirašė vykdomąjį įsakymą, kuriuo bandoma sušvelninti imigracijos taisykles, kad daugiau AI ekspertų galėtų studijuoti ir dirbti Amerikoje. „Google“ ir „Microsoft“ parašė Darbo departamentui, kad parodytų jų paramą planui. Kitos vyriausybės nori to paties. ES planuoja mokymo programas ir subsidijas. Kinijos vyriausybė planuoja pritraukti talentus į jos krantus, be kita ko, įkurdama AI akademijas Pekine ir Šanchajuje. Visais lygmenimis konkurencija dėl dirbtinio intelekto darbuotojų įkaista." [1]

 

1. Retention is all you need. The Economist; London Vol. 451, Iss. 9401,  (Jun 15, 2024): 55, 56.