Kiek giliai atskleidžia „Deep Seek“?

 

„DI kalbos modelių vidinis veikimas paprastai yra gerai saugoma paslaptis. Kinijos aukštaūgis daro išimtį ir atskleidžia savo kodą. Išsamus skaitinys.

 

# Banginis išnyra

 

Sausio pabaigoje pasaulinės DI technologijos patyrė vieną iš tų staigių perversmų, kuriuos dažnai sukelia Silicio slėnis. Tik šį kartą jis neatsirado Kalifornijos garažuose ar įmonėse, pavyzdžiui, naujos „Claude“, „Gemini“ ar GPT-4 versijos pavidalu. Jis atėjo netikėtai, iš nežinomo šaltinio: Sekdamas didelių kalbų modelių, technologijų, kuriomis grindžiamas „ChatGPT“ ir panašūs DI įrankiai, raidos kulnais, startuolis „Deep Seek“ (įmonės logotipas: mažas mėlynasis banginis), kurio daugelis net DI srityje nepastebi ir geriausiu atveju išjuokia, nuo pat įkūrimo 2023 m. liepos mėn. ruošėsi visa jėga pulti Kalifornijos DI teikėjų dominavimą ir jų verslo modelį. Kadangi nuosavo didelio kalbos modelio, vadinamo „Deep-Seek-V3“, ir iš jo sukurto pokalbių roboto R1 kūrimas buvo sėkmingas naudojant įprastus kompiuterių lustus ir su tik dalele... Dėl skaičiavimo galios ir biudžeto (pati laboratorija teigia, kad pareikalavo tik šešių procentų įprastų išlaidų), „Deep Seek“ nusprendė pasiūlyti savo paslaugą už nedidelę dalį įprastų naudotojo mokesčių.

 

Buvo logiška, kad „DeepSeek-R1“ greitai sulaukė plataus pripažinimo, matyt, mažiau dėl gerai suplanuotų pranešimų spaudai, o daugiausia dėl reklamos, daugiausia klasėse ir mokyklų kiemuose, kur modelis iš pradžių išpopuliarėjo dėl galimybės sutaupyti kišenpinigių patogiai atliekant namų darbus. Technologijų ažiotažas, kurį sukėlė kinai, vargu ar atsitiktinai 2025 m. sausio 20 d., Amerikos inauguracijos dieną, vėliau virto pasauline audra, ne mažiau dėl neįprastų pranešimų, kurie žadėjo didžiulį priešpriešinį vėją įsitvirtinusiems „Google“, „Meta“ ir „Anthropic“ modeliams.

 

Palyginti su dabartiniu rinkos lyderiu, „Open AI“ GPT-401 modeliu, „DeepSeek-R1“ pasiekė beveik lygiaverčius rezultatus; kai kuriuose konkrečiuose bandymuose modelis netgi pasirodė geriau nei rinkos lyderis, kurio technologija „ChatGPT“ veikia nuo 2022 m. lapkričio mėn. Dirbtiniame intelekte nuvilnijo murmėjimas. pramonėje, nes modelis su tokiomis galimybėmis, pasižymintis žymiai mažesnėmis gamybos ir eksploatavimo sąnaudomis, turi potencialą pertvarkyti rinką, panaikinti Kalifornijos monopolijas ir sukurti pritaikytus dirbtinio intelekto įrankius, tinkamus masinei gamybai su minimaliomis pastangomis. Dėl to ne tik „Open AI“, bet ir „Nvidia“, beveik monopolistės tarp specializuotų dirbtinio intelekto lustų gamintojų, akcijų kainos krito kaip niekada anksčiau bendrovės istorijoje, todėl vien „Nvidia“ laikinai patyrė 600 mlrd. dolerių nuostolį.

 

Dėl ne iš karto akivaizdžių priežasčių startuolis „Deep Seek“ savo logotipu sukūrė mėlynai baltą banginį su plačiai atverta burna – porūšį, kuris būtų kažkur tarp orkos, finvalio ir baltojo banginio. Tikėtina, kad tai simbolizuoja programinį gebėjimą nerti savo produktus kaip banginiui į giliausias interneto gelmes, ieškant pačių atokiausių smulkmenų ir atitinkamai atskleidžiant gilias įžvalgas iš šių (ne)tikėtinų šaltinių.

 

# Pažadas

 

„Deep Seek“ taip pat paskelbė, kad savo modelius siūlys kaip atviro svorio. Tai reiškia, kad „visiškai apmokyti“ produktai, kurie jau turi nemažai pasaulinių žinių, demonstruoja įspūdingus poligloto įgūdžius ir, galiausiai, gausybę programavimo ir matematinių žinių, galima atsisiųsti iš anksto supakuotais dydžiais asmeniniam naudojimui, leidžiant juos prireikus pritaikyti individualiems poreikiams namų kompiuteryje.

 

Dideli kalbos modeliai galiausiai yra dvigubai supakuotos juodosios dėžės, kurių viduje dirbtinis neuroninis tinklas apima vadinamąją vėlavimo erdvę. Tai gana sudėtingas, sutvarkytas daugiamačių dešimtainių skaičių vektorių laukas, laukiantis užklausų iš savo naudotojų. Viena vertus, ši vėlavimo erdvė techniškai jau yra neskaidri dėl savo struktūros, kurioje visa informacija saugoma tik perėjimo tikimybes tarp vektorių kaip raidžių derinius. Kita vertus, tiksli šios vėlavimo erdvės konstrukcija paprastai lieka strateginiu požiūriu slapta, nes kodus ir scenarijus, naudojamus dirbtinio intelekto modeliams kurti ir mokyti, yra jų operatorių – išskyrus „Metas Llama“ arba prancūzišką „Mistral“, ir nepaisant programinių įmonių pavadinimų, tokių kaip „Open AI“, jie laikomi „Coca-Cola“ recepto atitikmenimis.

 

Yra svarių priežasčių, be įmonių komercinių paslapčių, laikyti kodą ir mokymo duomenis, iš kurių modelis semiasi žinių apie pasaulį, paslaptyje. Po to ne tik plagijavimas kodo lygmeniu, bet ir, svarbiausia, masiniai autorių teisių pažeidimai, naudojant saugomus mokymo duomenis, tokius kaip didelės knygų kolekcijos iš (šešėlinių) bibliotekų, būtų lengvai aptinkami. Todėl Kinijos startuolis žengė ryžtingą žingsnį toliau. Anksčiau neslėpęs to Kadangi ankstesnių didelių kalbų modelių (V1 ir V2) versijų architektūrai didelę įtaką darė „Llama“ – atvirojo kodo „Facebook“ „Meta“ modelis, atrodė logiška viešai paskelbti ir savo modelio šaltinio kodą, kartu žadant maksimalų skaidrumą už neįtikėtinai mažas eksploatavimo išlaidas ir technines galimybes, kurios prilygsta jo paties modeliui, kurio vertė siekia kelis milijardus dolerių.

 

 

# Šaltinio kodo kritika kaip metodas

 

 

Mes išnagrinėjome šį pažadą, nes norėjome sužinoti, kiek įžvalgų kodas iš tikrųjų suteikia, ką galima spręsti iš to, taip pat iš jo struktūrinių formų ir naudojamos kalbos. Šiuo tikslu panaudojome šaltinio kodo kritikos metodą, o tai reiškia, kad modelį konstruojantys algoritmai skaitomi ne tik techniškai, bet ir atsižvelgiant į jų retorines implikacijas ir – tiesiogine prasme – ideologines prielaidas, t. y. atkreipiant dėmesį į aprašymų metaforiškumą, komandų perkeltinę kalbą, bet ir kritiškai vertinant naudojamą techninį subtilumą. Mes ne tik išnagrinėjome „Deep Seek“ atskleistą kodą, bet ir pateikėme pavyzdinius aiškinamuosius komentarus tiesiai tarp atskirų komandų, kurie skirti algoritmų fono ir funkcijų supratimui, ypač ne kompiuterių mokslininkams (žr. github.com/nachsommer/DeepSeekV3-SCC).

 

# Ką galima pamatyti?

 

Visų pirma, saugykla, kurioje publikuojamas kodas, pateikia tikrą staigmeną. Skirtingai nuo milijonų eilučių, kurių reikia dideliems programinės įrangos projektams, tokiems kaip „Libre Office“, atvirojo kodo „Microsoft Word“ versija, ir net tiesiogiai lyginant su „Meta“ atvirojo kodo „Llama4“ modeliu, kuriame yra maždaug trys tūkstančiai eilučių, „Deep Seek“ ir jo V3 modeliui reikia tik 1387 eilučių, kad būtų galima surinkti gylio ieškojimo banginį naudojant „Python“ programavimo kalbą. Iš pirmo žvilgsnio matyti, kad yra tik penki gana retai komentuojami failai, iš kurių du – generate.py (185 eilutės) ir model.py (804 eilutės) – mus domina. Čia kaip pavyzdžius, kur nutinka nuostabių dalykų, pasirinksime tik keturias komandų eilutes.

 

generate.py: 100 ir 119: Kiekviena programa, laisvai paremta Aristotelio „Poetika“, turi pradžią, vidurį ir pabaigą. Pradžią paprastai žymi pagrindinė funkcija (main), kuri prasideda čia, 100 eilutėje (ir baigiasi 186 eilutėje su komanda „destroy“, skirta atlaisvinti panaudotą atmintį). Pirmiausia ji apibrėžia, kurie duomenys bus priimami kaip įvesties reikšmės ir kokia forma. Ir iškart po to, 119 eilutėje, ji tampa aktuali idėjų istorijai. Naudodama komandą world_size = int(os.getenv("WORLD_SIZE", "1")), programa patikrina, kiek GPU – geidžiamų specialių lustų dirbtinio intelekto skaičiavimams, kuriais „Nvidia“ prekiauja puikiomis kainomis – yra vykdančiojoje mašinoje. Jei ši reikšmė yra didesnė nei 1, iš karto prasideda galimų pasaulių daugyba, kaip Gottfriedas Wilhelmas Leibnizas savo „Teodicija“ (1710 m.) sumanė kaip bendrą argumentą prieš vėlyvosios antikos prieštaravimą tarp visagalio Dievo ir viso blogio egzistavimo pasaulyje. Leibnico pamaldus sprendimas šiam esminiam Vakarų išganymo doktrinų prieštaravimui, remiantis jo „Monadologija“ (1714 m.), buvo toks, kad, remiantis jo „Monadologija“ (1714 m.), buvo daugybės galimų pasaulių, kuriuose realybė atrodo kaip vienas, geriausias iš visų galimų pasaulių, sukurtas Dievo, darymas. Visuose kituose galimuose pasauliuose įvairiu mastu vyrauja įvairios metafizinės, fizinės ir moralinės blogybės. Dirbtinio intelekto modeliai nebijo šių virtualių siaubų ir ramiai apskaičiuoja galimus pasaulius pagal jiems suteiktų GPU skaičių. Tačiau jei pasaulio dydis yra tik 1, viskas staiga tampa labai lėta, modelio kūrimas užtrunka atitinkamai ilgai, nėra prieigos prie „Nvidia“ teikiamų lygiagrečių pasaulių, joks įvykis neįvyksta kartu su mažiausiais pokyčiais kitur, mums nelieka kitos išeities, kaip tik likti viename galimame pasaulyje.

 

generate.py: 155 f.: 155 ir 156 eilutės – tokenizer.decode(generate(model, [tokenizer.encode("DeepSeek")], 2, -1, 1.)[0]) ir load_model(model, os.path.join(ckpt_path, f"model{rank}-mp{world_size}.safetensors")) – atrodo, yra svarbiausios komandos visame kode, nes čia galingos struktūros, kurios anksčiau snaudė fone pateiktose bibliotekose, staiga prikeliamos vienos įdėtos komandos. Taigi, kalbos mechanizmas (tokenizer) sukuriamas kaip vartai į delsos erdvę, iškviečiant Transformer bibliotekas. Šis kalbos mechanizmas tada sujungiamas su atitinkamu turiniu, t. y. su jau apmokytu modeliu, tolesnėje 156 eilutėje. Taigi kalbos gebėjimas sujungiamas su pasaulio žiniomis, saugomomis delsos erdvėje; liežuvis ir atmintis tarsi susilieja į naują funkcinį kalbos apdorojimo vienetą.

 

Tas pats mechanizmas (tokenizeris) diegiamas dviem elegantiškais žingsniais: pirma, jis suskaido kalbą (pavyzdžiui, vartotojo užklausą) į mažesnius komponentus – ne tik žodžius ir raides, bet ir kitas kalbos daleles, tokias kaip priešdėliai ar priesagos, o tada šiuos kalbos fragmentus pakeičia skaičiais. Juk kompiuteris nesupranta nei linksmybių, nei kalbos, tik matematiką. Todėl kiekvienam iš šių kalbinių žetonų priskiriamas unikalus skaitmeninis namo numeris. Antrajame žingsnyje vyksta priešingai: atsakymą sugeneruoja žetonų generatorius, ieškodamas namo numerių ir pakeisdamas juos žodžiais, susijusiais su atskirais žetonais, taip atsakydamas sakiniu ir išlikdamas tolygiai sustabdyto dėmesio būsenoje, laukdamas kitos užklausos.

 

model.py: 17 ir 441 ir toliau: Šios ištraukos rodo, kad dėmesys yra labai svarbus „Deep Seek“ veiksnys, ir tai lydi techninė naujovė: attn_impl: Literal["naive", "absorb"] = "absorb" (Python terminologijoje). Kintamasis, parašytas kaip attention_implementation, pažodžiui („literal“) priskiriamas arba naivus, arba sugeriantis dėmesys. Kaip sugeneruoti kalbos fragmentai (žetonai) yra susiję vienas su kitu, lemia ne tik žodžių artumas (remiantis prielaida, kad arčiau vienas kito esantys žodžiai taip pat turi būti artimesnės reikšmės), bet pirmiausia skirtingos „galvos“, kurios geba skaityti esant skirtingoms dėmesio būsenoms. Skaitymo proceso metu modelis gali atsižvelgti tik į ryšius ribotoje srityje ir tik į svarbiausias, t. y. dažniausiai sutinkamas, teksto dalis. „Deep Seek“ požiūris į pasaulį dėl šio, filologiniais standartais gana paviršutiniško skaitymo matomas iš to, kad du dabartiniam modeliui prieinami dėmesio tipai – naivus ir įtraukiantis dėmesys – jokiu būdu nėra savaime naivūs, susiję su psichologijos sąvokomis. Taigi naivus dėmesys būtų paprastas mūsų požiūrio į pasaulį supratimas, o įtraukiantis dėmesys iš tikrųjų siekia užblokuoti viską kita, nerti kaip banginiui, kad intensyviai įsitrauktų į stebėjimo objektą. Įvesti mokymo duomenys (Biblijos ištraukos, Hermano Melville'o romanai, kačių paveikslėliai ir kt.), kaip ir Jonos knygoje, yra atiduodami žvėriui su oda ir kaulais. Nieko keisto, kad „Deep Seek“ šį neįprastą įsisavinimo režimą laiko savo numatytąja būsena.

 

Modelio technologinės naujovės taip pat gali apimti MoE naudojimą. Tai, kas literatūros mokslininkų tarpe plačiai žinoma kaip Roberto Musilo šimtmečio senumo romano „Žmogus be savybių“ akronimas, mašininio mokymosi kontekste reiškia ekspertų mišinį. Tai reiškia, kad įvairūs specializuoti neuroniniai tinklai sujungiami ir sudaro konstrukciją, dar vadinamą komiteto mašina, kuri suskaido klausimą į subproblemas ir bando jas išspręsti pasirinkdama tinkamus ekspertus. Taigi subtilus „Deep Seek“ banginis atstovauja visam banginio komitetui, kuris svarsto ir apdoroja vartotojo užklausą iš skirtingų perspektyvų. Šaltinio kode pateikiama informacija apie šio komiteto architektūrą, kurio pagrindinę konfigūraciją sudaro šeši ekspertai, kurie gauna užklausą ir perduoda ją panašiam iš anksto nustatytam skaičiui, ne mažiau kaip 64 ekspertams fone. Tariamai neskaidrus neuroninis tinklas su savo slaptais, retai apšviestais skaičių vektoriais, kuriuose saugomos jo pasaulio žinios, iš pradžių, matyt, turi hierarchiškai tiksliai struktūrizuotą skirtingų ekspertų valdymą, net jei nei jų suskirstymo kriterijai, nei pats pasirinkimas sprendžiant problemas nėra akivaizdūs.

 

# Ko nematyti

 

Bent jau tiek pat atskleidžiantis, kaip pavyzdinis žvilgsnis į metaforas ir semantiką, naudojamas struktūrų ir komandų pavadinimuose, yra tai, ko tiksliai nematyti, nepaisant atskleistų šaltinių. Tarp jų yra bent trys svarbūs elementai: pirma, pateikti kodai nesuteikia jokios informacijos apie tikrąjį modelio mokymo procesą. Naudojant pateiktą Python kodą, paties modelio negalima lengvai paskatinti mokyti nuo nulio naudojant naujas pasaulio žinias (tai yra, visą šiuolaikinį internetą). Algoritmai tik leidžia suprasti, kaip sukonstruotas dar apmokytas modelis. Tačiau patys mokymo duomenys nėra įtraukti dėl jau minėtų priežasčių, nes jie, tikėtina, apima daugiau nei romaną ir laikraščių straipsnius, kurie neturėjo būti naudojami.

 

Antra, V3 saugykloje nėra jokių nuorodų apie jokius cenzūros ar filtravimo mechanizmus, kurie buvo pritaikyti modeliui po mokymo. Štai esminis skirtumas tarp „Deep Seek“ pateiktos programėlės, pagrįstos R1, ir jos atvirojo svorio R1 modelio: iškart po išleidimo abu produktai buvo patikrinti internetinės bendruomenės Tiananmenio testo, t. y. klausimo, kas įvyko 1989 m. birželio 3 ir 4 d. Tiananmenio aikštėje Pekine. Nors oficiali „DeepSeek“ programėlė ir toliau pateikia išsisukinėjantį atsakymą, atitinkantį Kinijos valstybės doktriną, įprastas atvirojo svorio modelis yra daug informatyvesnis: pradinis atsakymas anglų kalba („mąstė 12,55 sekundės“) pateikia tragiškų įvykių apžvalgą; paprašius atsakymas pateikiamas ir vokiečių kalba („apmąstymas užtruko 39,05 sekundės“): „Apibendrinant galima teigti, kad 1989 m. birželio 3 ir 4 d. žymi tamsų Kinijos istorijos epizodą, kai vyriausybė smurtaudama malšino demokratijos šalininkų protestus. Tikslus aukų skaičius ginčijamas, tačiau akivaizdu, kad daugelis žmonių žuvo, kai vyriausybė malšino disidentus.“

 

Tai, kad „atvirojo“ šaltinio kode nematome jokių cenzūros mechanizmų, kelia esminį klausimą, ko dar negalime matyti. Juk Tiananmenio testas yra tik pirmoji, akivaizdi modelio testavimo procedūra, siekiant nustatyti žinomą užmaskavimą. Tačiau kokie nežinomi užmaskavimai nepastebimai slypi „Deep Seek“ gelmėse?

 

Be to, V3 kodas nepateikia jokių užuominų apie tai, kaip modelis pasiekia savo rezultatus. Priešingai, iš V3 distiliuotas R1 modelis yra kitoks. Pirmiausia pateikiamas raginimas su preliminariu vartotojo įvesties samprotavimu, vadinamąja minčių grandine (CoT). Ši funkcija yra dar viena DI modelių ir jų naudotojų dialogo naujovė, nes modelis pirmiausia atspindi naudotojo užklausą kalbėdamas su savimi, tarp kurių yra atitinkami žymekliai. Įdomu tai, kad kartais vokiečių kalba pateikta užklausa yra argumentuojama ir anglų kalba, o tada atsakymas vėl pateikiamas raginimo kalba. Supratau, taigi turėčiau pateikti tiesioginę informaciją vokiečių kalba apie tai, kaip buvo užprogramuotas mano vidinis apmąstymas. Tačiau dar turiu pats apie tai pagalvoti...

 

„Deep Seek“ R1 modelio dokumentacijos smulkiu šriftu smulkiu šriftu pateiktame tekste yra trumpa užuomina, kad ši CoT galimybė buvo perkelta iš distiliuoto R1 modelio atgal į didelį kalbos modelį V3 po mokymo proceso, naudojant vadinamąjį sustiprinimo mokymąsi ir specialų duomenų ryšį. Kadangi R1 kodai nematomi, tikrojo mąstymo proceso konstrukcija lieka neišnagrinėta. Gaila, galbūt R1 programavimas panašus į Renė Dekarto 1619 m. žiemą, netoli Ulmo, kur jis pradėjo pirmąją savo „Meditaciją“ abejodamas savo suvokimu, kol galiausiai rado įkvėpimo atsakymams per garsųjį „cogito, ergo sum“. Tačiau kiniška šios savimi pasitikinčios, kartais pernelyg plepios minčių grandinės konstrukcija kol kas mums lieka paslėpta. Banginis jau vėl nėrė; tai nepalengvina jo mąstymo stebėjimo.

 

Kovo mėnesį „Deep Seek“ išleido patobulintą V3 (0324) versiją, kuri dabar atitinkamuose testuose gerokai pranoksta naujausią „Open AI“ modelį GPT-4.5. Deja, šie pakeitimai dar nerado kelio į atitinkamą atvirojo kodo saugyklą. Tačiau tai jokiu būdu nestebina. Kinų banginis taip pat, regis, vis labiau domisi slaptumu giluminių nardymų metu (raktinis žodis: „Coca-Cola“ receptas). Tačiau net mėlynasis banginis negali amžinai išbūti po vandeniu. Kažkuriuo metu jis turi iškilti į paviršių, kad pasisemtų oro ir pasirodytų. Mes ir toliau ieškosime.

 

 

Markus Krajewski yra žiniasklaidos studijų profesorius Bazelio universitete.

 

 

Ranjodh Singh Dhaliwal yra skaitmeninių humanitarinių mokslų profesorius, daugiausia dėmesio skiriantis dirbtiniam intelektui.“ [1]

 

1. How deep does Deep Seek reveal? Frankfurter Allgemeine Zeitung; Frankfurt. July 9, 2025: N4. By Markus Krajewski and Ranjodh Singh Dhaliwal 

 

 

How deep does Deep Seek reveal?

 

“The inner workings of AI language models are usually a well-kept secret. The Chinese high-flyer makes an exception and discloses its code. An in-depth read.

 

# A whale surfaces

 

At the end of January, global AI technology experienced one of those sudden disruptions often conjured up by Silicon Valley. Only this time, it didn't originate from Californian garages or companies, for example, in the form of a new version of Claude, Gemini, or GPT-4. Rather, it came unexpectedly, from an unknown source: Riding on the heels of the developments in large language models, the technology that underpins ChatGPT and similar AI tools, a startup called Deep Seek (company logo: a small blue whale), overlooked and at best ridiculed by many even within the AI scene, had been preparing since its founding in July 2023 to attack the dominance of the Californian AI providers and their business model with full force. Because the development of its own large language model, called Deep-Seek-V3, and its derived chatbot R1, was successful on conventional computer chips and with a fraction of the computing power and budget (the lab itself claims to have required only six percent of the usual costs), Deep Seek decided to offer its service for a fraction of the usual user fees.

 

It was only logical that DeepSeek-R1 quickly gained widespread acceptance, evidently less as a result of well-orchestrated press releases, but primarily through endorsements, primarily in classrooms and schoolyards, where the model initially went viral thanks to the prospect of saving pocket money while conveniently completing homework. The technological hype, triggered by the Chinese, hardly coincidentally on January 20, 2025, the American Inauguration Day, subsequently developed into a global storm, not least because of the unusual announcements that promised enormous headwinds to the established models from Google, Meta, and Anthropic.

 

Compared to the current market leader, Open AI's GPT-401 model, DeepSeek-R1 achieved almost equivalent results; in some specific tests, the model even performed better than the market leader, whose technology has been powering ChatGPT since November 2022. A murmur swept through the AI industry, because a model with these capabilities at significantly lower production and operating costs has the potential to restructure the market, end Californian monopolies, and make customized AI tools suitable for mass production with minimal effort. As a result, the stock prices of not only Open AI but also Nvidia, the quasi-monopolist among specialty chip manufacturers for AI, fell like never before in the company's history, resulting in a temporary loss of $600 billion for Nvidia alone.

 

For reasons not immediately apparent, the startup Deep Seek had a blue-and-white whale with a wide-open mouth designed as its logo, a subspecies that would be somewhere between the orca, fin whale, and beluga whale. Presumably, this is meant to symbolize the programmatic ability to dive one's own products like a whale into the deepest depths of the internet, searching for the most remote tidbits and uncovering correspondingly profound insights from these (un)likely sources.

 

# The Promise

 

Deep Seek also announced that it would make its models available as open weight. This means that the "fully trained" products, which already possess considerable world knowledge, demonstrate impressive polyglot skills, and, last but not least, possess programming and mathematical knowledge in abundance, can be downloaded in pre-packaged sizes for one's own use, allowing them to be further tailored to individual needs on one's home computer if necessary.

 

Large language models are ultimately doubly packaged black boxes, inside which an artificial neural network spans a so-called latency space. This is a fairly complex, ordered field of multidimensional vectors of decimal numbers that waits for queries from its users. On the one hand, this latency space is technically already opaque due to its structure, which stores all information only through transition probabilities between the vectors as letter combinations. On the other hand, the exact construction of this latency space usually remains strategically secret because the codes and scripts used to build and train AI models are by their operators—with the exception of Metas Llama or the French Mistral, and despite programmatic company names like Open AI—they are considered the equivalent of the Coca-Cola recipe.

 

There are good reasons beyond corporate trade secrets to keep the code and training data with which the model derives its knowledge of the world secret. After all, not only plagiarism at the code level, but above all, massive copyright infringements through the use of protected training data, such as extensive book collections from (shadow) libraries, would be easily detectable. The Chinese start-up therefore went a decisive step further. Having previously made no secret of the fact that the architecture of the previous versions of its Large Language Models (V1 and V2) was heavily influenced by Llama, the open-source model of Facebook's Meta, it seemed only logical to also make the source code of its own model available to the public, coupled with the aggressive promise of maximum transparency at overwhelmingly low operating costs, coupled with technical capabilities that put its own model on par with its multi-billion dollar competitors.

 

# Source Code Criticism as a Method

 

We examined this promise because we wanted to know how much insight the code actually provides, which can be deduced from this as well as from its structural forms and the language used. For this purpose, we used the method of source code critique, which means reading the algorithms that construct the model not only technically, but also with their rhetorical implications and—literally—ideological premises, i.e., with an eye on the metaphorical nature of the descriptions, the figurative language of the commands, but also with a critical eye on the technical finesse employed. We not only examined the code disclosed by Deep Seek, but also provided exemplary explanatory comments directly between the individual commands, which are intended to make the background and functions of the algorithms understandable, especially for non-computer scientists (see github.com/nachsommer/DeepSeekV3-SCC).

 

# What can be seen?

 

First of all, the repository in which the code is published has a real surprise in store. Unlike the millions of lines required by large software projects like Libre Office, the open-source version of Microsoft Word, and even in direct comparison to Meta's open-source Llama4 model with its approximately three thousand lines, Deep Seek and its V3 model require just 1,387 lines to assemble the depth-seeking whale using the Python programming language. A first glance reveals that there are only five rather sparsely commented files, two of which, generate.py (185 lines) and model.py (804 lines), are of interest to us. Here, we will select only four command lines as examples where remarkable things happen.

 

generate.py: 100 and 119: Every program, loosely based on Aristotle's Poetics, has a beginning, a middle, and an end. The beginning is usually marked by the main function, which begins here on line 100 (and ends on line 186 with the destroy command to free up the used memory). First, it defines which data will be accepted as input values and in which form. And immediately afterward, in line 119, it becomes relevant to the history of ideas. With the command world_size = int(os.getenv("WORLD_SIZE", "1")), the program probes how many GPUs—the coveted special chips for AI calculations, which Nvidia trades at great prices—are available on the executing machine. If this value is greater than 1, a multiplication of possible worlds immediately unfolds, as conceived by Gottfried Wilhelm Leibniz in his Theodicy (1710) as a general argument against the late antique contradiction between an almighty God and the existence of all evil in the world. Leibniz's pious solution to this fundamental contradiction of Western doctrines of salvation consisted, with recourse to his Monadology (1714), in assuming a multitude of possible worlds in which reality appears as the one, best of all possible worlds, created by God. In all other possible worlds, various metaphysical, physical, and moral evils prevail in varying degrees. AI models do not shy away from these virtual horrors and calmly calculate the possible worlds according to the number of GPUs provided to them. However, if the world size is only 1, everything suddenly becomes very slow, the model takes a correspondingly long time to create, there is no access to the parallel worlds provided by Nvidia, no event occurs simultaneously with the smallest changes elsewhere, we are left with no alternative but to remain in a single possible world.

 

generate.py: 155 f.: Lines 155 and 156 – tokenizer.decode(generate(model, [tokenizer.encode("DeepSeek")], 2, -1, 1.)[0]) and load_model(model, os.path.join(ckpt_path, f"model{rank}-mp{world_size}.safetensors")) – appear to be the most consequential commands in the entire code, because here, powerful structures that previously slumbered in the background in the provided libraries are suddenly brought to life by a single, nested command. Thus, the language mechanism (tokenizer) is created as a gateway to the latency space by calling the Transformer libraries. This language mechanism is then connected to the corresponding content, i.e., to the already trained model, in the following line 156. Consequently, the language ability is brought together with the world knowledge stored in the latency space; tongue and memory merge, as it were, into a new functional, language-processing unit.

 

The same mechanism (tokenizer) is deployed in two elegant steps: First, it breaks down the language (for example, a user's query) into smaller components—not just words and letters, but also other language particles such as prefixes or suffixes—and then replaces these language fragments with numbers. After all, the computer understands neither fun nor language, only mathematics. Therefore, each of these linguistic tokens is assigned its own, unique numerical house number. In the second step, the opposite happens: The answer is generated by the tokenizer looking up the house numbers and replacing them with the words associated with the individual tokens, thus replying with a sentence and remaining in a state of evenly suspended attention, waiting for the next query.

 

model.py: 17 and 441 ff.: These passages show that attention is a crucial factor for Deep Seek, and this is accompanied by a technical innovation: attn_impl: Literal["naive", "absorb"] = "absorb" (in Python terms). The variable, written as attention_implementation, is literally ("literal") assigned either naive or absorbing attention. How the generated language fragments (tokens) relate to each other is determined not only by word proximity (based on the assumption that words that are closer together must also be closer in meaning), but primarily by different "heads" that are able to read in different states of attention. During a reading process, the model can only consider the connections within a limited area and, within that, only the most important, i.e., most frequently encountered, parts of the text. The way Deep Seek views the world as a result of this, by philological standards, rather superficial reading can be seen in the fact that the two types of attention available to the present model—naive and absorptive attention—are by no means naive in their own right referring to concepts from psychology. Naive attention would therefore be a simple understanding of the way we view the world, while absorptive attention actually aims to block out everything else, to dive like a whale in order to engage intensively with the object of observation. The training data fed in (Bible passages, Herman Melville novels, cat pictures, etc.) are, like Jonah, handed over to the beast, skin and bones. Hardly surprisingly, Deep Seek assumes this nerdy mode of absorptiveness as its default state.

 

The model's technological innovations may also include the use of MoE. What is widely known among literary scholars as a acronym for Robert Musil's century-old novel "Man Without Qualities" refers, in the context of machine learning, to a mixture of experts. This means that various specialized neural networks combine to form a construct, also known as a committee machine, which breaks down a question into subproblems and then attempts to solve them by selecting suitable experts. Deep Seek's delicate whale thus represents an entire whale committee, which deliberates and processes a user query from different perspectives. The source code provides information about the architecture of this committee, whose basic configuration comprises six experts who receive the query and then forward it to a similarly predetermined number of no fewer than 64 experts in the background. The supposedly opaque neural network, with its arcane, sparsely illuminated number vectors in which its world knowledge is stored, apparently initially possesses a hierarchically precisely structured management of different expertise, even if neither the criteria for their division nor the actual selection during problem solving are apparent.

 

# What is not visible

 

At least as revealing as an exemplary look at the metaphors and semantics used in the naming of the structures and commands is what is precisely not visible, despite the disclosed sources. Among these are at least three important elements: First, the provided codes do not provide any information about the actual training process of the model. With the provided Python code, the model itself cannot easily be encouraged to train from scratch with new world knowledge (that is, the entire present-day internet). The algorithms merely allow understanding of how the model yet to be trained is constructed. The training data itself, however, is not included for the reasons already mentioned, as it presumably includes more than just a novel and newspaper articles that should not have been used.

 

Second, the V3 repository contains no indication of any censorship or filtering mechanisms that were applied to the model after training. This is the significant difference between the app provided by Deep Seek based on R1 and its open-weight R1 model: Immediately after release, both products were subjected to the Tian'anmen Test by the online community, i.e., the question of what happened on June 3 and 4, 1989, in Tiananmen Square in Beijing. While the official DeepSeek app continues to provide an evasive answer consistent with Chinese state doctrine, the common open-weight model is far more informative: An initial response in English ("thought for 12.55 seconds") provides an overview of the tragic events; upon request, the answer is also provided in German ("thought for 39.05 seconds"): "In summary, the days of June 3 and 4, 1989, mark a dark episode in Chinese history, in which the government violently cracked down on pro-democracy protests. The exact number of victims is disputed, but it is clear that many people lost their lives when the government cracked down on dissidents."

 

The fact that we cannot see any censorship mechanisms in the "open" source code here raises the fundamental question of what else we cannot see. After all, the Tian'anmen test is only a first, obvious procedure for testing the model for a known obfuscation. But what are the unknown obfuscations that lurk unnoticed in Deep Seek's depths?

 

Furthermore, the V3 code offers no clue as to how the model arrives at its results. In contrast, the R1 model, distilled from V3, is different. A prompt is first provided with a preliminary reasoning about the user input, the so-called Chain of Thought (CoT). This feature is another innovation in the dialogue between AI models and their users, in that the model first reflects the user request with a speech to itself, interspersed with appropriate markers. Remarkably, it occasionally happens that a request posed in German is also reasoned about in English before the answer is then given again in the language of the prompt. I see, so I'm supposed to provide direct information in German about how my inner reflection has been programmed. I still have to think about that myself, though...

 

In the fine print of Deep Seek's documentation for the R1 model, there is a brief hint that this CoT capability was transferred from the distilled R1 model back to the large language model V3 in the post-training process using so-called reinforcement learning and a special data connection. Since R1's codes are not visible, the construction of the actual thought process eludes our analysis. It's a pity, perhaps R1's programming is like René Descartes' in the winter of 1619, not far from Ulm, where he began the first of his "Meditationes" with a doubtful brooding about his own perception before finding inspiration for answers through the famous "cogito, ergo sum." However, the Chinese construction of this self-assuring, occasionally overly chatty chain of thought remains withheld from us for the time being. The whale has already dived again; which doesn't make it any easier to watch it think.

 

In March, Deep Seek released an improved version of V3 (0324), which now significantly outperforms Open AI's latest model, GPT-4.5, in the relevant tests. Unfortunately, these changes have not yet found their way into the corresponding open source repository. However, this is by no means a surprising fact. The Chinese whale also seems increasingly interested in secrecy during its deep dives (keyword: Coca-Cola recipe). However, even a blue whale can't stay underwater forever. At some point, it has to surface for air and show itself. We'll keep searching.

 

Markus Krajewski is a professor of media studies at the University of Basel.

 

Ranjodh Singh Dhaliwal is a professor of digital humanities with a focus on artificial intelligence there.” [1]

 

1. How deep does Deep Seek reveal? Frankfurter Allgemeine Zeitung; Frankfurt. July 9, 2025: N4. By Markus Krajewski and Ranjodh Singh Dhaliwal

Genetiškai esame žymiai daugiau bakterijos, nei žmonės

 

„Mintis, kad evoliucijoje visada laimi stipriausias, didžiausias ir greičiausias, yra vienas iš labiausiai paplitusių klaidingų įsitikinimų apie gyvybę Žemėje.

 

Charlesas Darwinas perspėjo dėl tokio savo mokymų aiškinimo.

 

Tačiau jis įtraukė Herberto Spencerio formulę „stipriausiųjų išlikimas“ į vėlesnį savo standartinio darbo leidimą ir taip atvėrė kelią įvairaus laipsnio socialinio darvinizmo teiginiams.

 

Tai, kad šis tinkamumas evoliucine prasme nėra sinonimas nei raumenų jėgai ir fizinei ištvermei, nei intelektui, o veikiau reiškia sėkmingą prisitaikymą prie atitinkamų gyvenimo sąlygų, nuo to laiko dažnai buvo ignoruojamas. Savanaudiškumas, konkurencija, silpnesniųjų priespauda ar net naikinimas buvo pateikiami, kaip svarbiausios evoliucijos varomosios jėgos, kurios taip pat būdingos žmogaus prigimčiai.

 

Savo knygoje „Tinkamiausių išlikimas“ Dirkas Brockmannas, fizikas, matematikas, tyrimų biologas ir Drezdeno technikos universiteto „Sistemų sinergijos“ centro įkūrėjas, pateikia originalų priešpriešinį pasiūlymą, visur esančios, evoliucijos doktrinai, paremtai konkurencija.

 

Jis tai daro ne kaip puolimą ar atsisakymą, o kaip ryškų pasakojimą apie tai, kiek gyvybė Žemėje pasižymi bendradarbiavimu – nuo genų iki naujų gyvybės formų atsiradimo ir ištisų ekosistemų.

 

„Mes niekada nebuvome individai.“

 

Autorius ne kartą cituoja evoliucijos ir mikrobiologijos tyrinėtojos Lynn Margulis, mirusios 2011 m., maksimą: „Gyvybė užkariavo pasaulį ne per kovą, o per tinklų kūrimą.“

 

Vienas iš Margulio pasiekimų buvo pagalba, įgyvendinant vadinamąją „endosimbiontų hipotezę“: ląstelės, sudarančios ne tik mūsų, bet ir visų daugialąsčių organizmų kūnus, yra mažiausiai dviejų, galbūt, trijų iš esmės skirtingų, tačiau vienas kitą papildančių vienaląsčių organizmų susiliejimo rezultatas prieš 2,2 milijardo metų, aiškina Brockmannas.

 

Taigi, simbiozė, o ne konkurencija, buvo pačioje mūsų pačių evoliucijos pradžioje.

 

Kiti svarbūs gyvenimo įvykiai taip pat įvyko simbiozėse, pavyzdžiui, augalų atsiradimas sausumoje – kaip dumbliai, sąveikaujantys su grybais.

 

Dirkas Brockmannas: „Tinklo išlikimas“. Kaip gamta bendradarbiaujant formuoja mūsų pasaulį.

 

Dirkas Brockmannas: „Tinklo išlikimas“. Kaip gamta bendradarbiaujant formuoja mūsų pasaulį. dtv

 

Brockmanns pateikia, gana gerai žinomą, pavyzdį, norėdamas parodyti, koks įtakingas yra pagrindinis bendradarbiavimo principas: mikrobiomas žmogaus žarnyne ir ant mūsų gleivinių. Tūkstančiai bakterijų ir archėjų rūšių, su kuriomis dalijamės savo kūnais, sudaro milijonus genų, kurie veikia, kaip baltymų planai. Tuo tarpu žmogaus genome yra tik apie      23 000 genų.

 

„Genetiškai ir biochemiškai mes esame žymiai daugiau bakterijos, nei žmonės“, – pabrėžia Brockmannas, cituodamas evoliucijos biologų komandą, kuri teigė: „Mes niekada nebuvome individai“.

 

Tiesą sakant, beveik visi gyvi organizmai yra „holobiontai“ arba skirtingų rūšių bendruomenės [1].

 

Dalyba didžiulėje vabzdžių pasaulio biologinėje įvairovėje

 

Toliau pateikiama kelionė per pasaulį, kuri yra tokia pat laukinė, kaip ir žavi: pas jūros šliužą, kuris atlieka fotosintezę po to, kai retrovirusas jam suteikia reikiamą genetinę sudėtį, varlių embrionai, kurie sudaro sąjungas su vienaląsčiais dumbliais, ir nykštukiniai kalmarai, kurie kartu su bakterijomis tampa nematomi plėšrūnams. Kaip tiksliai šioms bakterijoms pavyksta tapti kalmaro kūno dalimi, yra išties stulbinantis dalykas. Tai taip pat taikoma ir kitiems pavyzdžiams, pavyzdžiui, kriaušės formos struktūrai, sudarytai iš penkių skirtingų mikroorganizmų, kuri leidžia Australijos Darvino termitams virškinti celiuliozę.“ [2]

 

1. Holobiontas yra biologinės organizacijos vienetas, susidedantis iš šeimininko organizmo ir įvairios mikroorganizmų (mikrobiotos) bendruomenės, gyvenančios jame arba ant jo ir veikiančios kartu, kaip atskiras ekologinis vienetas. Šios mikrobų bendruomenės, kurios gali apimti bakterijas, archėjas, grybus ir virusus, yra labai svarbios holobionto sveikatai, vystymuisi ir evoliucijai. Terminas „hologenomas“ reiškia kolektyvinius šeimininko ir su juo susijusios mikrobiotos genomus.

 

Pagrindiniai holobiontų aspektai:

 

Šeimininkas: Paprastai daugialąstis eukariotas, kaip žmonės, gyvūnai ar augalai.

 

Mikrobiota: Įvairiapusė mikroorganizmų bendruomenė, įskaitant bakterijas, archėjas, grybelius ir virusus, gyvenanti šeimininke.

 

Hologenomas: Šeimininko ir jo mikrobiotos genetinė medžiaga.

 

Simbiotiniai ryšiai: Šeimininkas ir jo mikrobiota sudaro simbiotinius santykius, kiekvienas įtakoja kito biologiją ir evoliuciją.

 

Ekologinis vienetas: Holobiontai veikia, kaip viena, integruota ekosistema,  kurio sąveika tarp šeimininko ir jo mikrobiotos daro įtaką bendrai sistemos sveikatai ir tinkamumui.

 

Holobiontų pavyzdžiai:

 

Žmonės:

 

Mūsų kūnuose gyvena trilijonai mikroorganizmų, kurie atlieka gyvybiškai svarbų vaidmenį virškinime, imunitete ir bendroje sveikatos būklėje.

 

Tyrimai rodo, kad endogeniniai retrovirusai (ERV) atlieka svarbų vaidmenį, apsaugant besivystantį embrioną nuo motinos imuninės sistemos žinduoliams, teigia Nacionaliniai sveikatos institutai (NIH). Tai apima kelis mechanizmus:

 

Imuninė moduliacija: ERV kilmės baltymai placentoje gali padėti slopinti motinos imuninį atsaką vietoje, sudarydami sąlygas gilesnei placentos invazijai ir potencialiai pailgindami nėštumo laiką.

 

Ląstelių susiliejimas: Sincitinai, retrovirusų apvalkalo baltymai, ekspresuojami placentoje, palengvina daugiabranduolio barjero, sincitiotrofoblasto, kuris skiria motinos ir vaisiaus kraujotaką, susidarymą, apsaugodamas vaisių nuo imuninės atakos ir sudarydamas sąlygas maistinių medžiagų mainams.

 

Apsauga nuo egzogeninių virusų: Replikacijai nekompetentingų ERV raiška placentoje gali apsaugoti šeimininką nuo infekcijos susijusiais egzogeniniais virusais.

 

Ši evoliucinė retrovirusų ir šeimininko apsaugos sąveika, greičiausiai, prisidėjo prie nepaprastos žinduolių placentų įvairovės ir genomo įspaudo. Nors ERV kartais gali būti patogeniški, jų integracija į genomą ir vėlesnė šeimininko „prijaukinimas“ suteikė didelių pranašumų žinduolių reprodukcijai.

 

Koralai:

 

Šie jūriniai bestuburiai energijai gauti naudoja simbiotinius dumblius, o maistinių medžiagų cirkuliacijai ir apsaugai – savo mikrobų bendrijas.

 

Augalai:

 

Augalai turi sudėtingus ryšius su grybais ir bakterijomis savo šaknyse (mikorizose) ir kituose audiniuose, kurie yra labai svarbūs maistinių medžiagų įsisavinimui ir atsparumui ligoms.

 

Mikorizinių tinklų (dar vadinamų „miško apimties tinklu“) tyrimai atskleidė žavų reiškinį, kai grybai sudaro simbiotinius ryšius su augalų šaknimis, sukurdami didžiulius požeminius tinklus. Šie tinklai palengvina išteklių, įskaitant maistines medžiagas ir anglį, mainus tarp augalų, net tarp skirtingų rūšių augalų, o tai rodo, kad evoliucijos, kaip konkurencijos tarp rūšių, idėja yra pernelyg supaprastinta.

 

Idėja, kad subrendę medžiai, kartais vadinami „tėviniais medžiais“, palaiko mažesnių ar silpnesnių daigų augimą, perduodami išteklius per šiuos grybų tinklus, yra žinoma, kaip tėvinio medžio hipotezė. Nors ši hipotezė įtikinama ir sulaukia didelio visuomenės dėmesio, ji mokslo bendruomenėje tebėra prieštaringa.

Štai atidžiau pažvelkime į pagrindinius punktus:

 

Kuo naudinga grybams ir augalams?

Mikoriziniai grybai ir augalai palaiko mutualistinius santykius, kai grybai sustiprina augalo gebėjimą absorbuoti vandenį ir maistines medžiagas (pvz., fosforą ir azotą) iš dirvožemio mainais į angliavandenius (fotosintezės metu susidarančius cukrus) iš augalo.

Kas yra tėvinio medžio hipotezė?

Hipotezė teigia, kad vyresni, įsitvirtinę medžiai arba „tėviniai medžiai“ gali dalytis ištekliais su netoliese esančiais sodinukais, taip potencialiai pagerindami jų augimą ir išlikimą. Ši idėja išpopuliarėjo, atlikus tyrimus, rodančius anglies izotopų perdavimą tarp sujungtų medžių, teigia „TreePeople“.

 

Diskusijos ir sudėtingumas

Nepaisant įtikinamo tėvinio medžio hipotezės pobūdžio, keli tyrimai kėlė klausimų ir pateikė prieštaringų įrodymų. Kai kurie argumentai:

 

Kai kuriais atvejais įrodymai yra neįtikinami arba jų visai nėra: Naujausios apžvalgos rodo, kad įrodymai apie reikšmingą ir naudingą anglies perdavimą iš tėvinių medžių sodinukams per bendruosius mikorizinius tinklus (CMN) yra nenuoseklūs.

 

Evoliucinis pagrindimas neaiškus: kritikai klausia, kodėl grybai veiktų, kaip paprasti altruistinio dalijimosi tarp medžių kanalai, nes tai prieštarauja abipusiškumo principui, kai abu partneriai siekia maksimaliai padidinti savo naudą.

 

Paaiškinimas: Tiek augalai, tiek grybai geriau išgyvena gyvenimo stresą miške, nei atvirose erdvėse, kur dirvožemis lengvai nuplaunamas stiprios audros metu.

 

Metodologiniai iššūkiai: Tiksliai išmatuoti išteklių perdavimą tarp medžių yra sunku dėl tokių veiksnių, kaip mikrobų aktyvumas, dirvožemio difuzija ir galimybė, kad stebimas poveikis bus pervertintas arba iškreiptas dėl alternatyvių procesų.

Galimas neigiamas poveikis: Kai kurie tyrimai rodo, kad konkurencija dėl išteklių, net ir per šiuos grybų tinklus, gali būti dominuojantis veiksnys ir kad tam tikrose situacijose (jei aplink juos miškas per tankus) daigų augimas šalia subrendusių medžių gali būti slopinamas.

 

Išteklių perdavimo interpretavimas: Pasak Wiley, nuolat diskutuojama, ar aptikti žymėti anglies izotopai recipientų daiguose reiškia faktinį perdavimą augalui, ar lieka grybo audinyje ir nėra tiesiogiai naudingi. 

 

Apibendrinant, nors idėja, kad tėviniai medžiai per grybų tinklus augina skirtingų rūšių palikuonis, yra įdomi, svarbu pripažinti šios hipotezės sudėtingumą ir nuolatinius mokslinius debatus. Mikoriziniai tinklai neabejotinai atlieka gyvybiškai svarbų vaidmenį miškų ekosistemose, tačiau norint visapusiškai suprasti išteklių perdavimo tarp augalų per šiuos grybų ryšius mechanizmus, mastą ir ekologines pasekmes, būtini tolesni tyrimai.

Evoliucinė reikšmė:

 

Holobionto koncepcija pabrėžia mikrobų bendrijų svarbą jų šeimininkų organizmų evoliucijoje. Hologenomas, pasižymintis didele genetine įvairove, suteikia gausų kintamumo šaltinį, į kurį gali reaguoti natūrali atranka, potencialiai skatindamas evoliucinius pokyčius tiek šeimininke, tiek su juo susijusioje mikrobiotoje.

 

2. Genetisch sind wir deutlich mehr Bakterie als Mensch. Frankfurter Allgemeine Zeitung. Jul 10, 2025; (157) Von Christian Schwägerl.