ChatGPT raises questions about how humans acquire language.

 

"WHEN DEEP BLUE, a chess computer, defeated Garry Kasparov, a world champion, in 1997 many gasped in fear of machines triumphing over mankind. In the intervening years, artificial intelligence has done some astonishing things, but none has managed to capture the public imagination in quite the same way. Now, though, the astonishment of the Deep Blue moment is back, because computers are employing something that humans consider their defining ability: language.

Or are they? Certainly, large language models (LLMs), of which the most famous is ChatGPT, produce what looks like impeccable human writing. But a debate has ensued about what the machines are actually doing internally, what it is that humans, in turn, do when they speak—and, inside the academy, about the theories of the world's most famous linguist, Noam Chomsky.

Although Professor Chomsky's ideas have changed considerably since he rose to prominence in the 1950s, several elements have remained fairly constant. He and his followers argue that human language is different in kind (not just degree of expressiveness) from all other kinds of communication. All human languages are more similar to each other than they are to, say, whale song or computer code. Professor Chomsky has frequently said a Martian visitor would conclude that all humans speak the same language, with surface variation.

Perhaps most notably, Chomskyan theories hold that children learn their native languages with astonishing speed and ease despite "the poverty of the stimulus": the sloppy and occasional language they hear in childhood. The only explanation for this can be that some kind of predisposition for language is built into the human brain.

Chomskyan ideas have dominated the linguistic field of syntax since their birth. But many linguists are strident anti-Chomskyans. And some are now seizing on the capacities of LLMs to attack Chomskyan theories anew.

Grammar has a hierarchical, nested structure involving units within other units. Words form phrases, which form clauses, which form sentences and so on. Chomskyan theory posits a mental operation, "Merge", which glues smaller units together to form larger ones that can then be operated on further (and so on). In a recent New York Times op-ed, the man himself (now 94) and two co-authors said "we know" that computers do not think or use language as humans do, referring implicitly to this kind of cognition. LLMs, in effect, merely predict the next word in a string of words.

Yet it is hard, for several reasons, to fathom what LLMs "think". Details of the programming and training data of commercial ones like ChatGPT are proprietary. And not even the programmers know exactly what is going on inside.

Linguists have, however, found clever ways to test LLMs' underlying knowledge, in effect tricking them with probing tests. And indeed, LLMs seem to learn nested, hierarchical grammatical structures, even though they are exposed to only linear input, ie, strings of text. They can handle novel words and grasp parts of speech. Tell ChatGPT that "dax" is a verb meaning to eat a slice of pizza by folding it, and the system deploys it easily: "After a long day at work, I like to relax and dax on a slice of pizza while watching my favourite TV show." (The imitative element can be seen in "dax on", which ChatGPT probably patterned on the likes of "chew on" or "munch on".)

What about the "poverty of the stimulus"? After all, GPT-3 (the LLM underlying ChatGPT until the recent release of GPT-4) is estimated to be trained on about 1,000 times the data a human ten-year-old is exposed to. That leaves open the possibility that children have an inborn tendency to grammar, making them far more proficient than any LLM. In a forthcoming paper in Linguistic Inquiry, researchers claim to have trained an LLM on no more text than a human child is exposed to, finding that it can use even rare bits of grammar. But other researchers have tried to train an LLM on a database of only child-directed language (that is, of transcripts of carers speaking to children). Here LLMs fare far worse. Perhaps the brain really is built for language, as Professor Chomsky says.

It is difficult to judge. Both sides of the argument are marshalling LLMs to make their case. The eponymous founder of his school of linguistics has offered only a brusque riposte. For his theories to survive this challenge, his camp will have to put up a stronger defence.” [1]

·  ·  ·1.  "ChatGPT raises questions about how humans acquire language." The Economist, 29 Apr. 2023, p. NA.

 

Vokietijos verslo ryšių su Kinija galvosūkis

"ANNALENA BAERBOCK, eidama Vokietijos užsienio reikalų ministrės pareigas, pirmąją kelionę į Kiniją pradėjo balandį, apsilankydama „Flender“ gamybos vietoje. Firma iš Mittelstand gamina dalis vėjo turbinoms Tiandzine, pakrantės mieste, esančiame maždaug 130 km į pietryčius nuo Pekino. M. Baerbock apie valandą apžiūrinėjo objektą, visą laiką bombarduodama jos šeimininkus klausimais, pavyzdžiui, ar jos tiekėjai yra vietiniai.

 

     Neįprasta, kad užsienio reikalų ministrė apkeliauja gamyklą, tačiau tai parodo verslo ryšių tarp Vokietijos ir Kinijos svarbą. Šalis yra didžiausia Vokietijos prekybos partnerė ir svarbi užsienio investicijų kryptis į keletą pramonės šakų, kurios yra Mittelstand stuburas. Tačiau prekybos vertei augant septintus metus iš eilės 2022 m. dvišalis deficitas padidėjo. Vokietijos importas iš Kinijos išaugo trečdaliu, palyginti su 2021 m., iki 192 mlrd. eurų.

 

     M. Baerbock ministerija vadovauja pastangoms sukurti naują Kinijos strategiją. Jo ilgai lauktas leidimas buvo ne kartą atidėtas, nes reikia rasti pusiausvyrą tarp Vokietijos verslo skatinimo ir tuo pat metu kai kurių įmonių skatinimo diversifikuoti ir padaryti Vokietiją mažiau priklausomą nuo svarbiausių žaliavų importo iš Kinijos.

 

     Vokietijos vyriausybei iš naujo kalibruojant Kinijos strategiją, išryškėja dvi tendencijos. Viena iš jų yra tai, kad įmonės, jau dabar daug investavusios į Kiniją,  padvigubino. Kai kurios didžiausios šalies įmonės labai priklauso nuo Kinijos klientų ir tiekėjų. Tai apima tris didelius automobilių gamintojus (Volkswagen, Mercedes-Benz ir BMW); BASF, chemijos milžinas; ir Bosch, automobilių komponentų tiekėjas. BASF investuoja 10 mlrd. eurų į naują gamybos vietą pietų Kinijoje. Spalio mėnesį VW paskelbė apie 2,4 mlrd. eurų investiciją į bendrą įmonę su Kinijos įmone, kuri gamins savarankiškai važiuojančius automobilius, ir išleis 1 mlrd. eurų naujam elektromobilių kūrimo centrui.

 

     Kitas dalykas yra tai, kad Vokietijos įmonės vis dažniau gamina Kinijoje Kinijai. „Flender“ gamykla Tiandzine aptarnauja tik Kinijos rinką.

 

     Tai sustiprina nepatogią politikos formuotojų padėtį. Apskritai Vokietija gali būti mažiau priklausoma nuo Kinijos, nei manoma. Neseniai atliktas tyrimas, kurį paskelbė Bertelsmann fondas, Vokietijos ekonomikos institutas Kelne (iw), merics, ekspertų grupė ir Vokietijos pramonės asociacija bdi, išnagrinėjo investicijas Kinijoje. Ji parodė, kad 2017–2021 m. Kinija vidutiniškai sudarė 7 % Vokietijos tiesioginių užsienio investicijų ir 12–16 % metinio įmonių pelno, tiek pat, kiek Amerika, bet daug mažiau, nei ES, kuri teikė vidutiniškai , 56% įmonių pelno per tą patį laikotarpį. Ir tik apie 3 % Vokietijos darbo vietų tiesiogiai ar netiesiogiai priklauso nuo eksporto į Kiniją, sako Jürgenas Matthesas iš iw.

 

     Tačiau tai nėra priežastis mažiau susirūpinti Kinija, perspėja Maxas Zengleinas. Anksčiau buvo daroma prielaida, kad verslas Vokietijoje automatiškai gaus naudos iš investicijų Kinijoje, sako jis. Vokietijos įmonėms vis daugiau lėšų išleidžiant vietinei gamybai Kinijoje, tyrimams ir plėtrai, didžioji vietinio pelno dalis dabar dažnai ten reinvestuojama. Ilgainiui tendencija „iš vietos į vietinį“ gali pakenkti tiek Vokietijos darbo vietoms, tiek eksportui į Kiniją.

 

     Kita nerimą kelianti priežastis – didžiulės Vokietijos firmos ir pramonės šakos, kurios ir toliau labai priklauso nuo Kinijos. Didžiųjų automobilių gamintojų ir chemijos įmonių išlikimas gali priklausyti nuo patekimo į šalį. Kinija tiekia 95% Vokietijoje įdiegtų saulės elementų, 80% nešiojamųjų kompiuterių ir 58% grandinių plokščių, kurios yra neatsiejamos nuo kitų elektronikos prekių. Vokietija taip pat priklauso nuo Kinijos dėl retųjų žemių metalų, reikalingų puslaidininkiams ir ličio jonų baterijoms gaminti, taip pat antibiotikų ir kitų svarbių vaistų.

 

     M. Matthesas perspėja, kad įmonės ir toliau ves milijardus į Kiniją, nebent naujoji politika skatins elgtis kitaip. Jei Kinijos grasinimai Taivanui taps baisesni, pasekmės gali būti pražūtingos įmonėms, kurios Kinijoje užsiima vis didesne jų verslo dalimi. Paskutinė preliminari naujosios strategijos paskelbimo data yra iškart po birželio 20 d., kai susitiks Vokietijos kancleris Olafas Scholzas ir Kinijos ministras pirmininkas Li Qiang. Pats laikas permąstyti“ [1]

 

Britai (įskaitant „The Economist“) norėtų užimti Vokietijos vietą Kinijoje. Britai padarė „Brexit“, svajodami apie Amerikos rinką. Amerikiečiai atsakė „Ne“, tai skambėjo, kaip „Infliacijos sumažinimo aktas“. Dabar britai kabo tuščioje erdvėje ir nežino, kur kristi. Net Kinija būtų geriau, nei nieko. Tačiau Kiniją seniai paėmė vokiečiai.

 

·  ·  ·1.   "The conundrum of Germany's business ties with China." The Economist, 29 Apr. 2023, p. NA.

The conundrum of Germany's business ties with China.

 

ANNALENA BAERBOCK kicked off her first trip to China as Germany's foreign minister in April with a visit to a production site of Flender. The Mittelstand firm makes parts for wind turbines in Tianjin, a coastal city around 130km south-east of Beijing. Ms Baerbock toured the facility for about an hour, all the while bombarding her hosts with questions, such as whether its suppliers are local.

It is unusual for a foreign minister to tour a factory, but it shows the importance of business ties between Germany and China. The country is Germany's biggest trade partner and an important destination for foreign investments in several industries that are the backbone of the Mittelstand. Yet as the value of trade increased for the seventh consecutive year in 2022, the bilateral deficit widened. German imports from China rose by a third compared with 2021 to €192bn ($202bn), whereas exports of German wares to China increased by only 3% to around €107bn.

Ms Baerbock's ministry is spearheading efforts to write a new China strategy. Its much-awaited publication has been repeatedly postponed because of the need to strike a balance between boosting German business while at the same time encouraging some firms to diversify and make Germany less dependent on imports of critical raw materials from China.

As Germany's government recalibrates its China strategy two trends are emerging. One is that the companies already heavily invested in China are doubling down. Some of the country's largest companies greatly rely on Chinese customers and suppliers. That includes its three big carmakers (Volkswagen, Mercedes-Benz and BMW); BASF, a chemicals giant; and Bosch, a car-components supplier. BASF is charging ahead with its €10bn investment in a new production site in southern China. In October vw announced a €2.4bn investment in a joint venture with a Chinese firm for self-driving cars and will spend €1bn on a new centre for developing electric cars. 

The other is that German companies are increasingly producing in China for China. Flender's factory in Tianjin serves only the Chinese market.

This reinforces an uncomfortable position for policymakers. Overall Germany may be less dependent on China than generally assumed. A recent study published by the Bertelsmann foundation, the German Economic Institute in Cologne (iw), merics, a think-tank, and the bdi, an association of German industry, scrutinised investment in China. It showed that between 2017 and 2021 China accounted for, on average, 7% of German foreign-direct investment and 12-16% of annual corporate profits, much the same as America, but far less than the eu, which provided, on average, 56% of corporate profits in the same period. And only around 3% of German jobs either directly or indirectly depend on exports to China, says Jürgen Matthes of iw.

Yet that is not a reason to be less concerned about China, warns Max Zenglein of merics. In the past the assumption was that business in Germany would automatically benefit from investment in China, he says. With German companies increasingly spending on local production and research and development, the bulk of local profits is now often being reinvested there. And in the longer term the "local to local" trend could hurt both German jobs and exports to China.

Another cause for concern is the cluster of huge German firms and industries that continue to rely heavily on China. The survival of its large carmakers and chemicals firms could hinge on access to the country. And China supplies 95% of the solar cells installed in Germany as well as 80% of laptops, and 58% of the circuit boards that are integral to other electronic goods. Germany also depends on China for the rare-earth metals needed to make semiconductors and lithium-ion batteries as well as antibiotics and other important medicines.

Mr Matthes warns that companies will continue to pour billions into China unless the new policy provides incentives to do otherwise. If China's threats to Taiwan turn nastier the consequences could be devastating for firms doing an ever-bigger slice of their business there. The latest tentative date for the publication of the new strategy is just after a meeting on June 20th between Olaf Scholz, the German chancellor, and Li Qiang, China's prime minister. It is high time for a rethink." [1]

British (including The Economist) would love to take Germany's place in China. British did the Brexit dreaming about America's market. Americans answered "No", that sounded like "Inflation reduction Act". Now British are hanging in empty space as a result, and don't know, where to fall. Even China would be better than nothing. China is taken by the Germans though.

 

·  ·  ·1.   "The conundrum of Germany's business ties with China." The Economist, 29 Apr. 2023, p. NA.

Atsiskleidė siaura samdymo praktika JAV universitetuose

„Jungtinių Valstijų akademinėse institucijose įdarbintų dėstytojų analizė atskleidžia, kad dauguma darbuotojų buvo apmokyti vos keliuose universitetuose. Išvados leidžia suprasti, kaip samdant įdarbinamos nelygybės.

 

     Tiems, kurie tikisi užimti trokštamą akademinio fakulteto vietą Jungtinėse Amerikos Valstijose, vienoje iš kelių institucijų įgytas daktaro laipsnis gali būti labai svarbus. 

 

Rašydami „Nature“, Wapman ir kt.1 tiksliai parodo, kokia svarbi yra ši kilmė. 

 

Jie ištyrė kadencinius ir nuolatinius dėstytojų kolektyvų narius, kurie 2011–2020 m. dirbo JAV daktaro laipsnį suteikiančiose institucijose, ir nustatė, kad 80% JAV išsilavinimą įgijusių fakulteto narių gavo daktaro laipsnius tik 20% universitetų.

 

 Autorių duomenų rinkinys suteikia blaivių įžvalgų apie tai, kaip samdymo praktika išlaiko nelygybę visoje akademinėje bendruomenėje.

 

     Wapmano ir kolegų duomenys, kuriuos jie gavo iš fakultetų surašymo, kurį sudarė Akademinės analitikos tyrimų centras, apima 295 089 fakulteto narius 10 612 padalinių 368 institucijose. Autoriai suskirstė šiuos skyrius į 107 sritis ir 8 platesnes sritis, kad būtų lengviau palyginti skirtingas tyrimų sritis, apimančias visas disciplinas. Duomenyse pateikiama informacija apie kiekvieno mokslininko lytį, institutą, kuriame jie įgijo daktaro laipsnį, ir įstaigą, kurioje šiuo metu dirba. Vadovaudamiesi atviro mokslo principais, autoriai savo duomenis leido laisvai tyrinėti interaktyviame įrankyje (žr. go.nature.com/3dlniup).

 

     Wapman ir kt. institucijas reitingavo dviem būdais: pagal gamybą ir pagal prestižą. Gamybos rangas matuoja daktaro laipsnį turinčių institucijos, dirbančių dėstytojų pareigose Jungtinėse Valstijose, skaičių. Tyrėjai išsiaiškino, kad būsimų dėstytojų gamyba buvo labai sutelkta keliose elitinėse institucijose – pirmame autorių produkcijos rango kvintilyje buvo tik 8 universitetai, o apatiniame – 308.

 

     Tiesą sakant, beveik 14% fakulteto narių įgijo daktaro laipsnį tik penkiose institucijose (Kalifornijos universitetas, Berklis; Harvardo universitetas; Mičigano universitetas; Viskonsino universitetas – Madisonas; ir Stanfordo universitetas).

 

     Labiausiai ryškus buvo humanitarinių mokslų šališkumas dėl dėstytojų iš kelių institucijų. Tai ypač erzina, nes humanitariniai mokslai yra sudėtingos sritys, kuriose diskusijos ir diskursas yra būtini, norint atlikti tvirtą tyrimą2. Galima teigti, kad būtent šiose srityse labiausiai reikia įvairių perspektyvų. Kadangi katedros dažnai skatina tam tikras perspektyvas3, šis siauras samdymo planas gali užkirsti kelią naujovėms mokymo ir mokslinių tyrimų srityje, kurias būtų galima plėtoti, atsižvelgiant į platesnį požiūrių spektrą.

 

     Wapmanas su kolegomis sukūrė samdymo tinklą, kuriame vaizduojamas žmonių srautas tarp universitetų, kad būtų galima reitinguoti institutus pagal prestižą. 

 

Institutas, įvertintas kaip prestižiškiausias, yra tas, kuris daugiausiai absolventų siunčia į kitus prestižinius universitetus ir samdo daugiausiai iš jų. 

 

Autorių produkcijos ir prestižo reitingai skiriasi – pavyzdžiui, Carnegie Mellon universitete Pitsburge, Pensilvanijoje, nėra daugiausiai būsimų dėstytojų, tačiau jis siunčia savo studentus į aukščiausio lygio institucijas ir įdarbina pasirinktinai iš jų, taip padidindamas jo prestižą. Nepaisant tam tikro cikliškumo, prestižo rodiklis siūlo unikalų požiūrį į dėstytojų samdymo Jungtinėse Valstijose hierarchinį pobūdį.

 

     Autorių reitinguose buvo atskleista keletas nelygybių. Pavyzdžiui, naujai pasamdyti fakulteto nariai atvyko iš įvairesnių institucijų nei jų labiau įsitvirtinę kolegos, tačiau Wapmanas ir kolegos įrodė, kad tai nėra teigiamų pokyčių ženklas. Vietoj to, dėstytojų, kurie baigė žemą gamybinį reitingą, nusidėvėjimo rodikliai buvo didesni.

 

     Tiesą sakant, tie, kurie buvo apmokyti ne nedaugelyje aukštą reitingą turinčių universitetų, turėjo beveik dvigubai didesnę tikimybę palikti akademinę bendruomenę, nei tie, kurie juose mokėsi.

 

      Gamybos nelygybę apsunkino prestižo nelygybė – dauguma dėstytojų buvo įdarbinti ne tokiose prestižinėse institucijose, nei tose, kuriose jie buvo mokomi.

 

     Tai turi įtakos mentorystei – Wapman ir kt. Teigiama, kad vidutinis JAV apmokytas fakulteto narys prižiūrės žymiai mažiau būsimų fakulteto narių, nei jų pačių patarėjai, toliau koncentruodami dėstytojų gamybą kelių pasirinktų asmenų rankose.

 

     Autoriai patvirtino gerai žinomą faktą, kad daugumą fakulteto pareigų užima vyrai. Jie parodė, kad vyrų dominavimas pamažu silpsta, tačiau paaiškėjo, kad tai buvo siejama su vyrų išėjimu į pensiją, o ne su įdarbinimo pokyčiais. Tiesą sakant, naujai priimtų moterų dalis 2011–2020 m. išliko pastovi arba sumažėjo visose srityse, ypač kur didesnis prestižas. Šie duomenys rodo, kad pasyvi politika nepakeis profesūros sudėties. Institucijos turi priimti pažangesnę politiką, jei nori didinti įvairovę.

 

     „Saviškių samdymas“ yra vienas iš būdų tiems, kurie yra viršuje, vengti samdyti žemesnės hierarchijos žmones. Autoriai parodė, kad tokia praktika yra įprasta: 11% JAV apmokytų akademikų šiuo metu dirba savo alma mater, o tokia situacija ypač tikėtina prestižinėse institucijose.

 

     Ypač aukšti rodikliai buvo slaugos srityje, o tai gali paaiškinti, kodėl vyrų samdymas savarankiškai buvo mažesnis, nei moterų (kurių slaugoje yra neproporcingai daug4). 

 

Saviškių samdymas gali būti nenaudingas fakulteto nariams – kaip saviškiai samdomi nariai paliko akademinę bendruomenę žymiai didesniu tempu, nei kiti fakulteto nariai.

 

     Jungtinės Valstijos labai priklauso nuo užsienio talentų5. Nacionalinis mokslo ir inžinerijos statistikos centras praneša, kad 45 % doktorantų, dirbančių mokslo, technologijų, inžinerijos ir matematikos srityse, yra gimę užsienyje (žr. go.nature.com/3f7siqy).

 

     Tačiau Wapmano ir kolegų duomenys rodo, kad nors Jungtinės Valstijos remiasi užsienio talentais, jos teikia pirmenybę tiems, kurie mokosi Jungtinėse Valstijose, nes tik 11% fakulteto narių turėjo užsienio institucijų daktaro laipsnius.

 

     Šie skirtumai sustiprina sudėtingą ryšį tarp imigracijos politikos ir mokslo politikos, pabrėždami, kad reikia migracijos politikos, kuri palengvintų pasaulinę cirkuliaciją ir mokslininkų paramą.

 

     Pasaulinė politika gali padėti dar labiau sumažinti nelygybę. Pavyzdžiui, JK vyriausybė patvirtino didelio potencialo individualių vizų programą žmonėms, norintiems dirbti šalyje (žr. go.nature.com/3lduyds). Ji priima kandidatus, įgijusius vieno iš 37 išvardytų „geriausių pasaulio universitetų“ laipsnį. Daugiau nei pusė šių institucijų yra Jungtinėse Amerikos Valstijose ir labai sutampa su Wapman ir jo kolegų prestižinių institucijų sąrašu.

 

     Tikėtina, kad susikertančios nelygybės sustiprina Wapmano ir kolegų išvadas. Pavyzdžiui, didžiausią vertę turinčios institucijos dotacijų (universiteto investuojamų aukų) požiūriu taip pat yra tos, kurios dabartiniame tyrime turi aukštą produktyvumą ir prestižą (žr. go.nature.com/3r4r5e6). Institucijų reitingas pagal išlaidas moksliniams tyrimams ir plėtrai – mokslinių tyrimų finansavimo pakaitinis rodiklis (žr. go.nature.com/3dvjolo) – pateikia tas pačias pažįstamas institucijas. Turto ir žmogiškojo kapitalo koncentracija eina koja kojon.

 

     Po Wapmano ir kolegų darbo liko atviras ir neatidėliotinas klausimas: kokios yra hierarchijos moksle pasekmės? Daugėja įrodymų, patvirtinančių teigiamą ryšį tarp naujovių ir įvairovės – mokslininkai iš nepakankamai atstovaujamų grupių diegia naujoves didesniu tempu, nei kitų grupių mokslininkai, bet yra samdomi mažesniu tarifu6. Reikia daugiau tyrimų, kad suprastume, kaip institucijos gali skatinti intelektinę įvairovę ir kaip tai susikerta su kitais tapatybės požymiais, tokiais, kaip rasė, etninė kilmė, lytis, negalia ir socialinė klasė. Tik tada galime sukurti atsakingą politiką ir išvengti institucinio nelygybės atkūrimo.“ [1]

1. Narrow hiring practices at US universities revealed. Cassidy R. Sugimoto, Nature 610, 37-38 (2022)