Ko dirbtinis intelektas vis dar nežino, kaip tai padaryti

„Prieš kelias savaites „Google“ inžinierius sulaukė didelio dėmesio dėl dramatiško teiginio: jis sakė, kad bendrovės LaMDA sistema, kuri dirbtinio intelekto srityje žinoma, kaip didelis kalbos modelis, tapo jautria, protinga būtybe.

 

    Dideli kalbų modeliai, tokie, kaip LaMDA arba San Fransiske veikiantis atvirojo DI varžovas GPT-3, nepaprastai gerai sukuria nuoseklų, įtikinamą rašymą ir pokalbius – pakankamai įtikina, kad apgautų inžinierių.

 

    Tačiau jie tam naudoja gana paprastą techniką: modeliai mato pirmąją kažkieno parašyto teksto dalį ir bando nuspėti, kurie žodžiai greičiausiai bus toliau. Jei galingas kompiuteris tai padarys milijardus kartų su milijardais tekstų, kuriuos sukūrė milijonai žmonių, sistema galiausiai gali sukurti gramatinį ir patikimą naujo raginimo ar klausimo tęsinį.

 

    Natūralu paklausti, ar dideli kalbų modeliai, tokie, kaip LaMDA (angl. trumpinys iš kalbos modelio dialogo taikomosios programos) arba GPT-3, yra tikrai protingi – ar tiesiog dvigubai kalbantys apgavikai, vadovaujantis didžiojo senojo komiko prof. Irwino Corey „Geriausias pasaulyje“ Valdžia“ idėjomis. (Kad suprastumėte idėją, peržiūrėkite Corey erudicijos rutiną.) Bet aš manau, kad tai neteisingas klausimas. Šie modeliai nėra nei tikrai protingi agentai, nei apgaulingai kvaili. Intelektas ir agentūra yra netinkamos kategorijos jiems suprasti.

 

    Vietoj to, šios DI sistemos yra tai, ką galėtume pavadinti kultūros technologijomis, pavyzdžiui, raštu, spausdinimu, bibliotekomis, interneto paieškos sistemomis ar net pačia kalba. Tai nauji būdai perduoti informaciją iš vienos žmonių grupės kitai. 

 

Klausimas, ar GPT-3 ar LaMDA yra protingi, ar žino apie pasaulį, prilygsta klausimui, ar Kalifornijos universiteto biblioteka yra išmani, ar „Google“ paieška „žino“ atsakymus į jūsų klausimus. Tačiau kultūros technologijos gali būti nepaprastai galingos – tai yra tiek gerai, tiek blogai.

 

    Mes, žmonės, esame natūralūs animistai – matome agentūrą visur, upėse, medžiuose, debesyse ir ypač mašinose, kaip gali paliudyti kiekvienas, kuris keikė nepaklusnią indaplovę. Taigi, mes lengvai įsivaizduojame, kad naujoji mašininio mokymosi technologija sukūrė naujus agentus, protingus ar kvailus, naudingus ar (dažniau) piktybinius. Žmonės pradėjo kalbėti apie šį „DI“, o ne apie „DI“ – tarsi tai būtų susiję su asmeniu, o ne apie skaičiavimus.

 

    Kultūros technologijos nepanašios į protingus žmones, tačiau jos yra būtinos žmogaus intelektui. Daugelis gyvūnų gali perduoti tam tikrą informaciją iš vieno individo ar vienos kartos kitai, tačiau joks gyvūnas to nedaro tiek, kiek mes darome, ir laikui bėgant nesukaupia tiek informacijos. Perfrazuojant Izaoką Niutoną, kiekvienas naujas žmogus gali matyti iki šiol, nes stovi ant pečių tų, kurie buvo prieš juos. Naujos technologijos, palengvinančios ir veiksmingesnės kultūros perdavimą, buvo vienos didžiausių žmonijos pažangos variklių.

 

    Pati kalba yra originali kultūros technologija, leidžianti vienam medžiotojui pasakyti kitam, kur rasti grobį, arba močiutei perduoti anūkei sunkiai iškovotą kepimo techniką. Įvedus rašymu transformuotą kultūrą; galėjome susipažinti su močiučių išmintimi šimtus metų anksčiau ir už šimtų mylių. Spaustuvė padėjo įgalinti tiek pramonės revoliuciją, tiek liberalios demokratijos iškilimą. Bibliotekos, jų rodyklės ir katalogai buvo būtini mokslo ir technikos raidai. Interneto paieškos sistemos dar labiau palengvino informacijos paiešką.

 

    Kaip ir šios ankstesnės technologijos, dideli kalbos modeliai padeda pasiekti ir apibendrinti milijardus sakinių, kuriuos parašė kiti žmonės, ir naudoja juos kurdami naujus sakinius. 

 

Kitos sistemos, tokios kaip OpenAI DALL-E 2, kuri ką tik sukūrė žurnalo Cosmopolitan viršelio iliustraciją, taip pat daro tai su milijardais mūsų sukurtų vaizdų. Kultūros technologijų istorija yra tokia, kad mes vis lengviau galime pasiekti vis daugiau kitų protų žinias per didesnes erdvės ir laiko tarpas, o naujosios DI sistemos yra paskutinis šio proceso žingsnis.

 

    Bet jei tiek daug to, ką žinome, ateina iš kitų žmonių kalbos, ar tikrai kažkas, pavyzdžiui, GPT-3, neturi viso reikiamo intelekto? Ar tie milijardai žodžių neapima visų žmogaus žinių? Ko trūksta?

 

    Kultūros perdavimas turi dvi puses – imitaciją ir naujoves. 

 

Kiekviena karta gali naudoti imitaciją, kad pasinaudotų ankstesnių atradimų pranašumais, o dideli kalbų modeliai yra puikūs imitatoriai. Tačiau nebūtų prasmės mėgdžioti, jei kiekviena karta nekurtų naujovių. Mes peržengiame kitų žodžius ir praeities išmintį, kad stebėtume pasaulį iš naujo ir darytume apie jį naujų atradimų. Ir čia net labai jauni žmonės įveikė dabartinį DI.

 

    Klasikiniame „Turingo teste“ Alanas Turingas 1950 m. pasiūlė, kad jei negalėtumėte atskirti žmogaus ir kompiuterio pokalbio mašinėle, kompiuteriai gali būti kvalifikuoti, kaip protingi. Dideli kalbų modeliai prie to artėja.

 

    Tačiau Turingas taip pat pasiūlė griežtesnį testą: kad būtų tikras intelektas, kompiuteris turėtų ne tik kalbėti apie pasaulį, kaip suaugęs žmogus – jis turėtų sugebėti sužinoti apie pasaulį, kaip žmogaus vaikas.

 

    Mano laboratorijoje sukūrėme naują internetinę aplinką, skirtą įgyvendinti šį antrąjį Turingo testą – vienodas sąlygas vaikams ir DI sistemoms. Parodėme 4 metų vaikams ekrane esančias mašinas, kurios užsidegs, kai ant jų įdėsite kai kuriuos virtualių blokų derinius, bet ne kitus; skirtingos mašinos veikė skirtingais būdais. Vaikai turėjo išsiaiškinti, kaip veikia mašinos ir pasakyti, ką daryti, kad jos užsidegtų. Ketverių metų vaikai eksperimentavo ir po kelių bandymų gavo teisingą atsakymą. Tada mes pateikėme tą pačią problemą pažangiausioms DI sistemoms, įskaitant GPT-3 ir kitus didelius kalbų modelius. Kalbos modeliai gavo scenarijų, kuriame aprašytas kiekvienas vaikų matytas įvykis, o tada paprašėme jų atsakyti į tuos pačius klausimus, kuriuos uždavėme vaikams.

 

    Manėme, kad dirbtinio intelekto sistemos gali išgauti teisingą atsakymą į šią paprastą problemą iš tų milijardų ankstesnių žodžių. Tačiau niekas tose milžiniškose teksto duomenų bazėse anksčiau nebuvo matęs mūsų virtualių spalvotų blokų mašinų. Tiesą sakant, GPT-3 pralaimėjo. Kai kurie kiti neseniai atlikti eksperimentai davė panašius rezultatus. 

 

Atrodo, kad GPT-3, nepaisant jos artikuliuotos kalbos, negali išspręsti priežasties ir pasekmės problemų.

 

    Jei norite išspręsti naują problemą, pirmas žingsnis gali būti jos „Google“ paieška arba apsilankymas bibliotekoje. Bet galiausiai jūs turite eksperimentuoti, kaip tai padarė vaikai.

 

    GPT-3 gali pasakyti, koks bus labiausiai tikėtinas istorijos rezultatas. Tačiau naujovės, net ir 4 metų vaikams, priklauso nuo to, kas stebina ir netikėta – nuo ​​netikėtų, o ne nuspėjamų rezultatų.

 

    Ar visa tai reiškia, kad mums nereikia jaudintis, kad DI taps sugebančiu jausti daiktus? Manau, kad nerimas dėl itin intelektualių ir piktybinių dirbtinių agentų, šiuolaikinių golemų, yra bent jau per didelis. Tačiau kultūros technologijos pakeičia pasaulį labiau, nei pavieniai agentai, ir nėra garantijos, kad pokyčiai bus į gera.

 

    Kalba leidžia meluoti, vilioti ir bauginti kitus tiek, kiek leidžia tiksliai bendrauti ir atrasti tiesą. Sokratas manė, kad rašymas buvo tikrai bloga idėja. Jis sakė, kad jūs negalite turėti sokratiškų dialogų raštu, kaip ir kalboje, ir žmonės gali patikėti, kad viskas yra tiesa vien todėl, kad jie buvo užrašyti – ir jis buvo teisus. Technologinės naujovės leido Benjaminui Franklinui spausdinti nebrangius lankstinukus, kurie skleidžia žinią apie demokratiją ir remia geriausius Amerikos revoliucijos aspektus. Tačiau, kaip parodė istorikas Robertas Darntonas, ta pati technologija taip pat išleido šmeižto ir nepadorumo potvynį ir prisidėjo prie blogiausių Prancūzijos revoliucijos aspektų.

 

    Žmonės gali būti šališki, patiklūs, rasistiniai, seksistai ir neracionalūs. Taigi santraukos apie tai, ką žmonės, kurie mus vedė, galvojo „senų žmonų pasakoje“, biblioteka ar internetas, paveldi visus tuos trūkumus. Ir tai neabejotinai gali būti tiesa ir didelių kalbų modeliams.

 

    Kiekvienai praeities kultūrinei technologijai reikėjo naujų normų, taisyklių, įstatymų ir institucijų, kad būtų užtikrinta, jog gėris nusveria blogį – nuo ​​melagių gėdinimo ir tiesos sakytojų pagerbimo iki faktų tikrintojų, bibliotekininkų, šmeižto įstatymų ir privatumo taisyklių išradimo. LaMDA ir GPT-3 nėra užmaskuoti žmonės. Tačiau tikri žmonės, kurie jas naudoja, turi peržengti praeities susitarimus ir sukurti naujoviškas institucijas, kurios gali būti tokios pat galingos, kaip ir pačios technologijos.

    ---

    Dr. Gopnik yra Kalifornijos universiteto Berklyje psichologijos profesorė ir „The Wall Street Journal“ „Mind & Matter“ apžvalgininkė.“ [1]

1. REVIEW --- What AI Still Doesn't Know How To Do --- Artificial intelligence programs that learn to write and speak can sound almost human -- but they can't think creatively like a small child can.
Gopnik, Alison. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 16 July 2022: C.3.

What AI Still Doesn't Know How To Do

"A few weeks ago a Google engineer got a lot of attention for a dramatic claim: He said that the company's LaMDA system, an example of what's known in artificial intelligence as a large language model, had become a sentient, intelligent being.

Large language models like LaMDA or San Francisco-based Open AI's rival GPT-3 are remarkably good at generating coherent, convincing writing and conversations -- convincing enough to fool the engineer.

But they use a relatively simple technique to do it: The models see the first part of a text that someone has written and then try to predict which words are likely to come next. If a powerful computer does this billions of times with billions of texts generated by millions of people, the system can eventually produce a grammatical and plausible continuation to a new prompt or a question.

It's natural to ask whether large language models like LaMDA (short for Language Model Dialogue Application) or GPT-3 are really smart -- or just double-talk artists in the tradition of the great old comedian Prof. Irwin Corey, "The World's Greatest Authority." (Look up Corey's routines of mock erudition to get the idea.) But I think that's the wrong question. These models are neither truly intelligent agents nor deceptively dumb. Intelligence and agency are the wrong categories for understanding them.

Instead, these AI systems are what we might call cultural technologies, like writing, print, libraries, internet search engines or even language itself. They are new techniques for passing on information from one group of people to another. Asking whether GPT-3 or LaMDA is intelligent or knows about the world is like asking whether the University of California's library is intelligent or whether a Google search "knows" the answer to your questions. But cultural technologies can be extremely powerful -- for good or ill.

We humans are natural animists -- we see agency everywhere, in rivers and trees and clouds and especially in machines, as anyone who has cursed a recalcitrant dishwasher can testify. So we readily imagine that the new machine-learning technology has created new agents, intelligent or dumb, helpful or (more often) malign. People have started talking about "an AI" rather than "AI" -- as if it refers to a person rather than a computation.

Cultural technologies aren't like intelligent humans, but they are essential for human intelligence. Many animals can transmit some information from one individual or one generation to another, but no animal does it as much as we do or accumulates as much information over time. To paraphrase Isaac Newton, every new human can see so far because they rest on the shoulders of those who came before them. New technologies that make cultural transmission easier and more effective have been among the greatest engines of human progress.

Language itself is the original cultural technology, allowing one hunter to tell another where to find the game, or a grandmother to pass on a hard-won cooking technique to her granddaughter. Writing transformed culture once again; we could access the wisdom of grannies from hundreds of years earlier and hundreds of miles away. The printing press helped enable both the industrial revolution and the rise of liberal democracy. Libraries, and their indexes and catalogs, were essential for the development of science and scholarship. Internet search engines have made it even easier to find information.

Like these earlier technologies, large language models help access and summarize the billions of sentences that other people have written and use them to create new sentences. Other systems like OpenAI's DALL-E 2, which just produced a cover illustration for Cosmopolitan magazine, do this with the billions of images we create, too. The history of cultural technology is that we have become able to access the knowledge of more and more other minds, across greater gulfs of space and time, more and more easily, and the new AI systems are the latest step in that process.

But if so much of what we know comes from other people's language, doesn't something like GPT-3 really have all the intelligence it needs? Don't those billions of words encapsulate all human knowledge? What's missing?

Cultural transmission has two sides -- imitation and innovation. Each generation can use imitation to take advantage of the discoveries of previous ones, and large language models are terrific imitators. But there would be no point to imitation if each generation didn't also innovate. We go beyond the words of others and the wisdom of the past to observe the world anew and make new discoveries about it. And that is where even very young humans beat current AI.

In what's known as the classic "Turing test," Alan Turing in 1950 suggested that if you couldn't tell the difference in a typed conversation between a person and a computer, the computer might qualify as intelligent. Large language models are getting close.

But Turing also proposed a more stringent test: For true intelligence, a computer should not only be able to talk about the world like a human adult -- it should be able to learn about the world like a human child.

In my lab we created a new online environment to implement this second Turing test -- an equal playing field for children and AI systems. We showed 4-year-olds on-screen machines that would light up when you put some combinations of virtual blocks on them but not others; different machines worked in different ways. The children had to figure out how the machines worked and say what to do to make them light up. The 4-year-olds experimented, and after a few trials they got the right answer. Then we gave state-of-the-art AI systems, including GPT-3 and other large language models, the same problem. The language models got a script that described each event the children saw and then we asked them to answer the same questions we asked the kids.

We thought the AI systems might be able to extract the right answer to this simple problem from all those billions of earlier words. But nobody in those giant text databases had seen our virtual colored-block machines before. In fact, GPT-3 bombed. Some other recent experiments had similar results. GPT-3, for all its articulate speech, can't seem to solve cause-and-effect problems.

If you want to solve a new problem, googling it or going to the library may be a first step. But ultimately you have to experiment, the way the children did.

GPT-3 can tell you what the most likely outcome of a story will be. But innovation, even for 4-year-olds, depends on the surprising and unexpected -- on discovering unlikely outcomes, not predictable ones.

Does all of this mean we don't have to worry about AI becoming sentient? I think worries about super-intelligent and malign artificial agents, modern golems, are, at the least, overblown. But cultural technologies change the world more than individual agents do, and there's no guarantee that change will be for the good.

Language allows us to lie, seduce and intimidate others as much as it allows us to communicate accurately and discover the truth. Socrates famously thought that writing was a really bad idea. You couldn't have the Socratic dialogues in writing that you could in speech, he said, and people might believe things were true just because they were written down -- and he was right. Technological innovations let Benjamin Franklin print inexpensive pamphlets that spread the word about democracy and supported the best aspects of the American Revolution. But as the historian Robert Darnton showed, the same technology also released a flood of libel and obscenity and contributed to the worst aspects of the French Revolution.

People can be biased, gullible, racist, sexist and irrational. So summaries of what people who proceeded us have thought, in an "old wives' tale," a library or the internet, inherit all of those flaws. And that can clearly be true for large language models, too.

Every past cultural technology has required new norms, rules, laws and institutions to make sure that the good outweighs the ill, from shaming liars and honoring truth-tellers to inventing fact-checkers, librarians, libel laws and privacy regulations. LaMDA and GPT-3 aren't people in disguise. But the real people who use them need to go beyond the conventions of the past and create innovative institutions that can be as powerful as the technologies themselves.

---

Dr. Gopnik is a professor of psychology at the University of California, Berkeley, and a "Mind & Matter" columnist for The Wall Street Journal." [1]

1. REVIEW --- What AI Still Doesn't Know How To Do --- Artificial intelligence programs that learn to write and speak can sound almost human -- but they can't think creatively like a small child can.
Gopnik, Alison. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 16 July 2022: C.3.