Kaip išgyventi, naudojant dirbtinį intelektą (AI): TATENA, kad kontroliuoti AI? Šis modelis jau žlugo.

  "Praėjusiais metais apsiribojęs akademinėmis diskusijomis ir technologijų konferencijų renginiais, dirbtinio intelekto klausimas pagaliau patraukė visuomenės dėmesį. 

 

ChatGPT, Dall-E 2 ir kitos naujos programos parodė, kad kompiuteriai gali generuoti sakinius ir vaizdus, primena žmogaus sukurtus kūrinius.

 

     AI tyrinėtojai skambina pavojaus varpais. Kovo mėnesį kai kurie iš pirmaujančių šios srities šviesuolių prisijungė prie technologijų pionierių, tokių, kaip Elonas Muskas ir Steve'as Wozniakas, ragindami padaryti šešių mėnesių pertrauką dirbtinio intelekto eksperimentuose, nes „pažangus AI gali reikšti esminį pokytį gyvybės Žemėje istorijoje, todėl turi būti planuojamas ir valdomas atitinkamai rūpestingai ir su reikiamais ištekliais“. Praėjusį mėnesį OpenAI, sukūrusios ChatGPT, vadovybė paragino „kažką panašaus į TATENA“ – Tarptautinę atominės energijos agentūrą – „dėti superžvalgybos pastangas“, kuri „tikrintų sistemas, reikalautų auditų, patikrintų, ar laikomasi saugos standartų, apriboti diegimo laipsnius, saugumo lygius ir pan. Jei nerimą keliantys asmenys teisūs dėl dirbtinio intelekto pavojų ir bando tai išspręsti TATENA tipo sprendimu, tada mes jau pasmerkti.

 

     Branduolinės analogijos yra svarbios pokalbiuose apie AI riziką. „OpenAI“ generalinis direktorius Samas Altmanas, kuris anksčiau prašė Kongreso reguliuoti AI, diskutuodamas apie jo įmonę, dažnai iškelia Manheteno projektą. Henry Kissingeris, nepasižymėjęs nerimą keliančiomis mintimis, yra sakęs, kad „AI gali būti toks pat, kaip branduolinių ginklų atsiradimas, bet dar mažiau nuspėjamas“.

 

     TATENA modelis yra patrauklus daugeliui žmonių, susirūpinusių AI, nes jo tikslai yra analogiški jų. Agentūros misija – skatinti taikų branduolinės energijos naudojimą, tuo pačiu užkertant kelią branduolinių ginklų plitimui. Daugelis dirbtinio intelekto tyrinėtojų norėtų, kad jų išradimai skatintų žmonių klestėjimą, nepadidindami žmogaus destruktyvumo.

 

     Deja, techniniai branduolinio ginklo valdymo metodai negali būti taikomi kompiuterinėms programoms. Kai branduoliniams ginklams reikia didelės infrastruktūros – reaktorių, sodrinimo įrenginių ir panašių dalykų – AI turi daug mažesnį pėdsaką. „OpenAI“ komanda mano, kad gali būti šios problemos sprendimas, nes „skaičiavimo ir energijos suvartojimo stebėjimas gali labai padėti“, stebint atitiktį.

 

     Tai vis tiek išeitų nepakankama. Kaip pripažįsta OpenAI komanda, „techninės galimybės užtikrinti superintelekto saugumą“ yra „atviras tyrimo klausimas“. Be žinomo standarto nėra būdo įvertinti atitiktį.

 

     Pagrindinis TATENA trūkumas yra ne atitikties įvertinimas, o jos vykdymas. Kai agentūra buvo įkurta 1957 m., buvo trys branduolinės valstybės: JAV, Sovietų Sąjunga ir Didžioji Britanija. TATENA prižiūrint, šis skaičius išaugo trigubai.

 

     Geopolitinės konkurencijos sukėlė branduolinių ginklų plitimą Šaltojo karo metais, kai Prancūzija, Kinija ir Indija detonavo branduolinius įrenginius, o Izraelis sukūrė savo bombą. Nors amerikiečiai ir sovietai norėjo apriboti branduolinius ginklus, nė vienas nenorėjo susilpninti savo koalicijų, atstumdami partnerius, kurie buvo pakeliui į bombą.

 

     TATENA nepavyko įvykdyti savo neplatinimo misijos net po Sovietų Sąjungos žlugimo. Pakistanas ir Šiaurės Korėja nuo to laiko išbandė bombą, o Iranas sodrina uraną beveik ginklų lygio. Izraelis pasiekė keletą reikšmingų neplatinimo sėkmių Irake ir Sirijoje, tačiau paprastai tik didžioji galia gali užtikrinti, kad TATENA laikytųsi reikalavimų. Išskyrus abejotiną veiklą Irake, JAV nusprendė, kad branduolinio ginklo platinimas yra geresnis už karą.

 

     Didėjanti Kinijos galia ir karingumas yra vienas iš daugelio veiksnių, dėl kurių tarptautinis dirbtinio intelekto kontrolės režimas bus sudėtingas. Kinija buvo viena iš nešvankiausių branduolinių ginklų platintojų ir greičiausiai peržengs su ginklais susijusio dirbtinio intelekto ribas, nes mažiau tikėtina, kad AI pradės perversmą ar nepaklus įsakymams, nei Kinijos karinė vadovybė, ir todėl, kad Pekinas sugebės kontroliuoti tarptautinius partnerius, kurie remiasi Kinijos sukurtu AI.

 

     Tačiau net draugiškos demokratijos susidurs su AI apribojimais. Skaičiavimo technologijos suteiks didžiulę ekonominę naudą, o daugelis šių išradimų turės karinio pobūdžio pritaikymų. Amerikos kariuomenė turės naudoti dirbtinį intelektą, ir nors dauguma Amerikos sąjungininkų ir partnerių nori pasislėpti po jos branduoliniu skėčiu, tikėtina, kad jie nesustabdys jų ekonomikos augimo, jei Vašingtonas įves dvigubus dirbtinio intelekto standartus.

 

     Ironiška, bet „OpenAI“ nori priimti TATENA modelį, nors branduolinio ginklo neplatinimo ateitis darosi vis labiau abejotina. Šiaurės Korėjos ir Irano branduolinės programos verčia Amerikos partnerius ir sąjungininkus visoje Azijoje iš naujo įvertinti, kiek jiems reikia branduolinio ginklo.

 

     Galiausiai neplatinimo ir AI rizika turi tą patį silpnumą: jos neįvertina žmogiškojo faktoriaus.

     ---

     P. Watsonas yra Hadsono instituto Li ateities centro direktoriaus pavaduotojas." [1]

1. IAEA for AI? That Model Has Already Failed. Watson, Mike. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 02 June 2023: A.15.

How To Survive With Artificial Intelligence (AI): IAEA for AI? That Model Has Already Failed.

"Having been confined to academic discussions and tech conference gab-fests in years past, the question of artificial intelligence has finally caught the public's attention. ChatGPT, Dall-E 2 and other new programs have demonstrated that computers can generate sentences and images that closely resemble man-made creations.

AI researchers are sounding the alarm. In March, some of the field's leading lights joined with tech pioneers such as Elon Musk and Steve Wozniak to call for a six-month pause on AI experiments because "advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources." Last month the leadership of OpenAI, which created ChatGPT, called for "something like an IAEA" -- the International Atomic Energy Agency -- "for superintelligence efforts," which would "inspect systems, require audits, test for compliance with safety standards, place restrictions on degrees of deployment and levels of security, etc." If the alarmists are right about the dangers of AI and try to fix it with an IAEA-style solution, then we're already doomed.

Nuclear analogies feature prominently in conversations about AI risk. OpenAI CEO Sam Altman, who has previously asked Congress to regulate AI, frequently brings up the Manhattan Project when discussing his company. Henry Kissinger, not known for wild-eyed alarmism, has said that "AI could be as consequential as the advent of nuclear weapons -- but even less predictable."

The IAEA model is appealing for many people concerned about AI because its goals are analogous to theirs. The agency's mission is to promote the peaceful use of nuclear energy while preventing the spread of nuclear weapons. Many AI researchers would like their inventions to promote human flourishing without increasing human destructiveness.

Unfortunately, the technical methods of nuclear-style arms control can't be applied to computing programs. While nuclear weapons require significant infrastructure -- reactors, enrichment facilities and the like -- AI has a much smaller footprint. The OpenAI team thinks there may be a solution to this problem, since "tracking compute and energy usage could go a long way" to monitoring compliance.

It would still come up short. As the OpenAI team admits, "the technical capability to make a superintelligence safe" is "an open research question." Without a known standard, there is no way to measure compliance.

The IAEA's primary failing isn't measuring compliance but enforcing it. When the agency was founded in 1957, there were three nuclear states: the U.S., the Soviet Union and Britain. Under the IAEA's watch, that number has tripled.

Geopolitical rivalries caused nuclear proliferation during the Cold War, when France, China and India detonated nuclear devices and Israel developed its own bomb. Although the Americans and Soviets wanted to restrict nuclear weapons, neither wanted to weaken their coalitions by alienating partners who were on the pathway to the bomb.

The IAEA failed in its nonproliferation mission even after the Soviet Union collapsed. Pakistan and North Korea have tested the bomb since then, and Iran is enriching uranium near weapons grade. Israel has had some notable nonproliferation successes in Iraq and Syria, but generally only a great power can enforce IAEA compliance. With the dubious exception of Iraq, the U.S. has decided that nuclear proliferation is preferable to war.

China's growing power and belligerence is one of many factors that will make an international AI-control regime challenging. China has been one of the most profligate nuclear proliferators, and it is likely to push the boundaries of weapons-related AI -- because AI is less likely to launch a coup or disobey orders than China's military leadership, is and because Beijing will be able to control international partners that rely on Chinese-developed AI.

But even friendly democracies will chafe at AI limitations. Computing technologies will unlock tremendous economic benefits, and many of these inventions will have military implications. The American military will have to use AI, and while most of America's allies and partners are willing to shelter under its nuclear umbrella, they aren't likely to choke off their own economic growth if Washington imposes an AI double standard.

Ironically, OpenAI wants to adopt the IAEA model even as nuclear nonproliferation's future has grown increasingly dubious. North Korea's and Iran's nuclear programs are forcing American partners and allies across Asia to reassess how much they need a nuclear weapon.

Ultimately, nonproliferation and AI risk share the same weakness: They underestimate the human factor.

---

Mr. Watson is associate director of the Hudson Institute's Center for the Future of Liberal Society." [1]

1. IAEA for AI? That Model Has Already Failed. Watson, Mike. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 02 June 2023: A.15.

Profesoriai naudoja egzaminus žodžiu, kad sutrukdytų nusirašinėjimą dirbtinio intelekto pagalba

„Kai 2020 m. kovo mėn. pandemija uždarė klases ir privertė dėstyti nuotoliniu būdu, geriausia Kalifornijos universiteto San Diego inžinerijos studentė su nerimu išreiškė susirūpinimą profesoriui, kad jos klasės draugai apgaudinės, sulenks klasės kreivę ir sumažins jos pažymį.

 

     Prof. Huihui Qi apsvarstė dilemą ir pristatė testavimo metodą su 2000 metų senumo istorija, metodą, kuris šiandien dažniausiai ignoruojamas: egzaminus žodžiu.

 

     „Mokiniai buvo nervingi“, – sakė Qi. – "Nė vienas iš jų anksčiau nebuvo laikęs tokių egzaminų."

 

     Ši iniciatyva paskatino trejus metus trukusį mokslinį eksperimentą, kuris dabar apima 7000 egzaminų žodžiu. Tai ateina, kai visame pasaulyje dėstytojų banga eksperimentuoja su egzaminais žodžiu, siekdama pagerinti mokymą ir mokymąsi bei atgrasyti nuo sukčiavimo.

 

     Qi mano, kad egzaminai žodžiu gali paskatinti mokinius greičiau įsiminti, paskatinti juos mąstyti ir atskleisti mokinio konceptualų dalyko supratimą geriau, nei dauguma egzaminų raštu. Juos taip pat labai sunku nulaužti.

 

     Šis teigiamas įvertinimas šalies universitetams pateikiamas pavojingu momentu. Pasak Tarptautinio akademinio sąžiningumo centro, tiriančio sukčiavimą, beveik du trečdaliai koledžo studentų prisipažino sukčiavę prieš pandemiją.

 

     Pasak bendrovės „Turnitin“, parduodančios plagijavimo aptikimo sistemą, kai prasidėjo pandemija, plagijavimas išaugo. „ChatGPT“, kuris praėjusiais metais tapo prieinamas visuomenei, pridėjo dar vieną kintamąjį. Šį pavasarį Turnitinas išsiaiškino, kad apie 4% profesoriams pateiktų dokumentų buvo sukurti beveik vien dirbtinio intelekto dėka.

 

     Jei įvertinimas nebeatspindi teisėtų akademinių pasiekimų, jis nustos vertės, sakė Tricia Bertram Gallant, San Diego universiteto akademinio sąžiningumo biuro direktorė ir Tarptautinio akademinio sąžiningumo centro narė.

 

     Mokyklos stengiasi kovoti su greitai besikeičiančia grėsme. Baylor universitetas paprašė dėstytojų reikalauti, kad studentai, jei įmanoma, užduotis rašytų ranka. Kitą rudenį Stanfordo universitetas laikys kai kuriuos egzaminus, stebint prižiūrėtojams. Midlberio koledžo studentų laikraščių redaktoriai paragino persvarstyti mokyklos garbės kodeksą po to, kai apklausa parodė, kad du trečdaliai studentų pripažino jį pažeidę.

 

     Spaudimas paskatino "padidėjusį susidomėjimą" egzaminais žodžiu, sakė Stephenas Dobsonas, Australijos Centrinio Kvinslando universiteto švietimo dekanas.

 

     Egzaminai žodžiu siekia bent jau senovės Graikiją, kai Sokratas išgarsėjo, klausinėdamas studentus Atėnuose. Jie buvo tradicinis testavimo metodas universitetuose šimtus metų ir šiandien išlieka populiarus daugelyje Europos šalių, sakė Dobsonas. XVII amžiuje egzaminai raštu juos išstūmė daugumoje angliškai kalbančių šalių, daugiausia dėl to, kad jie yra veiksmingesni ir suteikia tikslesnius matavimus.

 

     Tarp nedaugelio JAV studentų, kurie šiandien reguliariai laiko egzaminus žodžiu, yra doktorantai, ginantys disertacijas. Dobsonas teigė, kad JAV kolegijos praleidžia galimybę, nes egzaminai žodžiu atitinka daugelį realaus pasaulio reikalavimų ir yra puikus mokymas darbo pokalbiams.

 

     UC San Diego Qi eksperimentas atkreipė dėmesį į universiteto inžinerijos skyrių. Gavusi mokslinių tyrimų dotacijos lėšas, ji suorganizavo septynis profesorius, mokančius devynias skirtingas inžinerijos klases, kad jie eksperimentuotų su įvairiomis žodinių testų formomis ir nustatytų, kuris dizainas yra teisingiausias, veiksmingiausias ir efektyviausias.

 

     Egzaminas paprastai trunka nuo 10 minučių iki 15 minučių ir susideda iš kelių klausimų. Mokiniai į juos atsako, tada paaiškina, kodėl jie taip sprendė problemą.

 

     Kad įvertintų nuosekliai, UC San Diego piloto instruktoriai naudoja tuos pačius raktinius žodžius, kai užduoda klausimą, ir laukia tiek pat laiko – maždaug 8 sekundes – prieš kalbėdami, jei mokinys sustoja. Instruktoriai taip pat koordinuoja, kada ir kaip pastūmėti mokinį, kuris gali eina klaidinga kryptimi, arba patvirtinti jo atsakymus, jei jie teisingi.

 

     Vienas egzamino su Qi vaizdo įrašas išsiskiria padrąsinimu ir teigiamu pastiprinimu.

 

     „Kai kuriose klasėse galite įsiminti procesą, o tada, laikydami egzaminą raštu, galite tiesiog užsikimšti ir glausti, sekdami procesą, iš tikrųjų neturite suprasti, ką darote su tais skaičiavimais“, – sakė Isabella Fiorini jaunesnoji, studijuojanti mechanikos inžineriją UC San Diego. „Tačiau per egzaminą žodžiu turi paaiškinti, kodėl darai tai, ką darai.

 

     Remiantis Qi ir jos komandos tyrimu, beveik du trečdaliai studentų teigia, kad jie yra labiau motyvuoti mokytis dalyko, kai laiko egzaminą žodžiu. Įvertinimai padidėja apie 10%. Didžiausią pagerėjimą parodė prasčiausių rezultatų turintys mokiniai.

 

     Egzaminai visiškai nepašalino sukčiavimo. Dėstytojai įtarė, kad kai kurių mokinių klasiokai stovėjo tiesiog už vaizdo kameros, kai jie atsakinėjo į klausimus internete. Ji apibūdino, kad tokie bandymai  yra gremėzdiški ir gana lengva aptikti, bet sunku įrodyti. „Kai kurių mokinių atsakymai yra šiek tiek keisti ir skamba nenatūraliai“, – sakė ji. „Kai užduodame tolesnius klausimus, jie negali atsakyti.“ [1]

 

1.  U.S. News: Professors Use Oral Exams to Foil AI Cheats. Belkin, Douglas. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 02 June 2023: A.3.

Professors Use Oral Exams to Foil AI Cheats.

 People are adapting to life with AI.

"When the pandemic closed classrooms in March 2020 and forced remote teaching, a top engineering student at the University of California, San Diego anxiously expressed concern to a professor that her classmates would cheat, bend the class curve and lower her grade.

Prof. Huihui Qi considered the dilemma and introduced a testing method with a 2,000-year-old record that is today largely ignored: oral exams.

"The students were nervous," Qi said. "None of them had taken exams like this before."

That initiative led to a three-year research experiment that has now stretched across 7,000 oral exams. It comes as a wave of professors around the world are experimenting with oral exams to improve teaching and learning and to discourage cheating.

Qi believes the oral exams can push students past rote memorization, prompt them to think on their feet and reveal a student's conceptual understanding of the subject matter better than most written exams. They are also very hard to hack.

The upbeat assessment comes at a perilous moment for the nation's universities. Nearly two-thirds of college students admitted to cheating before the pandemic, according to the International Center for Academic Integrity, which researches cheating.

When the pandemic hit, plagiarism increased, according to Turnitin, a company that sells a plagiarism-detection system. ChatGPT, which became accessible to the public last year, added another variable. This spring, Turnitin found about 4% of papers turned in to professors were generated almost entirely by artificial intelligence.

If a degree no longer designates legitimate academic achievement it will cease to hold value, said Tricia Bertram Gallant, a director of the academic integrity office at UC San Diego and a member of the International Center for Academic Integrity.

Schools are scrambling to address the fast-moving threat. Baylor University asked professors to require students to write assignments in class by hand if possible. Next fall, Stanford University will proctor some exams. Student newspaper editors at Middlebury College have called for a reconsideration of the school's honor code after a survey found two-thirds of students admitted to breaking it.

The pressure has led to a "groundswell of interest" in oral examinations, said Stephen Dobson, dean of education at Central Queensland University in Australia.

Oral exams date back at least to ancient Greece, when Socrates famously questioned students in Athens. They were the traditional method of testing at universities for hundreds of years and remain popular across many European nations today, Dobson said. In the 17th century, written exams supplanted them in most English-speaking countries, largely because they are more efficient at scale and offer more precise measurements.

Among the few U.S. students who routinely take an oral examination today are doctoral candidates defending their dissertations. Dobson said U.S. colleges are missing an opportunity because oral exams mimic many of the demands in the real world and are great training for job interviews.

At UC San Diego, Qi's experiment drew attention across the university's engineering department. With funds from a research grant, she arranged seven professors teaching nine different engineering classes to experiment with various forms of oral tests and determine which design was the most fair, effective and efficient.

The exams generally last between 10 minutes and 15 minutes and consist of several questions. Students answer them, then explain why they approached the problem the way they did.

To grade consistently, instructors in the UC San Diego pilot use the same keywords when they ask a question and wait the same amount of time -- about 8 seconds -- before speaking if a student pauses. Instructors also coordinate when and how to nudge a student who may be heading in the wrong direction or to validate their answers if they are correct.

One video of an exam with Qi is punctuated by encouragement and positive reinforcement.

"In some classes you can memorize a process and then on a written exam you can just plug and chug, you follow the process, you don't really have to understand what you're doing with all those calculations," said Isabella Fiorini, a junior studying mechanical engineering at UC San Diego. "But on an oral exam you have to explain why you're doing what you're doing."

Nearly two-thirds of students report they are more highly motivated to learn the subject when they have an oral exam, according to the research of Qi and her team. Grades increase by about 10%. The lowest-performing students have shown the greatest improvement.

The exams haven't completely eliminated cheating. Instructors have suspected some students have had classmates standing just out of view of the camera as they answer questions online. She described the efforts as clumsy and pretty easy to detect but difficult to prove. "Some students' answers are a little weird and sound unnatural," she said. "When we ask follow-up questions, they can't answer."" [1]

1.  U.S. News: Professors Use Oral Exams to Foil AI Cheats. Belkin, Douglas. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 02 June 2023: A.3.