OpenAI vienas iš įkūrėjų nori sukurti saugų superintelektą

"Ilja Sutskeveris kažkada įkūrė "ChatGPT" tiekėją OpenAI, o paskui paliko ją dėl saugumo problemų. Dabar jis įkūrė savo įmonę. Tikslas: saugus dirbtinis superintelektas (AI).

 

Vienas iš ChatGPT išradėjo OpenAI įkūrėjų steigia savo AI startuolį. Naujos įmonės, pavadintos Safe Superintelligence, tikslas – saugus, labai išvystytas dirbtinis intelektas, trečiadienį paskelbė Ilja Sutskeveris.

 

„Ypatinga įmonės savybė yra ta, kad pirmasis jos produktas bus saugus superintelektas, o prieš tai ji nieko daugiau neišleis“, – finansų tarnybai „Bloomberg“ sakė Sutskeveris. "Taip bus išvengta komercinio spaudimo ir konkurencijos su kitomis AI laboratorijomis," – argumentavo mokslininkas.

 

Sutskeveris laikomas vienu iš pirmaujančių dirbtinio intelekto vystymo protų. „Safe Superintelligence“ jis turi dar du įkūrėjus: Danielis Grossas kadaise dirbo dirbtinio intelekto srityje „Apple“, o Danielis Levy dirbo su Sutskeveriu OpenAI.

 

Ekspertai ne kartą perspėja apie AI

 

Klausimas, ar dirbtinio intelekto sistemos gali tapti pavojingos žmonijai, kai jos taps galingesnės ir nepriklausomesnės, pramonėje rūpi daugelį metų. Ne kartą perspėja ekspertai, ir vyriausybės bando sumažinti riziką, taikant griežtas gaires ir ataskaitų teikimo reikalavimus.

 

Sutskeveris buvo OpenAI tyrimų vadovas. Praėjusiais metais jis dalyvavo netikėtame „OpenAI“ vadovo Samo Altmano pašalinime, kuris po kelių dienų buvo atšauktas po darbuotojų ir didžiojo investuotojo „Microsoft“ spaudimo. Po to Sutskeveris liko antrame plane ir gegužę paliko „ChatGPT“ kūrėją.

 

Naujos įmonės vizija yra tarsi grįžimas prie OpenAI, kaip ne pelno siekiančios tyrimų laboratorijos, šaknų. Tačiau, praėjus keleriems metams po įkūrimo, OpenAI priėjo prie išvados, kad be komercinio produkto ji negalės išsilaikyti. Taip atsirado milijardo dolerių vertės paktas su programinės įrangos milžine „Microsoft“ ir „ChatGPT“ publikacija. Kaip bus finansuojama naujoji Sutskeverio superintelekto laboratorija, kol kas liko neaišku.“ [1]

 

1. Open-AI-Mitgründer will sichere Superintelligenz entwickeln. Frankfurter Allgemeine Zeitung (online) Frankfurter Allgemeine Zeitung GmbH. Jun 20, 2024.

OpenAI co-founder wants to develop safe superintelligence

"Ilya Sutskever once co-founded the ChatGPT provider OpenAI and then left because of safety issues. Now he has formed his own company. The goal: safe artificial intelligence.

 

One of the founders of ChatGPT inventor OpenAI is setting up his own AI start-up. The goal of the new company, called Safe Superintelligence, is safe, highly developed artificial intelligence, Ilya Sutskever announced recently.

 

"The special thing about the company is that its first product will be safe superintelligence - and it will not bring out anything else before that," Sutskever told the financial service Bloomberg. This will allow them to avoid commercial pressure and a race with other AI labs, the researcher argued.

 

Sutskever is considered one of the leading minds in the development of artificial intelligence. At Safe Superintelligence he has two co-founders: Daniel Gross, who once worked on artificial intelligence at Apple, Daniel Levy was once with Sutskever at OpenAI.

 

Experts keep warning about AI

 

The question of whether AI systems could become dangerous to humanity once they become more powerful and independent has been a concern in the industry for years. There are repeated warnings from experts and attempts by governments to minimize risks through strict regulations and reporting requirements.

 

Sutskever was head of research at OpenAI. Last year he was involved in the surprise dismissal of OpenAI boss Sam Altman, which was reversed just a few days later after pressure from employees and major investor Microsoft. Sutskever stayed in the background after that and left the ChatGPT developer in May.

 

The vision for the new company is something like a return to OpenAI's roots as a non-profit research laboratory. However, a few years after its founding, OpenAI came to the conclusion that it would not be able to stay afloat without a commercial product. This led to a multi-billion dollar pact with the software giant Microsoft and the release of ChatGPT. How Sutskever's new superintelligence laboratory will be financed has so far remained unclear." [1]

 

1. Open-AI-Mitgründer will sichere Superintelligenz entwickeln. Frankfurter Allgemeine Zeitung (online) Frankfurter Allgemeine Zeitung GmbH. Jun 20, 2024.

Naujuoju metodu siekiama išvengti kalbos modelių haliucinacijų

„Oksfordo universiteto mokslininkai sukūrė metodą, leidžiantį nuspėti ir užkirsti kelią haliucinacijoms dirbtinio intelekto modeliuose už ChatGPT ir Gemini. 

 

Ateityje modeliai generuos ir palygins kelis atsakymus, prieš pateikdami rezultatą.

 

Haliucinacijos yra gerai žinoma didelių kalbos modelių (LLM) problema, kai modeliai pateikia patikimai skambančią, bet klaidingą arba visiškai išgalvotą informaciją. Oksfordo universiteto mokslininkai sukūrė metodą, leidžiantį numatyti ir išvengti didelių kalbos modelių haliucinacijų. Tyrimas buvo paskelbtas žurnale Nature.

 

Dar gegužę „Google“ AI paieškos funkcija „AI apžvalga“ sulaukė kritikos dėl to, kad vartotojams pateikia absurdiškus ir sveikatai pavojingus atsakymus. Tai apėmė rekomendaciją naudoti klijus, kaip picos užpilą arba kasdien suvalgyti akmenį. "LLM gali suformuluoti tą patį dalyką įvairiais būdais. Taikant senus metodus, negalėtumėte atskirti, ar modelis nežinojo, ką pasakyti, ar nežinojo, kaip išreikšti save", - sako Sebastianas Farquharas, vienas iš knygos bendraautorių. studija. 

 

Naujasis metodas sutelktas į sugeneruotų atsakymų reikšmės neapibrėžtumo matavimą, o ne tik į neapibrėžtumą, pasirenkant žodžius.

 

Palyginkite skirtingus atsakymus į tą patį klausimą

 

Idėja yra tokia: jei kalbos modelis generuoja kelis skirtingus atsakymus į klausimą, atsakymus, kurie suformuluoti skirtingai, bet turi tą pačią reikšmę, tada modelis yra labai įsitikinęs atsakymu. Jei modelis pateikia daug skirtingų reikšmių atsakymų į tą pačią užklausą, modelis nėra tikras. Tai yra įspėjamasis ženklas, kad modelis gali pranešti apie kažką neteisingo ar nepagrįsto.

 

Tyrimas siūlo įvertinti tikimybes prasmės erdvėje ir tik tada pateikti galutinį atsakymą. Šis metodas leidžia kiekybiškai įvertinti atsakymo neapibrėžtumą ir taip nustatyti haliucinacijas, prieš joms atsirandant. Tokiu būdu vartotojai gali būti įspėti, jei modelio atsakymas gali būti neteisingas arba nepagrįstas. Mokant kalbos modelį, atsakymai, kurių reikšmės skiriasi, gali būti atmesti, siekiant pagerinti modelio tikslumą.

 

Tačiau šio metodo įgyvendinimas yra sudėtingas, nes kalbos modelis turi iš anksto sugeneruoti kelis galimus atsakymus į kiekvieną klausimą, kad būtų galima rasti galutinį rezultatą. Tyrimas rodo, kad palyginus dešimt, iš anksto sugeneruotų, atsakymų būtų galima pagerinti modelio veikimą. Tai reikalauja daug skaičiavimo, ypač ilgesnių atsakymų atveju. „Situacijose, kai patikimumas yra labai svarbus, semantinio neapibrėžtumo apskaičiavimas yra nedidelė kaina“, – sako tyrimo vadovas Yarinas Galas." [1]

1. Neue Methode soll Halluzinationen der Sprachmodelle vermeiden. Frankfurter Allgemeine Zeitung (online) Frankfurter Allgemeine Zeitung GmbH. Jun 20, 2024. Von Nina Müller