„Įmonės, lenktyniaujančios, siekiant sukurti galingesnį dirbtinį intelektą (AI), greitai artėja prie naujos problemos: internetas gali būti per mažas jų planams.
Vis tvirtesnėms sistemoms, kurias sukūrė „OpenAI“, „Google“ ir kitos, reikia didesnių informacijos vandenynų, kad būtų galima mokytis, o tai apkrauna prieinamą kokybiškų viešųjų duomenų telkinį internete, o kai kurie duomenų savininkai blokuoja prieigą prie duomenų AI įmonėms. Kai kurie vadovai ir mokslininkai teigia, kad pramonės poreikis aukštos kokybės tekstinių duomenų gali viršyti pasiūlą per dvejus metus.
AI įmonės ieško nepanaudotų informacijos šaltinių ir permąsto, kaip apmokyti šias sistemas. „OpenAI“, „ChatGPT“ kūrėja, aptarė savo kito modelio mokymą su viešų „YouTube“ vaizdo įrašų transkripcijomis, sakė su šiuo klausimu susipažinę žmonės.
Įmonės taip pat eksperimentuoja, naudodamos dirbtinio intelekto sugeneruotus arba sintetinius duomenis kaip mokymo medžiagą – daugelis mokslininkų teigia, kad tai gali sukelti gedimų.
Šios pastangos dažnai yra slaptos, nes vadovai mano, kad sprendimai gali būti konkurencinis pranašumas.
„Nėra nusistovėjusio būdo tai padaryti“, – sakė Ari Morcosas, dirbtinio intelekto tyrinėtojas, dirbęs „Meta Platforms“ ir „Google“ „DeepMind“ prieš įkurdamas „DatologyAI“, kurio rėmėjai yra kai kurie AI pradininkai. „DatologyAI“ kuriami įrankiai, skirti pagerinti duomenų atranką, todėl mokymai gali būti pigesni.
Duomenys yra tik vienas iš pagrindinių AI išteklių, kurių trūksta. Lustų, reikalingų vadinamiesiems didelės kalbos modeliams paleisti už AI robotų, taip pat yra mažai. Pramonės lyderiai nerimauja dėl duomenų centrų ir elektros energijos trūkumo jiems maitinti.
Dirbtinio intelekto kalbų modeliai kuriami, naudojant tekstą, paimtą iš interneto. Ši medžiaga suskirstyta į žetonus – žodžius ir žodžių dalis, kuriuos modeliai naudoja, mokydamiesi formuluoti žmogiškus posakius.
Paprastai dirbtinio intelekto modeliai tampa pajėgesni, iš kuo daugiau duomenų jie mokosi.
Pablo Villalobosas, tyrinėjantis dirbtinį intelektą tyrimų institute „Epoch“, apskaičiavo, kad pažangiausias OpenAI kalbos modelis, vadinamas GPT-4, buvo apmokytas su net 12 trilijonų žetonų. „Villalobos“ ir kiti mokslininkai apskaičiavo, kad dirbtinio intelekto sistemai, tokiai, kaip GPT-5, dabartinėje augimo trajektorijoje reikėtų 60–100 trilijonų. Panaudojus visus turimus aukštos kokybės duomenis, gali trūkti nuo 10 trilijonų iki 20 trilijonų ar daugiau žetonų, sakė jis.
Prieš dvejus metus Villalobosas ir jo kolegos rašė, kad yra 90 % tikimybė, kad aukštos kokybės duomenų paklausa iki 2026 m. viršys pasiūlą. Nuo to laiko jie tapo šiek tiek optimistiškesni ir planuoja atnaujinti savo sąmatą iki 2028 m.
Dauguma internete prieinamų duomenų yra nenaudingi dirbtinio intelekto mokymui, nes juose yra trūkumų, pvz., sakinių fragmentų, arba jie neprideda modeliui žinių. „Villalobos“ apskaičiavo, kad naudinga dalis yra tik viena dešimtoji „Common Crawl“, kurios žiniatinklio archyvą plačiai naudoja AI kūrėjai, surinktos informacijos.
Tuo tarpu socialinės žiniasklaidos platformos, naujienų leidėjai ir kiti ribojo prieigą prie duomenų, skirtų dirbtinio intelekto mokymui, nes nerimauja dėl problemų, įskaitant kompensaciją. Ir yra mažai visuomenės valios perduoti privačių pokalbių duomenis, pvz., pokalbius per „iMessage“.
„Meta Platforms“ generalinis direktorius Markas Zuckerbergas neseniai įvardijo savo įmonės prieigą prie duomenų savo platformose, kaip reikšmingą pranašumą jos pastangose, vystant AI.
Kai kurios technologijų įmonės, įskaitant „OpenAI“ partnerę „Microsoft“, kuria kalbų modelius, kurie yra tik dalis GPT-4 dydžio, tačiau gali pasiekti konkrečius tikslus.
„OpenAI“ generalinis direktorius Samas Altmanas nurodė, kad bendrovė kuria naujus mokymo metodus. „Manau, kad esame eros pabaigoje, kai tai bus šie milžiniški, milžiniški modeliai“, – pernai sakė jis." [1]
1. Internet Is Too Small To Feed AI Ambitions. Seetharaman, Deepa. Wall Street Journal, Eastern edition; New York, N.Y.. 02 Apr 2024: B.2.
Komentarų nėra:
Rašyti komentarą