„Tyrėjai paprastai naudoja dirbtinį intelektą internetu, tačiau daugybė atvirai prieinamų įrankių reiškia, kad jiems to nereikia.
Svetainė histo.fyi yra imuninės sistemos baltymų, vadinamų pagrindiniu histosuderinamumo komplekso (MHC) molekulėmis, struktūrų duomenų bazė. Joje yra vaizdų, duomenų lentelių ir aminorūgščių sekų, o ją tvarko bioinformatikas Chrisas Thorpe'as, kuris naudoja dirbtinio intelekto (DI) įrankius, vadinamus dideliais kalbos modeliais (LLM), kad konvertuotų šiuos išteklius į skaitomas santraukas. Tačiau jis nenaudoja „ChatGPT“ ar jokio kito žiniatinklio pagrindu veikiančio LLM. Vietoj to, Thorpe'as naudoja DI savo nešiojamajame kompiuteryje.
Per pastaruosius porą metų LLM pagrindu sukurti pokalbių robotai pelnė pagarbą už gebėjimą rašyti poeziją ar dalyvauti pokalbiuose. Kai kurie LLM turi šimtus milijardų parametrų – kuo daugiau parametrų, tuo didesnis sudėtingumas – ir prie jų galima prisijungti tik internetu. Tačiau suklestėjo dar dvi naujausios tendencijos.
Pirma, organizacijos kuria „atviro svorio“ versijas LLM (licencijuotos teisės studijos), kuriose modelio mokymui naudojami svoriai ir paklaidos yra viešai prieinami, kad vartotojai, turintys pakankamai skaičiavimo galios, galėtų juos atsisiųsti ir paleisti vietoje.
Antra, technologijų įmonės kuria sumažintas versijas, kurias galima paleisti vartotojų aparatinėje įrangoje ir kurios konkuruoja su senesnių, didesnių modelių našumu.
Tyrėjai gali naudoti tokias priemones, kad sutaupytų pinigų, apsaugotų pacientų ar korporacijų konfidencialumą arba užtikrintų atkuriamumą.
Thorpe'as, įsikūręs Oksforde, JK, ir dirbantis Europos molekulinės biologijos laboratorijos Europos bioinformatikos institute Hinkstone, JK, yra tik vienas iš daugelio tyrėjų, tyrinėjančių, ką gali šie įrankiai. Thorpe'o teigimu, ši tendencija greičiausiai augs. Kompiuteriams tampant greitesniems ir modeliams efektyvesniems, žmonės vis dažniau turės dirbtinio intelekto (DI) programas savo nešiojamuosiuose kompiuteriuose ar mobiliuosiuose įrenginiuose, kad patenkintų visus poreikius, išskyrus pačius intensyviausius.
Mokslininkai pagaliau turės dirbtinio intelekto asistentus po ranka – bet pačius algoritmus, o ne tik nuotolinę prieigą prie jų.
Dideli dalykai mažuose paketuose
Kelios didelės technologijų įmonės ir tyrimų institutai išleido mažus ir atvirojo svorio modelius per pastaruosius kelerius metus, įskaitant „Google DeepMind“ Londone; „Meta“ Menlo Parke, Kalifornijoje; ir Alleno dirbtinio intelekto institutą Sietle, Vašingtone.
(„Mažas“ yra reliatyvus – šie modeliai gali turėti apie 30 milijardų parametrų, o tai yra daug, palyginti su ankstesniais modeliais.)
Nors Kalifornijos technologijų įmonė „OpenAI“ neatliko atvirojo svorio savo dabartiniams GPT modeliams, jos partnerė „Microsoft“ Redmonde, Vašingtone, aktyviai ėmėsi šio tikslo, 2023 m. išleisdama mažuosius kalbos modelius „Phi-1“, „Phi-1.5“ ir „Phi-2“, o šiais metais – keturias „Phi-3“ versijas ir tris „Phi-3.5“ versijas.
„Phi-3“ ir „Phi-3.5“ modeliai turi nuo 3,8 iki 14 milijardų aktyvių parametrų, o du modeliai („Phi-3-vision“ ir „Phi-3.5-vision“) tvarko vaizdus1.
Pagal kai kuriuos kriterijus net mažiausias „Phi“ modelis lenkia „OpenAI“ GPT-3.5 Turbo nuo 2023 m., kuris, kaip gandai teigia, turi 20 milijardų parametrų.
Sébastien Bubeck, „Microsoft“ generatyvinio dirbtinio intelekto viceprezidentas, „Phi-3“ našumą priskiria jo mokymo duomenų rinkiniui. Iš pradžių LLM mokosi numatydami kitą „žetoną“ (teksto dalį) ilgose teksto eilutėse. Pavyzdžiui, norėdama nuspėti žudiko vardą detektyvo pabaigoje, DI turi „suprasti“ viską, kas buvo prieš tai, tačiau tokios reikšmingos prognozės daugumoje tekstų yra retos. Kad išspręstų šią problemą, „Microsoft“ naudojo LLM, kad parašytų milijonus apsakymų ir vadovėlių, kuriuose vienas dalykas remiasi kitu. Bubeck teigimu, mokymo su šiuo tekstu rezultatas yra modelis, kuris telpa mobiliajame telefone, tačiau turi pradinės 2022 m. „ChatGPT“ versijos galią. „Jei pavyks sukurti duomenų rinkinį, kuriame gausu šių samprotavimo žetonų, signalas bus daug turtingesnis“, – sako jis.
„Phi-3“ taip pat gali padėti nukreipti – nuspręsti, ar užklausa turėtų būti nukreipta į didesnį modelį. „Tai yra vieta, kurioje „Phi-3“ sužibės“, – sako Bubeckas.
Maži modeliai taip pat gali padėti mokslininkams atokiuose regionuose, kuriuose yra mažai debesijos ryšio. „Čia, Ramiojo vandenyno šiaurės vakaruose, turime nuostabių vietų žygiams, o kartais tiesiog neturiu tinklo“, – sako jis. „O galbūt noriu nufotografuoti kokią nors gėlę ir paklausti savo dirbtinio intelekto apie ją informacijos.“
Tyrėjai gali remtis šiais įrankiais kurdami individualias programas. Pavyzdžiui, Kinijos elektroninės prekybos svetainė „Alibaba“ sukūrė modelius, vadinamus „Qwen“, su 500–72 milijardais parametrų. Biomedicinos mokslininkas iš Naujojo Hampšyro, naudodamas mokslinius duomenis, tiksliai suderino didžiausią „Qwen“ modelį, kad sukurtų „Turbcat-72b“, kurį galima rasti modelių bendrinimo svetainėje „Hugging Face“. (Tyrėja „Discord“ pranešimų platformoje prisistato tik Kal'tsit vardu, nes dirbtinio intelekto pagalba atliekamas darbas moksle vis dar kelia prieštaringų vertinimų.) Kal'tsit teigia, kad sukūrė modelį, kuris padėtų tyrėjams generuoti idėjas, taisyti rankraščius, kurti kodo prototipus ir apibendrinti paskelbtus straipsnius; modelis buvo atsisiųstas tūkstančius kartų.
Išsaugojimas privatumas
Papildomai prie galimybės tiksliai suderinti atvirus modelius tikslinėms programoms, pasak Kal'tsit, dar vienas vietinių modelių privalumas yra privatumas. Asmeniškai identifikuojamų duomenų siuntimas komercinei paslaugai gali pažeisti duomenų apsaugos reglamentus. „Jei įvyktų auditas ir parodytumėte jiems, kad naudojate „ChatGPT“, situacija galėtų tapti gana nemaloni“, – sako ji.
Cyril Zakka, gydytojas, vadovaujantis „Hugging Face“ sveikatos priežiūros komandai, naudoja vietinius modelius, kad generuotų mokymo duomenis kitiems modeliams (kurie kartais taip pat yra vietiniai). Viename projekte jis juos naudoja diagnozėms iš medicininių ataskaitų išgauti, kad kitas modelis galėtų išmokti numatyti šias diagnozes remdamasis echokardiogramomis, kurios naudojamos širdies ligoms stebėti. Kitame projekte jis naudoja modelius klausimams ir atsakymams iš medicinos vadovėlių generuoti, kad išbandytų kitus modelius. „Mes tiesiame kelią visiškai autonominei chirurgijai“, – aiškina jis. Robotas, apmokytas atsakyti į klausimus, galėtų geriau bendrauti su gydytojais.
Zakka naudoja vietinius modelius – jis renkasi „Mistral 7B“, kurį išleido technologijų įmonė „Mistral Al“ Paryžiuje, arba „Meta“ „Llama-3 70B“, nes jie pigesni nei prenumeratos paslaugos, tokios kaip „ChatGPT Plus“, ir nes jis gali juos tiksliai suderinti.
Tačiau privatumas taip pat svarbus, nes jam neleidžiama siųsti pacientų medicininių įrašų komercinėms dirbtinio intelekto paslaugoms.
Johnsonas Thomasas, endokrinologas iš sveikatos priežiūros sistemos „Mercy“ Springfilde, Misūrio valstijoje, taip pat motyvuojamas pacientų privatumo. Gydytojai retai turi laiko transkribuoti ir apibendrinti pacientų pokalbius, tačiau dauguma komercinių paslaugų, kurios tam naudoja dirbtinį intelektą, yra arba per brangios, arba neturi leidimo tvarkyti privačius medicininius duomenis. Todėl Thomasas kuria alternatyvą. Remiantis „Whisper“ – atvirojo svorio kalbos atpažinimo modeliu iš „OpenAI“ – ir „Gemma 2“ iš „Google DeepMind“, sistema leis gydytojams transkribuoti pokalbius ir konvertuoti juos į medicinines pastabas, taip pat apibendrinti medicininių tyrimų dalyvių duomenis.
Privatumas taip pat yra svarbus pramonės šakoje. „CELLama“, sukurta Pietų Korėjos farmacijos kompanijoje „Portrai“ Seule, naudoja vietines LLM, tokias kaip „Llama 3.1“, kad sumažintų informaciją apie ląstelės genų raišką ir kitas charakteristikas iki santraukos sakinio2. Tada ji sukuria skaitmeninį šio sakinio vaizdą, kurį galima naudoti ląstelėms suskirstyti į tipus. Kūrėjai savo „GitHub“ puslapyje pabrėžia privatumą kaip vieną iš privalumų, pažymėdami, kad „CELLama“ „veikia lokaliai, užtikrindama, kad nebūtų duomenų nutekėjimo“.
Modelių panaudojimas
Tobulėjant LLM aplinkai, mokslininkai susiduria su sparčiai besikeičiančiu pasirinkimų meniu. „Aš vis dar esu bandymų, bandymų naudoti LLM lokaliai etape“, – sako Thorpe'as. Jis bandė „ChatGPT“, bet manė, kad tai brangu, o jos išvesties tonas nebuvo tinkamas. Dabar jis naudoja „Llama“ lokaliai, su 8 milijardais arba 70 milijardų parametrų, kurie abu gali veikti jo „Mac“ nešiojamajame kompiuteryje.
Kitas privalumas, pasak Thorpe'o, yra tai, kad vietiniai modeliai nesikeičia. Tuo tarpu komerciniai kūrėjai gali bet kada atnaujinti savo modelius, todėl gaunami skirtingi rezultatai ir Thorpe'as yra priverstas keisti savo užduotis ar šablonus. „Daugumoje mokslo sričių norite, kad dalykai būtų atkartojami“, – aiškina jis. „Ir visada neramu, jei nekontroliuojate generuojamo rezultato atkuriamumo.“
Kitam projektui Thorpe'as rašo kodą, kuris sulygiuoja MHC molekules pagal jų 3D struktūrą. Norėdamas sukurti ir išbandyti savo algoritmus, jam reikia daug įvairių baltymų – daugiau nei egzistuoja natūraliai. Norėdamas sukurti tikėtinus naujus baltymus, jis naudoja „ProtGPT2“ – atvirojo svorio modelį su 738 milijonais parametrų, kuris buvo apmokytas maždaug 50 milijonų sekų3.
Tačiau kartais vietinė programa netinka. Kodavimui Thorpe'as kaip partnerį naudoja debesijos pagrindu veikiančią „GitHub Copilot“. „Jaučiuosi taip, lyg man būtų nukirsta ranka, kai dėl kažkokių priežasčių negaliu naudoti „Copilot“, – sako jis. Yra vietinių LLM pagrindu sukurtų kodavimo įrankių (pvz., „Google DeepMind“ sukurta „CodeGemma“ ir Kalifornijoje įsikūrusių kūrėjų „Continue“), tačiau, jo patirtimi, jie negali konkuruoti su „Copilot“.
Prieigos taškai
Taigi, kaip paleisti vietinę LLM? Programinė įranga, vadinama „Ollama“ (galima naudoti „Mac“, „Windows“ ir „Linux“ operacinėse sistemose) leidžia vartotojams atsisiųsti atvirus modelius, įskaitant „Llama 3.1“, „Phi-3“, „Mistral“ ir „Gemma 2“, ir pasiekti juos per komandinę eilutę [A].
Kitos parinktys apima kelių platformų programą GPT4A11 ir „Llamafile“, kuri gali transformuoti LLM į vieną failą, veikiantį bet kurioje iš šešių operacinių sistemų, su grafikos procesoriumi arba be jo.
Sharon Machiis, buvusi svetainės „InfoWorld“ redaktorė, gyvenanti Framinghame, Masačusetse, parašė vadovą, kaip naudoti LLM vietiniu būdu, kuriame aptarta keliolika variantų. „Pirmiausia siūlyčiau, – sako ji, – pasirinkti programinę įrangą, atitinkančią jūsų lygį ir tai, kiek norite žaisti.“ Vieni žmonės renkasi programų paprastumą, o kiti – komandinės eilutės lankstumą.
Nepriklausomai nuo pasirinkto metodo, vietinės LLM netrukus turėtų būti pakankamai geros daugumai programų, sako Stephenas Hoodas, vadovaujantis atvirojo kodo skyriui DI technologijų įmonėje „Mozilla“ San Franciske. „Per pastaruosius metus pasiekta stulbinanti pažanga“, – sako jis.
Kalbant apie tai, kokios galėtų būti tos programos, tai spręsti vartotojams. „Nebijokite išsipurvinti rankų“, – sako Zakka. „Rezultatai gali jus maloniai nustebinti.“
Matthew Hutson yra mokslo rašytojas, gyvenantis Niujorke.
Literatūra
1. Abdin, M. ir kt. Išankstinis spausdinimas svetainėje „arXiv“ https://doi.org/10.48550/ arXiv.2404.14219 (2024).
2. Choi, H. etai. Išankstinis spausdinimas svetainėje „bioRxiv“ https://doi.Org/l0.ll0l/2024.05.08.593094 (2024).
3. Ferruz, N. ir kt. „Nature Commun.“ 13, 4348 (2022). [B]
A. Komandinė eilutė, dar vadinama komandinės eilutės sąsaja (CLI), terminalu, konsole arba apvalkalu, yra tekstinė sąsaja, naudojama sąveikai su kompiuterio operacine sistema. Užuot naudoję pelę ir grafinius elementus (kaip grafinėje sąsajoje), vartotojai įveda komandas, kad atliktų įvairias užduotis.
Pagrindiniai komandinės eilutės aspektai:
Tekstinė sąveika:
Vartotojai įveda komandas kaip teksto eilutes, kurias vėliau interpretuoja ir vykdo sistema.
Sistemos sąveika:
Ji leidžia tiesiogiai manipuliuoti failų sistema, vykdyti programas ir konfigūruoti sistemos nustatymus.
Efektyvumas atliekant konkrečias užduotis:
Nors grafinės sąsajos daugeliui vartotojų yra intuityvios, komandinė eilutė gali būti žymiai greitesnė ir efektyvesnė atliekant tokias užduotis kaip paketinis apdorojimas, automatizavimas ir nuotolinis administravimas.
Prieinamumas įvairiose operacinėse sistemose:
Visos pagrindinės operacinės sistemos, įskaitant „Windows“ (komandų eilutė arba „PowerShell“), „macOS“ (terminalas) ir „Linux“ (įvairūs apvalkalai, pvz., „Bash“, „Zsh“), teikia komandinės eilutės sąsają.
Pagrindinis įrankis kūrėjams ir administratoriams:
Tai pagrindinis įrankis programuotojams, sistemos administratoriams ir visiems, kuriems reikia tiksliai valdyti savo kompiuterį. operacijos.
Dažniausios užduotys, atliekamos naudojant komandinę eilutę:
Katalogų (aplankų) naršymas
Failų ir katalogų kūrimas, naikinimas ir pervadinimas
Programų ir scenarijų vykdymas
Sistemos procesų valdymas
Tinklo nustatymų konfigūravimas
Pasikartojančių užduočių automatizavimas, naudojant scenarijus
B. FORGET CHATGPT: HOW TO RUN AI LOCALLY ON A LAPTOP. Anonymous. Nature; London Vol. 633, Iss. 8030, (Sep 19, 2024): 728-729.
Komentarų nėra:
Rašyti komentarą