AI Investors Face A Range of Risks

 

 

“The basic principle of venture capital is to put a dollar in each of 10 companies, accept that three will go to zero, one or two to $10 or more, and the rest kind of meh. The winner more than makes up for the losers, but you spread your money around in the hope of securing ten-baggers.

 

Investing in artificial intelligence increasingly has the same mindset -- but without the diversification. This leaves investors exposed to all the many risks as they chase one big bet: artificial general intelligence, an AI that can match or surpass humans. This isn't a chatbot, but a truly capable alternative to the human brain: Think Terminator, Hal, Blade Runner.

 

If what's known as AGI ever works, it would deliver massive societal change, as well as potentially huge productivity gains and, barring state seizure, profits on a literally science-fiction scale.

 

This is the better-than-ten-bagger bet that AI luminaries talk up as they set out plans for trillions of dollars to be sunk into data centers.

 

Along the way, there's "agentic AI" and other propositions that could still produce decent productivity gains and make lots of money if widely adopted. The problem: The entry cost is increasingly high because of the race to AGI, and even the prospects for take-up of the less exciting propositions remain uncertain.

 

Excluded from the VC world, ordinary investors are mostly invested in AI via funds that have a slice of their money in private companies such as OpenAI, or through Big Tech companies that are dedicating more of their cash piles to AI research and holdings in private AI firms.

 

Here are the risks:

 

It never works.

 

Clearly, if AGI proves impossible, those betting the farm-converted-into-a-data-center on it working will lose. Will it work? I have no idea. But there are good reasons to think that simply throwing more computing power at the current models won't do it, and every past AI boom has come with similar excitement about AGI.

 

AI pioneer Marvin Minsky told Life magazine that true AGI was three to eight years away -- in 1970. Less widely known is that the magazine canvassed skeptics who cautioned that AGI was more likely to take 15 years. It's always been the technology of the future, and it might stay that way.

 

It takes too long.

 

Maybe we do get AGI eventually. But how long will investors stay hopeful? The chips being bought today to fill the data centers will be redundant in four or five years, so need to generate significant revenue quickly.

 

It's highly unlikely they can be paid for with AGI, so they need either investors to keep on funding heavy losses, or customers to be willing to pay for other AI applications created along the way: video editing, fake digital friends, short online answers to replace search.

 

It costs too much.

 

Here we get to the problem of the other AI applications. Staff at OpenAI, creator of ChatGPT, just sold shares at a valuation of $500 billion. It is on track to meet its forecast of $13 billion in sales this year, almost all from the chatbot, valuing it at 38 times revenue. That multiple is a little more than dot-com poster child Cisco Systems at the peak of the tech bubble in 2000.

 

Even if everything goes well, the high entry cost lowers the return prospects, barring AGI. Plus, investors have to continue to believe it will go right and keep funding losses until it does.

 

You pick a loser.

 

Back in the browser wars of the late 1990s, Netscape fought Microsoft's Internet Explorer for dominance of the web interface. Netscape had the better product in my view, but it didn't matter because the eventual winner was. . .neither of them.

 

Google, now Alphabet, came up with Chrome and dominates use. All the big tech companies are competing to develop AI, along with startups in Europe and China. If you could somehow invest in all of them, you could hope to get the VC-type returns, even if all but one go to zero. But the winner might be someone else entirely.

 

Investors have already repeatedly missed when trying to pick winners among smaller AI stocks.

 

Super Micro Computer shares are worth a bit more than one-third of last year's peak after a wild run-up. SoundHound AI shares lost three-quarters of their value this spring after rising more than 12-fold in a year, before a rebound. C3.AI shares are worth less than half their 2023 high, and have lost almost 90% of where they briefly traded at after the 2020 IPO.

 

Competition rises.

 

Investors are betting that AI is a winner-takes-most market with fat profit margins.

 

It could be that usage speeds design improvements, creating a network effect where more customers mean the product gets better, so attracts more customers. Or it could be, as today, that there are a ton of different chatbot companies offering very similar products -- and margins are driven down both by competition and by the need to keep up heavy spending on research.

 

It's too easy.

 

AI stocks wobbled earlier this year when China's DeepSeek AI released a chatbot that was easier to train.

 

Academics in China just released a paper on their "SpikingBrain" model that claims a new approach allows powerful AI development on low-cost microchips.

 

If someone comes up with a way to provide cheap AI, it might speed up the path to AGI -- but it will hurt chip maker Nvidia and companies that filled data centers with its expensive, high-powered chips.

 

The economy suffers.

 

The scale of data-center expansion is stretching the ability of the U.S. to provide enough electricity, backup generators and other equipment, as it is now measured most effectively in percentages of GDP. The spending helps spread money from AI investment more broadly across the economy. But it also makes it harder for old industries that have to compete for power and equipment with companies flush with the gusher of AI cash.

 

With the U.S. operating at or close to full capacity, this means either inflation or a reallocation of resources -- both painful options.

 

If you think an AGI would generate multitrillion-dollar profits, even a tiny chance that it happens is worth a lot. Investors merely hoping for profits from intermediate AI products should be bothered about financing a sector increasingly priced for AGI.” [1]

 

1. Streetwise: AI Investors Face A Range of Risks. Mackintosh, James.  Wall Street Journal, Eastern edition; New York, N.Y.. 06 Oct 2025: B1.  

Dirbtinio intelekto investuotojai susiduria su įvairia rizika

 

„Pagrindinis rizikos kapitalo principas – investuoti po dolerį į kiekvieną iš 10 įmonių, susitaikyti su tuo, kad trys iš jų kainuos nulį, viena ar dvi – 10 USD ar daugiau, o visa kita – banalu. Laimėtojas daugiau nei kompensuoja pralaimėtojus, bet jūs paskirstote savo pinigus tikėdamiesi gauti dešimties dolerių vertės investicijas.“

 

Investuojant į dirbtinį intelektą vis dažniau taikomas tas pats mąstymas, tačiau be diversifikacijos. Dėl to investuotojai susiduria su daugybe rizikų, nes jie siekia vieno didelio statymo: dirbtinio bendrojo intelekto, DI, kuris gali prilygti žmonėms arba jį pranokti. Tai ne pokalbių robotas, o tikrai pajėgi alternatyva žmogaus smegenims: pagalvokite apie Terminatorių, Halą, „Blade Runner“.

 

Jei tai, kas vadinama dirbtiniu intelektu (DDI), kada nors veiks, tai atneštų didžiulius visuomeninius pokyčius, taip pat potencialiai didžiulį produktyvumo padidėjimą ir, jei valstybė nekonfiskuos, pelną tiesiogine prasme mokslinės fantastikos mastu.

 

Tai yra geresnis nei dešimties dolerių vertės statymas, apie kurį kalba dirbtinio intelekto šviesuoliai, pristatydami planus, kaip trilijonus dolerių investuoti į duomenis.“ centrai.

 

Be to, yra „agentinis DI“ ir kiti pasiūlymai, kurie vis dar galėtų užtikrinti gerą produktyvumo padidėjimą ir uždirbti daug pinigų, jei būtų plačiai pritaikyti. Problema: dėl lenktynių dėl dirbtinio intelekto (DI), įėjimo kaina vis didėja, ir net mažiau įdomių pasiūlymų įgyvendinimo perspektyvos lieka neaiškios.

 

Paprasti investuotojai, neįtraukti į rizikos kapitalo pasaulį, daugiausia investuoja į DI per fondus, kurių pinigų dalis yra privačiose įmonėse, tokiose kaip „OpenAI“, arba per dideles technologijų įmones, kurios skiria didesnę dalį savo pinigų krūvų DI tyrimams ir turi akcijų privačiose DI įmonėse.

 

Štai rizika:

 

Tai niekada neveiks.

 

Akivaizdu, kad jei DI pasirodys neįmanoma, tie, kurie lažinasi, kad ūkis, paverstas duomenų centru, veiks, pralaimės. Ar tai veiks? Neturiu supratimo. Tačiau yra svarių priežasčių manyti, kad tiesiog daugiau skaičiavimo galios dabartiniams modeliams nepakaks, ir kiekvienas ankstesnis DI bumas buvo kupinas panašaus entuziazmo dėl DI.

 

DI pradininkas Marvinas Minsky žurnalui „Life“ sakė, kad tikrasis DI bus už trejų–aštuonerių metų – 1970 m. Mažiau žinoma, kad žurnalas apklausė skeptikus, kurie perspėjo, kad dirbtinio dirbtinio intelekto (DGI) sukūrimas greičiausiai užtruks 15 metų. Tai visada buvo ateities technologija ir tokia gali likti.

 

Tai užtrunka per ilgai.

 

Galbūt galiausiai gausime DGI. Bet kiek ilgai investuotojai išliks viltingi? Šiandien perkami lustai duomenų centrams užpildyti po ketverių ar penkerių metų taps nereikalingi, todėl jie turi greitai generuoti dideles pajamas.

 

Labai mažai tikėtina, kad juos bus galima apmokėti naudojant DGI, todėl jiems reikia arba investuotojų, kurie toliau finansuotų didelius nuostolius, arba klientų, kurie būtų pasirengę mokėti už kitas dirbtinio intelekto programas, sukurtas vėliau: vaizdo įrašų redagavimą, netikrus skaitmeninius draugus, trumpus internetinius atsakymus, skirtus pakeisti paiešką.

 

Tai kainuoja per daug.

 

Čia prieiname prie kitų dirbtinio intelekto programų problemos. „OpenAI“, „ChatGPT“ kūrėjos, darbuotojai ką tik pardavė akcijas, kurių vertė siekė 500 mlrd. USD. Ji sėkmingai įgyvendina savo prognozuojamą 13 mlrd. USD pardavimų šiais metais, beveik visus iš pokalbių roboto, todėl jos vertė 38 kartus viršija pajamas. Šis daugiklis... yra šiek tiek daugiau nei „dot-com“ reklaminis vaikas „Cisco Systems“ technologijų burbulo viršūnėje 2000 m.

 

Net jei viskas klostysis gerai, didelė įėjimo kaina sumažina grąžos perspektyvas, išskyrus dirbtinį dirbtinį intelektą (ADI). Be to, investuotojai turi toliau tikėti, kad viskas klostysis gerai, ir toliau finansuoti nuostolius, kol taip nutiks.

 

Pasirinkite pralaimėtoją.

 

Dešimtojo dešimtmečio pabaigos naršyklių karuose „Netscape“ kovojo su „Microsoft Internet Explorer“ dėl dominavimo žiniatinklio sąsajoje. Mano nuomone, „Netscape“ turėjo geresnį produktą, bet tai nebuvo svarbu, nes galutinis nugalėtojas nebuvo... nė vienas iš jų.

 

„Google“, dabar „Alphabet“, sukūrė „Chrome“ ir dominuoja naudojime. Visos didelės technologijų įmonės konkuruoja dėl dirbtinio intelekto kūrimo, kartu su startuoliais Europoje ir Kinijoje. Jei kažkaip galėtumėte investuoti į jas visas, galėtumėte tikėtis gauti rizikos kapitalo tipo grąžą, net jei visos, išskyrus vieną, nukristų iki nulio. Tačiau nugalėtojas gali būti kažkas visiškai kitas.

 

Investuotojai jau ne kartą suklydo bandydami išrinkti laimėtojus tarp mažesnių dirbtinio intelekto akcijų.

 

„Super Micro Computer“ akcijos yra vertos šiek tiek daugiau nei trečdaliu praėjusių metų piko po audringo pakilimo. „SoundHound AI“ akcijos šį pavasarį prarado tris ketvirtadalius savo vertės, per metus pakilę daugiau nei 12 kartų, o vėliau atsigavo. „C3.AI“ akcijų vertė yra mažesnė nei pusė 2023 m. maksimumo ir prarado beveik 90 % to, kur trumpai buvo prekiaujama po 2020 m. IPO.

 

Konkurencija didėja.

 

Investuotojai lažinasi, kad DI yra „laimėtojas gauna daugiausia“ rinka su didelėmis pelno maržomis.

 

Gali būti, kad naudojimas spartina dizaino tobulinimą, sukurdamas tinklo efektą, kai daugiau klientų reiškia, kad produktas tampa geresnis, todėl pritraukiama daugiau klientų. Arba, kaip šiandien, gali būti daugybė skirtingų pokalbių robotų bendrovių, siūlančių labai panašius produktus, o pelno maržas mažina tiek konkurencija, tiek poreikis išlaikyti dideles išlaidas tyrimams.

 

Tai per lengva.

 

DI akcijos svyravo anksčiau šiais metais, kai Kinijos “DeepSeek AI” išleido pokalbių robotą, kurį buvo lengviau apmokyti.

 

Kinijos akademikai ką tik paskelbė straipsnį apie savo „SpikingBrain“ modelį, kuriame teigiama, kad naujas metodas leidžia kurti galingą dirbtinį intelektą naudojant pigius mikroschemas.

 

Jei kas nors sugalvos būdą, kaip tiekti pigų dirbtinį intelektą, tai gali paspartinti kelią į dirbtinį intelektą (AGI), tačiau tai pakenks lustų gamintojui „Nvidia“ ir įmonėms, kurios duomenų centrus užpildė brangiais, galingais lustais.

 

Ekonomika kenčia.

 

Duomenų centrų plėtros mastas riboja JAV galimybes tiekti pakankamai elektros energijos, atsarginių generatorių ir kitos įrangos, nes dabar tai efektyviausiai matuojama BVP procentais. Šios išlaidos padeda plačiau paskirstyti DI investicijų lėšas visoje ekonomikoje. Tačiau tai taip pat apsunkina senų pramonės šakų, kurios turi konkuruoti dėl energijos ir įrangos su įmonėmis, turinčiomis daug dirbtinio intelekto lėšų, padėtį.

 

JAV veikiant visu pajėgumu arba beveik visu pajėgumu, tai reiškia arba infliaciją, arba išteklių perskirstymą – abu šie variantai yra skausmingi.

 

Jei manote, kad dirbtinio intelekto (DI) technologija generuotų kelių trilijonų dolerių pelną, net ir maža tikimybė, kad tai įvyks, yra daug verta. Investuotojai, kurie tikisi pelno iš tarpinių DI produktų, turėtų nerimauti dėl sektoriaus, kuriam vis labiau keliamos DI kainos, finansavimo.“ [1]

 

1. Streetwise: AI Investors Face A Range of Risks. Mackintosh, James.  Wall Street Journal, Eastern edition; New York, N.Y.. 06 Oct 2025: B1.  

Our Moonshot Moment on AI

“Artificial intelligence isn't another productivity tool; it's the fastest labor-market disruptor in history. As Walmart's CEO Doug McMillon warned, "AI is going to change literally every job." This shift will affect the workforce more than any economic transformation since the computer and internet revolution ("Walmart CEO Issues Wake-Up Call on AI," Page One, Sept. 29).

 

The good news: Many major companies are stepping up -- investing in AI technologies, training programs and change management to help their employees adapt. But at a time when the wage gap has begun to widen again, low-wage workers are at risk of missing out on what could be a historic opportunity for economic mobility if they don't have access to training and support.

 

Where do we start? The answer isn't to build a new system; it's to leverage and upgrade the networks we already have to reach people where they live. Across the country, community-based training and employment programs operate at neighborhood scale and reach most Americans.

 

Every year, Goodwill helps 200,000 people with job services. Working with public and private organizations, our company is ready to help lead this transformation. Leadership requires national will. This is our moonshot moment. If we get it right, we won't merely protect jobs -- we'll create pathways to opportunity and secure America's future.

 

Steve Preston

 

CEO, Goodwill Industries Int'l.

 

Derwood, Md.” [1]

 

1. Our Moonshot Moment on AI. Wall Street Journal, Eastern edition; New York, N.Y.. 06 Oct 2025: A16. 

Mūsų skrydžio į Mėnulį lygio akimirka dirbtinio intelekto srityje

„Dirbtinis intelektas nėra dar vienas produktyvumo įrankis; tai sparčiausiai darbo rinkos trikdytojas istorijoje. Kaip perspėjo „Walmart“ generalinis direktorius Doug McMillon, „DI pakeis kiekvieną darbą“. Šis pokytis paveiks darbo jėgą labiau nei bet kokia ekonominė transformacija nuo kompiuterių ir interneto revoliucijos laikų („Walmart“ generalinis direktorius kreipiasi į DI, pirmas puslapis, rugsėjo 29 d.).

 

Geros naujienos: daugelis didelių įmonių imasi veiksmų – investuoja į DI technologijas, mokymo programas ir pokyčių valdymą, kad padėtų savo darbuotojams prisitaikyti. Tačiau tuo metu, kai darbo užmokesčio skirtumas vėl pradėjo didėti, mažai uždirbantys darbuotojai rizikuoja praleisti tai, kas galėtų būti istorinė ekonominio mobilumo galimybė, jei jie neturės galimybės gauti mokymų ir paramos.

 

Nuo ko pradėti? Atsakymas – ne sukurti naują sistemą; tai yra panaudoti ir atnaujinti jau turimus tinklus, kad pasiektume žmones ten, kur jie gyvena. Visoje šalyje bendruomenės pagrindu veikiančios mokymo ir užimtumo programos veikia kaimynystės mastu ir pasiekia daugumą amerikiečių.

 

Kiekvienais metais „Goodwill“ padeda 200 000 žmonių turi darbo paieškos paslaugas. Bendradarbiaudama su viešosiomis ir privačiomis organizacijomis, mūsų įmonė yra pasirengusi padėti vadovauti šiai transformacijai. Lyderystei reikalinga nacionalinė valia. Tai mūsų akimirka. Jei viską padarysime teisingai, mes ne tik išsaugosime darbo vietas – mes sukursime galimybių kelius ir užtikrinsime Amerikos ateitį.

 

 

Steve'as Prestonas

 

 

Goodwill Industries Int'l. generalinis direktorius.

 

 

Derwoodas, Merilandas.“ [1]

 

1. Our Moonshot Moment on AI. Wall Street Journal, Eastern edition; New York, N.Y.. 06 Oct 2025: A16. 

FORGET CHATGPT: HOW TO RUN AI LOCALLY ON A LAPTOP

 

“Researchers typically use Ais online, but a host of openly available tools means they don't have to.

 

The website histo.fyi is a database of structures of immune-system proteins called major histocompatibility complex (MHC) molecules. It includes images, data tables and amino-acid sequences, and is run by bioinformatician Chris Thorpe, who uses artificial intelligence (Al) tools called large language models (LLMs) to convert those assets into readable summaries. But he doesn't use ChatGPT, or any other web-based LLM. Instead, Thorpe runs the Al on his laptop.

 

Over the past couple of years, chatbots based on LLMs have won praise for their ability to write poetry or engage in conversations. Some LLMs have hundreds of billions of parameters - the more parameters, the greater the complexity - and can be accessed only online. But two more recent trends have blossomed.

 

First, organizations are making 'open weights' versions of LLMs, in which the weights and biases used to train a model are publicly available, so that users can download and run them locally, if they have the computing power.

 

Second, technology firms are making scaled-down versions that can be run on consumer hardware - and that rival the performance of older, larger models.

 

Researchers might use such tools to save money, protect the confidentiality of patients or corporations, or ensure reproducibility.

 

Thorpe, who's based in Oxford, UK, and works at the European Molecular Biology Laboratory's European Bioinformatics Institute in Hinxton, UK, is just one of many researchers exploring what the tools can do. That trend is likely to grow, Thorpe says. As computers get faster and models become more efficient, people will increasingly have Ais running on their laptops or mobile devices for all but the most intensive needs.

 

Scientists will finally have AI assistants at their fingertips - but the actual algorithms, not just remote access to them.

 

Big things in small packages

 

Several large tech firms and research institutes have released small and open-weights models over the past few years, including Google DeepMind in London; Meta in Menlo Park, California; and the Allen Institute for Artificial Intelligence in Seattle, Washington.

 

('Small' is relative - these models can contain some 30 billion parameters, which is large by comparison with earlier models.)

 

Although the California tech firm OpenAI hasn't open-weighted its current GPT models, its partner Microsoft in Redmond, Washington, has been on a spree, releasing the small language models Phi-1, Phi-1.5 and Phi-2 in 2023, then four versions of Phi-3 and three versions of Phi-3.5 this year.

 

The Phi-3 and Phi-3.5 models have between 3.8 billion and 14 billion active parameters, and two models (Phi-3-vision and Phi-3.5-vision) handle images1.

 

By some benchmarks, even the smallest Phi model outperforms OpenAI's GPT-3.5 Turbo from 2023, rumoured to have 20 billion parameters.

 

Sébastien Bubeck, Microsoft's vice-president for generative Al, attributes Phi-3's performance to its training data set. LLMs initially train by predicting the next 'token' (iota of text) in long text strings. To predict the name of the killer at the end of a murder mystery, for instance, an AI needs to 'understand' everything that came before, but such consequential predictions are rare in most text. To get around this problem, Microsoft used LLMs to write millions of short stories and textbooks in which one thing builds on another. The result of training on this text, Bubeck says, is a model that fits on a mobile phone but has the power of the initial 2022 version of ChatGPT. "If you are able to craft a data set that is very rich in those reasoning tokens, then the signal will be much richer," he says.

 

Phi-3 can also help with routing - deciding whether a query should go to a larger model. "That's a place where Phi-3 is going to shine," Bubeck says.

 

Small models can also help scientists in remote regions that have little cloud connectivity. "Here in the Pacific Northwest, we have amazing places to hike, and sometimes I just don't have network," he says. "And maybe I want to take a picture of some flower and ask my AI some information about it."

 

Researchers can build on these tools to create custom applications. The Chinese e-commerce site Alibaba, for instance, has built models called Qwen with 500 million to 72 billion parameters. A biomedical scientist in New Hampshire fine-tuned the largest Qwen model using scientific data to create Turbcat-72b, which is available on the model-sharing site Hugging Face. (The researcher goes only by the name Kal'tsit on the Discord messaging platform, because Ai-assisted work in science is still controversial.) Kal'tsit says she created the model to help researchers to brainstorm, proof manuscripts, prototype code and summarize published papers; the model has been downloaded thousands of times.

 

Preserving privacy

 

Beyond the ability to fine-tune open models for focused applications, Kal'tsit says, another advantage of local models is privacy. Sending personally identifiable data to a commercial service could run foul of data-protection regulations. "If an audit were to happen and you show them you're using ChatGPT, the situation could become pretty nasty," she says.

 

Cyril Zakka, a physician who leads the health team at Hugging Face, uses local models to generate training data for other models (which are sometimes local, too). In one project, he uses them to extract diagnoses from medical reports so that another model can learn to predict those diagnoses on the basis of echocardiograms, which are used to monitor heart disease. In another, he uses the models to generate questions and answers from medical textbooks to test other models. "We are paving the way towards fully autonomous surgery," he explains. A robot trained to answer questions would be able to communicate better with doctors.

 

Zakka uses local models - he prefers Mistral 7B, released by the tech firm Mistral Al in Paris, or Meta's Llama-3 70B - because they're cheaper than subscription services such as ChatGPT Plus, and because he can fine-tune them.

 

But privacy is also key, because he's not allowed to send patients' medical records to commercial AI services.

 

Johnson Thomas, an endocrinologist at the health system Mercy in Springfield, Missouri, is likewise motivated by patient privacy. Clinicians rarely have time to transcribe and summarize patient interviews, but most commercial services that use AI to do so are either too expensive or not approved to handle private medical data. So, Thomas is developing an alternative. Based on Whisper - an open-weight speech-recognition model from OpenAI - and on Gemma 2 from Google DeepMind, the system will allow physicians to transcribe conversations and convert them to medical notes, and also summarize data from medical-research participants.

 

Privacy is also a consideration in industry. CELLama, developed at the South Korean pharmaceutical company Portrai in Seoul, exploits local LLMs such as Llama 3.1 to reduce information about a cell's gene expression and other characteristics to a summary sentence2. It then creates a numerical representation of this sentence, which can be used to cluster cells into types. The developers highlight privacy as one advantage on their GitHub page, noting that CELLama "operates locally, ensuring no data leaks".

 

Putting models to good use

 

As the LLM landscape evolves, scientists face a fast-changing menu of options. "I'm still at the tinkering, playing stage of using LLMs locally," Thorpe says. He tried ChatGPT, but felt it was expensive, and the tone of its output wasn't right. Now he uses Llama locally, with either 8 billion or 70 billion parameters, both of which can run on his Mac laptop.

 

Another benefit, Thorpe says, is that local models don't change. Commercial developers, by contrast, can update their models at any moment, leading to different outputs and forcing Thorpe to alter his prompts or templates. "In most of science, you want things that are reproducible," he explains. "And it's always a worry if you're not in control of the reproducibility of what you're generating."

 

For another project, Thorpe is writing code that aligns MHC molecules on the basis of their 3D structure. To develop and test his algorithms, he needs lots of diverse proteins - more than exist naturally. To design plausible new proteins, he uses ProtGPT2, an open-weights model with 738 million parameters that was trained on about 50 million sequences3.

 

Sometimes, however, a local app won't do. For coding, Thorpe uses the cloud-based GitHub Copilot as a partner. "It kind of feels like my arm's chopped off when for some reason I can't actually use Copilot," he says. Local LLM-based coding tools do exist (such as Google DeepMind's CodeGemma and one from California-based developers Continue), but in his experience they can't compete with Copilot.

 

Access points

 

So, how do you run a local LLM? Software called Ollama (available for Mac, Windows and Linux operating systems) lets users download open models, including Llama 3.1, Phi-3, Mistral and Gemma 2, and access them through a command line [A].

 

Other options include the cross-platform app GPT4A11 and Llamafile, which can transform LLMs into a single file that runs on any of six operating systems, with or without a graphics processing unit.

 

Sharon Machiis, a former editor at the website InfoWorld, who lives in Framingham, Massachusetts, wrote a guide to using LLMs locally, covering a dozen options. "The first thing I would suggest," she says, "is to have the software you choose fit your level of how much you want to fiddle." Some people prefer the ease of apps, whereas others prefer the flexibility of the command line.

 

Whichever approach you choose, local LLMs should soon be good enough for most applications, says Stephen Hood, who heads open-source AI at the tech firm Mozilla in San Francisco. "The rate of progress on those over the past year has been astounding," he says.

 

As for what those applications might be, that's for users to decide. "Don't be afraid to get your hands dirty," Zakka says. "You might be pleasantly surprised by the results."

 

Matthew Hutson is a science writer based in New York City.

References

 

1. Abdin, M. et al. Preprint at arXiv https://doi.org/10.48550/ arXiv.2404.14219 (2024).

 

2. Choi, H. etai. Preprint at bioRxiv https://doi.Org/l0.ll0l/2024.05.08.593094 (2024).

 

3. Ferruz, N. et al. Nature Commun. 13, 4348 (2022).” [B]

 

 

A. The command line, also known as the command-line interface (CLI), terminal, console, or shell, is a text-based interface used to interact with a computer's operating system. Instead of using a mouse and graphical elements (like in a GUI), users type commands to perform various tasks.

Key aspects of the command line:

 

    Text-based interaction:

    Users enter commands as lines of text, which are then interpreted and executed by the system.

    System interaction:

    It allows for direct manipulation of the file system, execution of programs, and configuration of system settings.

    Efficiency for specific tasks:

    While GUIs are intuitive for many users, the command line can be significantly faster and more efficient for tasks like batch processing, automation, and remote administration.

    Availability across operating systems:

    All major operating systems, including Windows (Command Prompt or PowerShell), macOS (Terminal), and Linux (various shells like Bash, Zsh), provide a command-line interface.

    Core tool for developers and administrators:

    It is a fundamental tool for programmers, system administrators, and anyone who needs precise control over their computer's operations.

 

Common tasks performed using the command line:

 

    Navigating directories (folders)

    Creating, deleting, and renaming files and directories

    Running programs and scripts

    Managing system processes

    Configuring network settings

    Automating repetitive tasks with scripting

 

B. FORGET CHATGPT: HOW TO RUN AI LOCALLY ON A LAPTOP. Anonymous.  Nature; London Vol. 633, Iss. 8030,  (Sep 19, 2024): 728-729.

PAMIRŠKITE CHATGPT: KAIP PALEISTI DIRBTINĮ INTELEKTINĮ INTERNETU NEŠIOJAMAME KOMPIUTERYJE

„Tyrėjai paprastai naudoja dirbtinį intelektą internetu, tačiau daugybė atvirai prieinamų įrankių reiškia, kad jiems to nereikia.

 

Svetainė histo.fyi yra imuninės sistemos baltymų, vadinamų pagrindiniu histosuderinamumo komplekso (MHC) molekulėmis, struktūrų duomenų bazė. Joje yra vaizdų, duomenų lentelių ir aminorūgščių sekų, o ją tvarko bioinformatikas Chrisas Thorpe'as, kuris naudoja dirbtinio intelekto (DI) įrankius, vadinamus dideliais kalbos modeliais (LLM), kad konvertuotų šiuos išteklius į skaitomas santraukas. Tačiau jis nenaudoja „ChatGPT“ ar jokio kito žiniatinklio pagrindu veikiančio LLM. Vietoj to, Thorpe'as naudoja DI savo nešiojamajame kompiuteryje.

 

Per pastaruosius porą metų LLM pagrindu sukurti pokalbių robotai pelnė pagarbą už gebėjimą rašyti poeziją ar dalyvauti pokalbiuose. Kai kurie LLM turi šimtus milijardų parametrų – kuo daugiau parametrų, tuo didesnis sudėtingumas – ir prie jų galima prisijungti tik internetu. Tačiau suklestėjo dar dvi naujausios tendencijos.

 

Pirma, organizacijos kuria „atviro svorio“ versijas LLM (licencijuotos teisės studijos), kuriose modelio mokymui naudojami svoriai ir paklaidos yra viešai prieinami, kad vartotojai, turintys pakankamai skaičiavimo galios, galėtų juos atsisiųsti ir paleisti vietoje.

 

Antra, technologijų įmonės kuria sumažintas versijas, kurias galima paleisti vartotojų aparatinėje įrangoje ir kurios konkuruoja su senesnių, didesnių modelių našumu.

 

Tyrėjai gali naudoti tokias priemones, kad sutaupytų pinigų, apsaugotų pacientų ar korporacijų konfidencialumą arba užtikrintų atkuriamumą.

 

Thorpe'as, įsikūręs Oksforde, JK, ir dirbantis Europos molekulinės biologijos laboratorijos Europos bioinformatikos institute Hinkstone, JK, yra tik vienas iš daugelio tyrėjų, tyrinėjančių, ką gali šie įrankiai. Thorpe'o teigimu, ši tendencija greičiausiai augs. Kompiuteriams tampant greitesniems ir modeliams efektyvesniems, žmonės vis dažniau turės dirbtinio intelekto (DI) programas savo nešiojamuosiuose kompiuteriuose ar mobiliuosiuose įrenginiuose, kad patenkintų visus poreikius, išskyrus pačius intensyviausius.

 

Mokslininkai pagaliau turės dirbtinio intelekto asistentus po ranka – bet pačius algoritmus, o ne tik nuotolinę prieigą prie jų.

 

Dideli dalykai mažuose paketuose

 

Kelios didelės technologijų įmonės ir tyrimų institutai išleido mažus ir atvirojo svorio modelius per pastaruosius kelerius metus, įskaitant „Google DeepMind“ Londone; „Meta“ Menlo Parke, Kalifornijoje; ir Alleno dirbtinio intelekto institutą Sietle, Vašingtone.

 

(„Mažas“ yra reliatyvus – šie modeliai gali turėti apie 30 milijardų parametrų, o tai yra daug, palyginti su ankstesniais modeliais.)

 

Nors Kalifornijos technologijų įmonė „OpenAI“ neatliko atvirojo svorio savo dabartiniams GPT modeliams, jos partnerė „Microsoft“ Redmonde, Vašingtone, aktyviai ėmėsi šio tikslo, 2023 m. išleisdama mažuosius kalbos modelius „Phi-1“, „Phi-1.5“ ir „Phi-2“, o šiais metais – keturias „Phi-3“ versijas ir tris „Phi-3.5“ versijas.

 

„Phi-3“ ir „Phi-3.5“ modeliai turi nuo 3,8 iki 14 milijardų aktyvių parametrų, o du modeliai („Phi-3-vision“ ir „Phi-3.5-vision“) tvarko vaizdus1.

 

Pagal kai kuriuos kriterijus net mažiausias „Phi“ modelis lenkia „OpenAI“ GPT-3.5 Turbo nuo 2023 m., kuris, kaip gandai teigia, turi 20 milijardų parametrų.

 

Sébastien Bubeck, „Microsoft“ generatyvinio dirbtinio intelekto viceprezidentas, „Phi-3“ našumą priskiria jo mokymo duomenų rinkiniui. Iš pradžių LLM mokosi numatydami kitą „žetoną“ (teksto dalį) ilgose teksto eilutėse. Pavyzdžiui, norėdama nuspėti žudiko vardą detektyvo pabaigoje, DI turi „suprasti“ viską, kas buvo prieš tai, tačiau tokios reikšmingos prognozės daugumoje tekstų yra retos. Kad išspręstų šią problemą, „Microsoft“ naudojo LLM, kad parašytų milijonus apsakymų ir vadovėlių, kuriuose vienas dalykas remiasi kitu. Bubeck teigimu, mokymo su šiuo tekstu rezultatas yra modelis, kuris telpa mobiliajame telefone, tačiau turi pradinės 2022 m. „ChatGPT“ versijos galią. „Jei pavyks sukurti duomenų rinkinį, kuriame gausu šių samprotavimo žetonų, signalas bus daug turtingesnis“, – sako jis.

 

„Phi-3“ taip pat gali padėti nukreipti – nuspręsti, ar užklausa turėtų būti nukreipta į didesnį modelį. „Tai yra vieta, kurioje „Phi-3“ sužibės“, – sako Bubeckas.

 

Maži modeliai taip pat gali padėti mokslininkams atokiuose regionuose, kuriuose yra mažai debesijos ryšio. „Čia, Ramiojo vandenyno šiaurės vakaruose, turime nuostabių vietų žygiams, o kartais tiesiog neturiu tinklo“, – sako jis. „O galbūt noriu nufotografuoti kokią nors gėlę ir paklausti savo dirbtinio intelekto apie ją informacijos.“

 

Tyrėjai gali remtis šiais įrankiais kurdami individualias programas. Pavyzdžiui, Kinijos elektroninės prekybos svetainė „Alibaba“ sukūrė modelius, vadinamus „Qwen“, su 500–72 milijardais parametrų. Biomedicinos mokslininkas iš Naujojo Hampšyro, naudodamas mokslinius duomenis, tiksliai suderino didžiausią „Qwen“ modelį, kad sukurtų „Turbcat-72b“, kurį galima rasti modelių bendrinimo svetainėje „Hugging Face“. (Tyrėja „Discord“ pranešimų platformoje prisistato tik Kal'tsit vardu, nes dirbtinio intelekto pagalba atliekamas darbas moksle vis dar kelia prieštaringų vertinimų.) Kal'tsit teigia, kad sukūrė modelį, kuris padėtų tyrėjams generuoti idėjas, taisyti rankraščius, kurti kodo prototipus ir apibendrinti paskelbtus straipsnius; modelis buvo atsisiųstas tūkstančius kartų.

 

Išsaugojimas privatumas

 

Papildomai prie galimybės tiksliai suderinti atvirus modelius tikslinėms programoms, pasak Kal'tsit, dar vienas vietinių modelių privalumas yra privatumas. Asmeniškai identifikuojamų duomenų siuntimas komercinei paslaugai gali pažeisti duomenų apsaugos reglamentus. „Jei įvyktų auditas ir parodytumėte jiems, kad naudojate „ChatGPT“, situacija galėtų tapti gana nemaloni“, – sako ji.

 

Cyril Zakka, gydytojas, vadovaujantis „Hugging Face“ sveikatos priežiūros komandai, naudoja vietinius modelius, kad generuotų mokymo duomenis kitiems modeliams (kurie kartais taip pat yra vietiniai). Viename projekte jis juos naudoja diagnozėms iš medicininių ataskaitų išgauti, kad kitas modelis galėtų išmokti numatyti šias diagnozes remdamasis echokardiogramomis, kurios naudojamos širdies ligoms stebėti. Kitame projekte jis naudoja modelius klausimams ir atsakymams iš medicinos vadovėlių generuoti, kad išbandytų kitus modelius. „Mes tiesiame kelią visiškai autonominei chirurgijai“, – aiškina jis. Robotas, apmokytas atsakyti į klausimus, galėtų geriau bendrauti su gydytojais.

 

Zakka naudoja vietinius modelius – jis renkasi „Mistral 7B“, kurį išleido technologijų įmonė „Mistral Al“ Paryžiuje, arba „Meta“ „Llama-3 70B“, nes jie pigesni nei prenumeratos paslaugos, tokios kaip „ChatGPT Plus“, ir nes jis gali juos tiksliai suderinti.

 

Tačiau privatumas taip pat svarbus, nes jam neleidžiama siųsti pacientų medicininių įrašų komercinėms dirbtinio intelekto paslaugoms.

 

Johnsonas Thomasas, endokrinologas iš sveikatos priežiūros sistemos „Mercy“ Springfilde, Misūrio valstijoje, taip pat motyvuojamas pacientų privatumo. Gydytojai retai turi laiko transkribuoti ir apibendrinti pacientų pokalbius, tačiau dauguma komercinių paslaugų, kurios tam naudoja dirbtinį intelektą, yra arba per brangios, arba neturi leidimo tvarkyti privačius medicininius duomenis. Todėl Thomasas kuria alternatyvą. Remiantis „Whisper“ – atvirojo svorio kalbos atpažinimo modeliu iš „OpenAI“ – ir „Gemma 2“ iš „Google DeepMind“, sistema leis gydytojams transkribuoti pokalbius ir konvertuoti juos į medicinines pastabas, taip pat apibendrinti medicininių tyrimų dalyvių duomenis.

 

Privatumas taip pat yra svarbus pramonės šakoje. „CELLama“, sukurta Pietų Korėjos farmacijos kompanijoje „Portrai“ Seule, naudoja vietines LLM, tokias kaip „Llama 3.1“, kad sumažintų informaciją apie ląstelės genų raišką ir kitas charakteristikas iki santraukos sakinio2. Tada ji sukuria skaitmeninį šio sakinio vaizdą, kurį galima naudoti ląstelėms suskirstyti į tipus. Kūrėjai savo „GitHub“ puslapyje pabrėžia privatumą kaip vieną iš privalumų, pažymėdami, kad „CELLama“ „veikia lokaliai, užtikrindama, kad nebūtų duomenų nutekėjimo“.

 

Modelių panaudojimas

 

Tobulėjant LLM aplinkai, mokslininkai susiduria su sparčiai besikeičiančiu pasirinkimų meniu. „Aš vis dar esu bandymų, bandymų naudoti LLM lokaliai etape“, – sako Thorpe'as. Jis bandė „ChatGPT“, bet manė, kad tai brangu, o jos išvesties tonas nebuvo tinkamas. Dabar jis naudoja „Llama“ lokaliai, su 8 milijardais arba 70 milijardų parametrų, kurie abu gali veikti jo „Mac“ nešiojamajame kompiuteryje.

 

Kitas privalumas, pasak Thorpe'o, yra tai, kad vietiniai modeliai nesikeičia. Tuo tarpu komerciniai kūrėjai gali bet kada atnaujinti savo modelius, todėl gaunami skirtingi rezultatai ir Thorpe'as yra priverstas keisti savo užduotis ar šablonus. „Daugumoje mokslo sričių norite, kad dalykai būtų atkartojami“, – aiškina jis. „Ir visada neramu, jei nekontroliuojate generuojamo rezultato atkuriamumo.“

 

Kitam projektui Thorpe'as rašo kodą, kuris sulygiuoja MHC molekules pagal jų 3D struktūrą. Norėdamas sukurti ir išbandyti savo algoritmus, jam reikia daug įvairių baltymų – daugiau nei egzistuoja natūraliai. Norėdamas sukurti tikėtinus naujus baltymus, jis naudoja „ProtGPT2“ – atvirojo svorio modelį su 738 milijonais parametrų, kuris buvo apmokytas maždaug 50 milijonų sekų3.

 

Tačiau kartais vietinė programa netinka. Kodavimui Thorpe'as kaip partnerį naudoja debesijos pagrindu veikiančią „GitHub Copilot“. „Jaučiuosi taip, lyg man būtų nukirsta ranka, kai dėl kažkokių priežasčių negaliu naudoti „Copilot“, – sako jis. Yra vietinių LLM pagrindu sukurtų kodavimo įrankių (pvz., „Google DeepMind“ sukurta „CodeGemma“ ir Kalifornijoje įsikūrusių kūrėjų „Continue“), tačiau, jo patirtimi, jie negali konkuruoti su „Copilot“.

 

Prieigos taškai

 

Taigi, kaip paleisti vietinę LLM? Programinė įranga, vadinama „Ollama“ (galima naudoti „Mac“, „Windows“ ir „Linux“ operacinėse sistemose) leidžia vartotojams atsisiųsti atvirus modelius, įskaitant „Llama 3.1“, „Phi-3“, „Mistral“ ir „Gemma 2“, ir pasiekti juos per komandinę eilutę [A].

 

Kitos parinktys apima kelių platformų programą GPT4A11 ir „Llamafile“, kuri gali transformuoti LLM į vieną failą, veikiantį bet kurioje iš šešių operacinių sistemų, su grafikos procesoriumi arba be jo.

 

Sharon Machiis, buvusi svetainės „InfoWorld“ redaktorė, gyvenanti Framinghame, Masačusetse, parašė vadovą, kaip naudoti LLM vietiniu būdu, kuriame aptarta keliolika variantų. „Pirmiausia siūlyčiau, – sako ji, – pasirinkti programinę įrangą, atitinkančią jūsų lygį ir tai, kiek norite žaisti.“ Vieni žmonės renkasi programų paprastumą, o kiti – komandinės eilutės lankstumą.

 

Nepriklausomai nuo pasirinkto metodo, vietinės LLM netrukus turėtų būti pakankamai geros daugumai programų, sako Stephenas Hoodas, vadovaujantis atvirojo kodo skyriui  DI technologijų įmonėje „Mozilla“ San Franciske. „Per pastaruosius metus pasiekta stulbinanti pažanga“, – sako jis.

 

Kalbant apie tai, kokios galėtų būti tos programos, tai spręsti vartotojams. „Nebijokite išsipurvinti rankų“, – sako Zakka. „Rezultatai gali jus maloniai nustebinti.“

 

Matthew Hutson yra mokslo rašytojas, gyvenantis Niujorke.

Literatūra

 

1. Abdin, M. ir kt. Išankstinis spausdinimas svetainėje „arXiv“ https://doi.org/10.48550/ arXiv.2404.14219 (2024).

 

2. Choi, H. etai. Išankstinis spausdinimas svetainėje „bioRxiv“ https://doi.Org/l0.ll0l/2024.05.08.593094 (2024).

 

3. Ferruz, N. ir kt. „Nature Commun.“ 13, 4348 (2022). [B]

 

A. Komandinė eilutė, dar vadinama komandinės eilutės sąsaja (CLI), terminalu, konsole arba apvalkalu, yra tekstinė sąsaja, naudojama sąveikai su kompiuterio operacine sistema. Užuot naudoję pelę ir grafinius elementus (kaip grafinėje sąsajoje), vartotojai įveda komandas, kad atliktų įvairias užduotis.

 

Pagrindiniai komandinės eilutės aspektai:

 

Tekstinė sąveika:

Vartotojai įveda komandas kaip teksto eilutes, kurias vėliau interpretuoja ir vykdo sistema.

Sistemos sąveika:

Ji leidžia tiesiogiai manipuliuoti failų sistema, vykdyti programas ir konfigūruoti sistemos nustatymus.

Efektyvumas atliekant konkrečias užduotis:

Nors grafinės sąsajos daugeliui vartotojų yra intuityvios, komandinė eilutė gali būti žymiai greitesnė ir efektyvesnė atliekant tokias užduotis kaip paketinis apdorojimas, automatizavimas ir nuotolinis administravimas.

Prieinamumas įvairiose operacinėse sistemose:

Visos pagrindinės operacinės sistemos, įskaitant „Windows“ (komandų eilutė arba „PowerShell“), „macOS“ (terminalas) ir „Linux“ (įvairūs apvalkalai, pvz., „Bash“, „Zsh“), teikia komandinės eilutės sąsają.

Pagrindinis įrankis kūrėjams ir administratoriams:

Tai pagrindinis įrankis programuotojams, sistemos administratoriams ir visiems, kuriems reikia tiksliai valdyti savo kompiuterį. operacijos.

 

Dažniausios užduotys, atliekamos naudojant komandinę eilutę:

 

Katalogų (aplankų) naršymas

Failų ir katalogų kūrimas, naikinimas ir pervadinimas

Programų ir scenarijų vykdymas

Sistemos procesų valdymas

Tinklo nustatymų konfigūravimas

Pasikartojančių užduočių automatizavimas, naudojant scenarijus

 

B. FORGET CHATGPT: HOW TO RUN AI LOCALLY ON A LAPTOP. Anonymous.  Nature; London Vol. 633, Iss. 8030,  (Sep 19, 2024): 728-729.