Dirbtinio intelekto (AI) amžiuje mažiems technologijų startuoliams reikia didelių draugų

„Kurti naują A.I. sistemai reikia daug pinigų ir daug skaičiavimo galios, kurią valdo pramonės milžinai.

Technologijų pramonė mėgsta savo garažo pradžios istorijas. Nuo „Hewlett-Packard“ iki „Google“ – pasakojimai apie pigiai pradedančias įmones, kurios virto milžinais, įkvėpė daugybę verslininkų.

Tačiau didžiulės pinigų sumos ir skaičiavimo galios, reikalingos pradedančiosioms įmonėms, bandančioms tai padaryti, naudojant karščiausias šiandienos technologijas, dirbtinį intelektą, naudojamą tokiuose pokalbių robotuose, kaip ChatGPT ir Google Bard, gali paversti šias įkvepiančias pasakas praeitimi.

2019 m. Aidenas Gomezas ir Nickas Frosstas paliko „Google“ ir sukūrė A.I. startuolį Toronte pavadinimu „Cohere“, kuris galėtų konkuruoti su buvusiu darbdaviu. Po kelių mėnesių jie grįžo į „Google“ ir paklausė, ar ji jiems neparduotų milžiniškos skaičiavimo galios, kurios jiems prireiks, norint sukurti savo A.I. technologija. Po to, kai „Google“ generalinis direktorius Sundaras Pichai asmeniškai patvirtino susitarimą, technologijų milžinas suteikė jiems tai, ko jie norėjo.

„Tai „Sostų žaidimas“. Štai kas yra“, – sakė Davidas Katzas, „Radical Ventures“, pirmojo Cohere investuotojo, partneris. 

Jis pridūrė, kad didelės įmonės, tokios, kaip „Google“, „Microsoft“ ir „Amazon“, kontroliuoja lustus. "Jos kontroliuoja skaičiavimo galią", - sakė jis. „Jos renkasi, kas ją gaus“.

Statant novatorišką A.I. paleisti yra sunku be „hiperskalerių“, kurie valdo didžiulius duomenų centrus, galinčius paleisti A.I., palaikymo sistemos. Dėl to pramonės gigantai vėl atsisėdo į vairuotojo vietą, nes daugelis tikisi, kad tai bus svarbiausias technologijų pramonės pokytis per dešimtmečius.

„ChatGPT“ startuolis „OpenAI“ neseniai iš „Microsoft“ surinko 10 mlrd. dolerių. Didžiąją dalį tų pinigų ji grąžins atgal į „Microsoft“, nes jis moka už laiką didžiulėse kompiuterių serverių grupėse, kurias valdo didesnė įmonė. Šios mašinos, apimančios tūkstančius specializuotų kompiuterių lustų, yra būtinos, tobulinant ir plečiant ChatGPT ir panašių technologijų įgūdžius.

Konkurentai negali žengti koja kojon su OpenAI, nebent jiems būtų pritaikyta panaši skaičiavimo galia. „Cohere“ neseniai surinko 270 mln. dolerių, todėl bendras finansavimas viršijo 440 mln. dolerių. Didelė dalis tų pinigų bus skirta skaičiavimo galiai pirkti iš tokių, kaip „Google“.

Kiti startuoliai sudarė panašius susitarimus, visų pirma Silicio slėnio įmonė „Anthropic“, kurią 2021 m. įkūrė buvusių OpenAI tyrėjų grupė; Character.AI, įkurta dviejų pirmaujančių „Google“ tyrėjų; ir „Inflection AI“, kurią įkūrė buvęs „Google“ vadovas. Praėjusią savaitę „Inflection“ surinko 1,3 mlrd. dolerių.

„Google“ ponas Gomezas buvo nedidelės tyrimų grupės, kuri sukūrė Transformerį – pagrindinę technologiją, naudojamą, kuriant tokius pokalbių robotus, kaip „ChatGPT“ ir „Google Bard“, dalis.

Transformeris yra galingas pavyzdys to, ką mokslininkai vadina neuroniniu tinklu – matematine sistema, kuri gali išmokti įgūdžių, analizuodama duomenis. Neuroniniai tinklai egzistuoja jau daugelį metų, padedantys valdyti viską nuo kalbančių skaitmeninių asistentų, tokių kaip „Siri“, iki momentinio vertimo paslaugų, tokių, kaip „Google Translate“.

„Transformeris“ perėmė idėją į naują teritoriją. Veikdamas per šimtus ar net tūkstančius kompiuterių lustų, jis galėtų daug greičiau analizuoti daug daugiau duomenų.

Naudodamos šią technologiją, tokios įmonės, kaip Google ir OpenAI pradėjo kurti sistemas, kurios mokėsi iš didžiulio kiekio skaitmeninio teksto, įskaitant Vikipedijos straipsnius, skaitmenines knygas ir pokalbių žurnalus. Kai šios sistemos analizuodavo vis daugiau duomenų, jos išmoko pačios kurti tekstą, įskaitant kursinius darbus, tinklaraščio įrašus, poeziją ir kompiuterio kodą.

Šios sistemos, vadinamos dideliais kalbų modeliais, dabar palaiko tokius pokalbių robotus, kaip „Google Bard“ ir „ChatGPT“.

Gerokai prieš atvykstant ChatGPT, G. Gomezas paliko „Google“ ir kartu su ponu Frosstu ir kitu Toronto verslininku Ivanu Zhangu įkūrė savo įmonę. Tikslas buvo sukurti didelius kalbos modelius, konkuruojančius su Google.

„Google“ jis ir jo kolegos tyrėjai turėjo prieigą prie beveik neribotos skaičiavimo galios. Išėjus iš įmonės, jam prireikė kažko panašaus. Taigi jis ir jo įkūrėjai ją įsigijo iš „Google“, kuri parduoda prieigą prie tų pačių lustų, naudojant debesų kompiuterijos paslaugas.

Per ateinančius trejus metus „Cohere“ sukūrė didelį kalbos modelį, kuris konkuruoja beveik su bet kuriuo kitu. Dabar ji parduoda šią technologiją kitoms įmonėms. Idėja yra suteikti bet kuriai įmonei technologiją, kurios jai reikia, norint sukurti ir valdyti savo A.I. programas, nuo pokalbių robotų iki paieškos sistemų ir asmeninių mokytojų.

„Strategija yra sukurti platformą, kurią kiti galėtų kurti ir su kuria eksperimentuoti“, – sakė ponas Gomezas.

OpenAI siūlo paslaugą, panašią į GPT-4, kurią daugelis įmonių jau naudoja, kurdamos pokalbių robotus ir kitas programas. Ši nauja technologija gali analizuoti, generuoti ir redaguoti tekstą. Tačiau netrukus ji tvarkys ir vaizdus bei garsus. OpenAI yra paruoštas GPT-4 versija, kuri gali išnagrinėti nuotrauką, akimirksniu ją aprašyti ir net atsakyti į klausimus apie ją.

„Microsoft“ generalinis direktorius Satya Nadella teigė, kad bendrovės susitarimas su „OpenAI“ yra abipusiai naudingi santykiai, kuriuos ji jau seniai puoselėja su mažesniais konkurentais. „Aš užaugau įmonėje, kuri visada sudarė tokio tipo sandorius su kitomis įmonėmis“, – sakė jis „The New York Times“ anksčiau šiais metais.

Pramonei lenktyniaujant, kad atitiktų GPT-4, verslininkai, investuotojai ir ekspertai diskutuoja, kas bus galutiniai nugalėtojai. Dauguma sutinka, kad OpenAI pirmauja šioje srityje. Tačiau „Cohere“ ir nedidelė kitų įmonių grupė kuria panašias technologijas.

Technologijų milžinai užima stiprią padėtį, nes turi didžiulius išteklius, reikalingus šioms sistemoms stumti toliau, nei bet kas kitas. „Google“ taip pat turi „Transformerio“ – pagrindinės A.I. technologijos – patentą sistemų, kurias kuria „Cohere“ ir daugelis kitų įmonių.

Tačiau yra laukinė kortelė: atvirojo kodo programinė įranga.

„Meta“, dar vienas milžinas, turintis skaičiavimo galios, reikalingos kitai A.I. bangai sukurti, neseniai pristatė savo naujausią didelės apimties kalbos modelį, o tai reiškia, kad bet kas gali jį pakartotinai naudoti ir kurti. Daugelis šioje srityje dirbančių žmonių mano, kad tokia laisvai prieinama programinė įranga leis bet kam konkuruoti.

„Kiekvieno, ant Žemės gyvenančio, tyrinėtojo kolektyvinis protas nugalėtų bet kurią įmonę“, – sakė A.I. vykdomasis direktorius Amras Awadallah iš startuolio Vectara ir buvęs „Google“ vadovas. Tačiau jie vis tiek turės mokėti už prieigą prie daug didesnių konkurentų duomenų centrų."

In the Age of A.I., Tech’s Little Guys Need Big Friends

“Creating a new A.I. system requires lots of money and lots of computing power, which is controlled by the industry’s giants.

The tech industry loves its garage start-up stories. From Hewlett-Packard to Google, the tales of bootstrapped companies that have turned into giants has inspired generations of entrepreneurs.

But the huge amounts of money and computing power needed for start-ups trying to make a go of it with today’s hottest technology, the artificial intelligence used in chatbots like ChatGPT and Google Bard, may be making those inspirational tales a thing of the past.

In 2019, Aiden Gomez and Nick Frosst left Google to create an A.I. start-up in Toronto called Cohere that could compete with their former employer. Several months later, they went back to Google and asked if it would sell them the enormous computing power they would need to build their own A.I. technology. After Google’s chief executive, Sundar Pichai, personally approved the arrangement, the tech giant gave them what they wanted.

“It’s ‘Game of Thrones.’ That’s what it is,” said David Katz, a partner with Radical Ventures, Cohere’s first investor. The big companies like Google, Microsoft and Amazon, he added, are controlling the chips. “They’re controlling the computing power,” he said. “They are selecting who gets it.”

Building a groundbreaking A.I. start-up is difficult without getting the support of “the hyperscalers,” which control the vast data centers capable of running A.I. systems. And that has put the industry’s giants in the driver’s seat — again — for what many expect to be the most important shift for the tech industry in decades.

OpenAI, the start-up behind ChatGPT, recently raised $10 billion from Microsoft. It will pump most of that money back into Microsoft as it pays for time on the massive clusters of computer servers operated by the bigger company. Spanning thousands of specialized computer chips, these machines are essential to improving and expanding the skills of ChatGPT and similar technologies.

Competitors cannot keep pace with OpenAI unless they get their hands on similar amounts of computing power. Cohere recently raised $270 million, bringing its total funding to more than $440 million. It will use much of that money to buy computing power from the likes of Google.

Other start-ups have made similar arrangements, most notably a Silicon Valley company called Anthropic, which was founded in 2021 by a group of former OpenAI researchers; Character.AI, founded by two leading researchers from Google; and Inflection AI, founded by a former Google executive. Inflection raised a $1.3 billion funding round last week, bringing its total to $1.5 billion.

At Google, Mr. Gomez was part of a small research team that designed the Transformer, the fundamental technology used to create chatbots like ChatGPT and Google Bard.

The Transformer is a powerful example of what scientists call a neural network — a mathematical system that can learn skills by analyzing data. Neural networks have been around for years, helping to drive everything from talking digital assistants like Siri to instant translation services like Google Translate.

The Transformer took the idea into new territory. Running across hundreds or even thousands of computer chips, it could analyze far more data, far more quickly.

Using this technology, companies like Google and OpenAI began building systems that learned from enormous amounts of digital text, including Wikipedia articles, digital books and chat logs. As these systems analyzed more and more data, they learned to generate text on their own, including term papers, blog posts, poetry and computer code.

These systems — called large language models — now underpin chatbots like Google Bard and ChatGPT.

Well before the arrival of ChatGPT, Mr. Gomez left Google to start his own company alongside Mr. Frosst and another Toronto entrepreneur, Ivan Zhang. The aim was to build large language models rivaling Google’s.

At Google, he and his fellow researchers had access to nearly unlimited amounts of computing power. After leaving the company, he needed something similar. So he and his co-founders purchased it from Google, which sells access to the same chips through cloud computing services.

Over the next three years, Cohere built a large language model that rivals almost any other. Now, it is selling this technology to other businesses. The idea is to provide any company with the technology they need to build and run their own A.I. applications, from chatbots to search engines to personal tutors.

“The strategy is to build a platform that others can build off of and experiment with,” Mr. Gomez said.

OpenAI offers a service along the same lines called GPT-4, which many businesses are already using to build chatbots and other applications. This new technology can analyze, generate and edit text. But it will soon handle images and sounds as well. OpenAI is preparing a version of GPT-4 that can examine a photograph, instantly describe it and even answer questions about it.

Microsoft’s chief executive, Satya Nadella, said the company’s arrangement with OpenAI is the kind of mutually beneficial relationship that it has long nurtured with smaller competitors. “I grew up in a company that has always done these types of deals with other companies,” he told The New York Times earlier this year.

As the industry races to match GPT-4, entrepreneurs, investors and pundits are debating who will be the eventual winners. Most agree that OpenAI is leading the field. But Cohere and a small group of other companies are building similar technology.

The tech giants are in a strong position because they have the vast resources needed to push these systems further than anyone else. Google also holds a patent on the Transformer, the foundational technology behind the A.I. systems that Cohere and many other companies are building.

But there is a wild card: Open source software.

Meta, another giant with the computing power needed to build the next wave of A.I., recently open sourced its latest large language model, meaning anyone can reuse it and build on top of it. Many in the field believe this kind of freely available software will allow anyone to compete.

“Having the collective minds of every researchers on Earth would beat any company,” said Amr Awadallah, chief executive of the A.I. start-up Vectara and a former Google executive. But they’ll still need to pay for access to a much larger competitor’s data centers.”

 

Why are the Lithuanian politicians who incited World War III secret agents of the KGB?

Because such a war is very dangerous for real Lithuanian politicians:

 

"The Baltic countries have geostrategically vulnerable places that need attention:

• Because they are small, their strategies lack depth. Ukraine was able to defend on a large scale and, using that scale, buy time to strengthen its defenses, which the Baltic countries do not have. For example, Vilnius is only 30 kilometers from the border with Belarus, where Russian forces are now stationed. It can only be reminded that during the attempt to capture Kyiv, Russian forces managed to penetrate 244 kilometers into Ukraine.

• NATO reinforcements have to cover long distances to reach a potential front line, as much as 10 times longer than during the Cold War.

• One of the biggest vulnerabilities is the Suwalki corridor, which runs from the Kaliningrad region in the north to Russia-friendly Belarus in the south. It can be compared to the Fulda Corridor during the Cold War.

If war were to break out, Russian missiles and artillery attacking from both sides of the corridor would create an all-out fire and thwart any NATO attempt to provide ground reinforcements to the Baltics.

"Russia may even decide to close the corridor by deploying ground forces," the review states. It is also emphasized that the Baltic countries, due to their small territory and limited capabilities, "even with great efforts, are not capable of defending the region without the help of the entire NATO alliance."

It remains to be added that modern means of defense make transport by planes and ships to warring territories impossible. What remains for us is to significantly improve Lithuania's diplomacy, turning towards a policy of neutrality at the level of Austria and Switzerland.