What does a leaked Google memo reveal about the future of AI?

"THEY HAVE changed the world by writing software. But techy types are also known for composing lengthy memos in prose, the most famous of which have marked turning points in computing. Think of Bill Gates's "Internet tidal wave" memo of 1995, which reoriented Microsoft towards the web; or Jeff Bezos's "API mandate" memo of 2002, which opened up Amazon's digital infrastructure, paving the way for modern cloud computing. Now techies are abuzz about another memo, this time leaked from within Google, titled "We have no moat". Its unknown author details the astonishing progress being made in artificial intelligence (AI)—and challenges some long-held assumptions about the balance of power in this fast-moving industry.

AI burst into the public consciousness with the launch in late 2022 of ChatGPT , a chatbot powered by a "large language model" (LLM) made by OpenAI, a startup closely linked to Microsoft. Its success prompted Google and other tech firms to release their own LLM-powered chatbots. Such systems can generate text and hold realistic conversations because they have been trained using trillions of words taken from the internet. Training a large LLM takes months and costs tens of millions of dollars. This led to concerns that AI would be dominated by a few deep-pocketed firms.

But that assumption is wrong, says the Google memo. It notes that researchers in the open-source community, using free, online resources, are now achieving results comparable to the biggest proprietary models. It turns out that LLMs can be "fine-tuned" using a technique called low-rank adaptation, or LoRa [1]. This allows an existing LLM to be optimised for a particular task far more quickly and cheaply than training an LLM from scratch.

Activity in open-source AI exploded in March, when LLaMa, a model created by Meta, Facebook's parent, was leaked online. Although it is smaller than the largest LLMs (its smallest version has 7bn parameters, compared with 540bn for Google's PaLM) it was quickly fine-tuned to produce results comparable to the original version of ChatGPT on some tasks. As open-source researchers built on each other's work with LLaMa, "a tremendous outpouring of innovation followed," the memo's author writes.

This could have seismic implications for the industry's future. "The barrier to entry for training and experimentation has dropped from the total output of a major research organisation to one person, an evening, and a beefy laptop," the Google memo claims. An LLM can now be fine-tuned for $100 in a few hours. With its fast-moving, collaborative and low-cost model, "open-source has some significant advantages that we cannot replicate." Hence the memo's title: this may mean Google has no defensive "moat" against open-source competitors. Nor, for that matter, does OpenAI .

Not everyone agrees with this thesis. It is true that the internet runs on open-source software. But people use paid-for, proprietary software, from Adobe Photoshop to Microsoft Windows, as well. AI may find a similar balance. Moreover, benchmarking AI systems is notoriously hard (benchmarking - evaluate or check (something) by comparison with a standard). Yet even if the memo is partly right, the implication is that access to AI technology will be far more democratised than seemed possible even a year ago. Powerful LLMs can be run on a laptop; anyone who wants to can now fine-tune their own AI.

This has both positive and negative implications. On the plus side, it makes monopolistic control of AI by a handful of companies far less likely. It will make access to AI much cheaper, accelerate innovation across the field and make it easier for researchers to analyse the behaviour of AI systems (their access to proprietary models was limited), boosting transparency and safety. But easier access to AI also means bad actors will be able to fine-tune systems for nefarious purposes, such as generating disinformation. It means Western attempts to prevent hostile regimes from gaining access to powerful AI technology will fail. And it makes AI harder to regulate, because the genie is out of the bottle.

Whether Google and its ilk really have lost their moat in AI will soon become apparent. But as with those previous memos, this feels like another turning point for computing.” [2]

1.  What is LoRA low-rank adaptation?

"Low-Rank Adaptation of Large Language Models (LoRA) is a training method that accelerates the training of large models while consuming less memory. It adds pairs of rank-decomposition weight matrices (called update matrices) to existing weights, and only trains those newly added weights.

·  ·  · 2. "What does a leaked Google memo reveal about the future of AI?" The Economist, 13 May 2023, p. NA.

 

Prancūzijoje bus statoma baterijų gamykla – Taivano „ProLogium“ investuos 5 mlrd. dolerių

"Taivano baterijų gamintoja „ProLogium“ penktadienį pranešė investuosianti milijardinę sumą į naujos gamyklos statybą šiaurės Prancūzijoje. Tai bus pirmoji įmonės gamykla Europoje, jos statyba atsieis 5 mlrd. USD.

 

Grupė tikisi pradėti gamybą 2026 metų pabaigoje ir plėstis kelerius metus, kol gamykloje dirbs apie 3.000 darbuotojų. Iki 2030 metų Diunkerke ji investuos 5,2 mlrd. Eur (5,7 mlrd. USD).

 

 

Kai gamykla dirbs visu pajėgumu, skaičiuojama, kad joje bus gaminama tiek baterijų, kurių užteks šimtams tūkstančių automobilių.

 

„ProLogium“ specializuojasi kurdama „kietojo būvio“ baterijas, kurios laikomi galingesnėmis, saugesnėmis ir greičiau įkraunamomis nei ličio jonų baterijos, dažnai naudojamos elektrinėse transporto priemonėse.

 

„80% baterijos talpos įkraunama per 12 minučių (...). Jei paimsime modelį „Tesla 3“, tai įkrauti iki 80% lygio užtruks 20 minučių“, – pažymėjo Gilles'is Normandas, gamintojos viceprezidentas tarptautinei plėtrai.

 

Jis pridūrė, kad kietojo būvio baterija automobilyje leidžia sutaupyti maždaug 50 kg svorio, o tai daro didelę įtaką automobilio veikimui.

 

Taivano grupė nusprendė pasirinkti Diunkerką, nes ši vieta leis lengvai pasiekti klientus, atsižvelgiant į tai, jog daugelis elektromobilių gamyklų yra įsikūrusios Šiaurės Europoje.

 

Gamykla taip pat suteiks 12.000 netiesioginių darbo vietų regione, pažymėjo „ProLogium“.

 

„Diunkerke išvystytas gera susisiekimas: geležinkeliu, keliais, greitkeliu. Yra giliavandenis uostas, todėl mums bus lengva importuoti ir eksportuoti kai kuriuos savo produktus“, – sakė P. Normandas.

 

„Sąžininga sakyti, kad šiaurės Prancūzijoje vystosi baterijų ekosistema“, – pridūrė jis.

 

Pasak bendrovės atstovo, regione jau yra paskelbti dar trys projektai, įskaitant Kinijos „Envision“ grupės projektą „Renault“ gamykloje ir Prancūzijos baterijų startuolio „Verkor“ gamyklą.

 

„ProLogium“ buvo įkurta 2006 metais, o tarp jos akcininkų yra ir „Mercedes-Benz“.

 

AAAAkvadratru:

Tai kiek mes ten to alaus ir šokoladukų pardavėm Taivanui xe xe )))."

 

Prancūzai draugauja su Kinija, todėl Taivanas investuoja pinigus Prancūzijoje. Lietuva susipyko su Kinija, nes nori draugauti su Taivanu. Todėl Taivanas rodo Lietuvai riebią špygą vietoje investicijų. Jūs viską supratote?

 

 

 

What is the West's strategy?

Defeat a nuclear Russia? Let's defeat a nuclear North Korea first, a much easier and more rewarding task given the Koreans' frivolity. Are we afraid of nuclear weapons? So what is it about in the case of Russia?

 

Oh, it turns out we're waiting for Russia to collapse on its own after we find some magical way to push? Then we press in a wrong point. The more Zelensky burns straw kites over the Kremlin, fires our missiles, announces promises to attack and brutally destroy everything, the more Russians unite around their leaders because they believe there is a real danger. We get the opposite result of what we are aiming for.

 

The most important candidate for the post of the US president, D. Trump, is right: what we are doing in Ukraine is a dangerous and too expensive activity for us.

 

If you find digging a hole for yourself, stop digging.

Kokia Vakarų strategija?

Nugalėti branduolinę Rusiją? Pirmiausia nugalėkime branduolinę Šiaurės Korėją, tai yra daug lengvesnis ir naudingesnis, turint omenyje korėjiečių lengvabūdiškumą, uždavinys. Bijome branduolinių ginklų? Tai apie ką tada kalba Rusijos atveju? 

O, pasirodo, kad mes laukiame, jog Rusija pati sugrius, mums suradus kokį nors stebuklingą būdą paspauti? Tada mes ne ten spaudžiame. Kuo daugiau Zelenskis degina šiaudinius aitvarus virš Kremliaus, iššaudo mūsų raketų, paskelbia pažadų viską pulti ir žiauriai sunaikinti, tuo glaudžiau rusai vienijasi aplink jų vadovus, nes patiki, kad iškyla realus pavojus. Gauname rezultatą, priešingą tam, kurio siekiame. 

Reikšmingiausias kandidatas į JAV prezidento postą D. Trumpas yra teisus: tai, ką mes darome Ukrainoje yra pavojinga mums ir pernelyg brangiai kainuojanti veikla.

Jei supratai, kad kasi sau duobę, nustok kasti.

Valdant Muskui, „Twitter“ dabar labiau atrodo, kaip „SpaceX“

  „Elonas Muskas vis dažniau perkuria „Twitter“ pagal savo raketų kompanijos „SpaceX“ įvaizdį.

 

     Ponas Muskas įkvepia „Twitter“ intensyviu spaudimu darbuotojams, kompensavimo metodu ir greito bandymo, net jei gresia nesėkmė, etosu. Tai panašu į požiūrį, kurio jis laikėsi „SpaceX“, dabar judriausioje pasaulyje raketų kompanijoje.

 

     Ponas Muskas penktadienį sakė, kad Linda Yaccarino, reklamos vadovė veteranė, neseniai palikusi NBCUniversal, prisijungs prie Twitter, kaip naujoji jos generalinė direktorė. 

 

„Twitter“ žinutėje jis teigė, kad ponia Yaccarino pirmiausia tvarkys verslo operacijas, o jis pats bendrovėje daugiausia dėmesio skirs produktų dizainui ir naujoms technologijoms.

 

     Toks darbo pasidalijimas atspindi valdymo susitarimą, kurį ponas Muskas sudarė „SpaceX“ su ilgamete įmonės prezidente Gwynne Shotwell. 

 

„SpaceX“ įmonėje p. Muskas taip pat žinomas dėl to, kad daugiausia dėmesio skiria sudėtingoms inžinerijos sritims: neseniai diskutuodamas apie pirmąjį „SpaceX“ bandomąjį raketos „Starship“ skrydį, jis paminėjo bako slėgį, „traukos vektoriaus valdymo“ problemas ir susijusius klausimus.

 

     P. Muskas jau seniai sakė, kad jam nepatinka generalinio direktoriaus pareigos ir jis labiau linkęs susitelkti į techninius iššūkius, susijusius su įvairiomis savo verslų pastangomis.

 

     „SpaceX“ M. Shotwell prižiūri kasdienes operacijas ir santykius su klientais. Ji buvo viena iš pirmųjų „SpaceX“ darbuotojų 2002 m.

 

     „Nėra abejonių, kad Elonas yra labai agresyvus savo laiko juostose, bet, atvirai kalbant, tai mus skatina daryti geriau ir greičiau“, – sakė M. Shotwell 2018 m. konferencijoje. „Visas laikas ir visi pinigai pasaulyje negali duoti geriausią sprendimą, todėl labai svarbu daryti spaudimą komandai greitai judėti."

 

     Dalis jos darbo, anot jos, buvo sugalvoti, kaip p. Musko vizijas paversti realybe – ir pasiekiamais įmonės tikslais.

 

     Ponia Yaccarino dabar yra pasirengusi atlikti panašų vaidmenį „Twitter“. Ji yra žiniasklaidos pramonės veteranė, kuri prižiūrėjo maždaug 13 milijardų dolerių metinių pajamų iš reklamos ir yra žinoma dėl savo glaudžių santykių su rinkodaros specialistais ir reklamos agentūromis.

 

     „SpaceX“ ir „Twitter“ iš karto nekomentavo.

 

     Tiek ponia Yaccarino, tiek ponia Shotwell garsėja, kaip kietos, bet malonios. Tai kontrastuoja ponui Muskui, kuris išgarsėjo dėl savo temperamentingo būdo.

 

     „SpaceX“ darbo pasidalijimas padėjo paversti kartais pinigų neturinčią raketų ir palydovų bendrovę viena vertingiausių Amerikos aviacijos ir kosmoso įmonių. Privačiai laikoma, „SpaceX“ neskelbia finansinės informacijos, tačiau Hawthorne, Kalifornijoje, bendrovė neseniai buvo įvertinta maždaug 140 mlrd. dolerių.

 

     „Twitter“ daugelį metų buvo nuostolinga. Ji vis dar vertinama gerokai mažiau, nei 44 milijardus JAV dolerių, kuriuos M. Muskas už ją sumokėjo pernai.

 

     P. Muskas įkūrė „SpaceX“ daugiau, nei prieš du dešimtmečius, kur nuo pat pirmųjų dienų skatino intensyvių lūkesčių, susijusių su jos darbuotojais, kultūrą.

 

     Praėjusiais metais įsakęs „SpaceX“ darbuotojams praleisti biuruose bent 40 valandų per savaitę, ponas Muskas elektroniniame laiške sakė: „SpaceX sukūrė ir iš tikrųjų gamins įdomiausius ir prasmingiausius bet kurios įmonės kosmose produktus, tai neatsitiks, dirbant paskambinus“.

 

     Socialiniame tinkle „Twitter“ pono Musko atėjimas pernai, kaip naujo savininko, sukėlė tam tikrą kultūrinį konfliktą. Jackas Dorsey, vienas iš įkūrėjų, buvo žinomas, kaip atsipalaidavęs. Ponas Muskas, netrukus įsigijęs „Twitter“, paprašė darbuotojų įsipareigoti būti „itin kietais“.

 

     Nuo to laiko tūkstančiai darbuotojų buvo atleisti arba išėjo patys.“ [1]

 

1. EXCHANGE --- Under Musk, Twitter Now Looks More Like SpaceX. Maidenberg, Micah. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 13 May 2023: B.2.

Under Musk, Twitter Now Looks More Like SpaceX.

"Elon Musk is increasingly remaking Twitter in the image of his rocket company SpaceX.

Mr. Musk is infusing Twitter with an intense pressure on employees, compensation approach and ethos of trying things quickly even at risk of failure. It resembles the approach he has taken at SpaceX, now the world's busiest rocket company.

Mr. Musk said Friday that Linda Yaccarino, a veteran advertising executive who recently left NBCUniversal, would join Twitter as its next chief executive. He said in a tweet that Ms. Yaccarino would primarily handle business operations while he focused on product design and new technologies at the company.

That division of labor mirrors the management arrangement that Mr. Musk has established at SpaceX with Gwynne Shotwell, the company's longtime president. At SpaceX, Mr. Musk is also known for focusing on the nitty-gritty of engineering: During a recent discussion of SpaceX's first test flight of its Starship rocket, he referenced tank pressures, "thrust-vector control" issues and related questions.

Mr. Musk has long said he doesn't enjoy the chief executive role and prefers to focus on the technical challenges of his various endeavors.

At SpaceX, Ms. Shotwell oversees daily operations and relationships with customers. She was one of SpaceX's first employees in 2002.

"There's no question that Elon is very aggressive on his timelines but, frankly, that drives us to do things better and faster," Ms. Shotwell said at a conference in 2018. "All the time and all the money in the world does not yield the best solution, and so putting that pressure on the team to move quickly is really important."

Part of her job, she said, was figuring out how to turn Mr. Musk's visions into reality -- and achievable corporate goals.

Ms. Yaccarino's background is now poised to play a similar role at Twitter. She is a media- industry veteran who has overseen roughly $13 billion in annual ad revenue and is known for her tight relationship with marketers and ad agencies.

SpaceX and Twitter had no immediate comment.

Both Ms. Yaccarino and Ms. Shotwell have reputations as being tough but congenial. That contrasts with Mr. Musk, who has gained notoriety for his temperamental manner.

At SpaceX, the work split has helped turn an at-times cash strapped rocket and satellite company into one of America's most valuable aerospace businesses. Closely held SpaceX doesn't release financial information, but the Hawthorne, Calif., company was recently valued at around $140 billion.

Twitter has been unprofitable for years. It is still valued well below the $44 billion Mr. Musk paid for it last year.

Mr. Musk founded SpaceX more than two decades ago, where he drove from the earliest days a culture of intense expectations for its lean staff.

When he ordered SpaceX employees to spend at least 40 hours a week in offices last year, Mr. Musk said in an email, "SpaceX has and will create and actually manufacture the most exciting and meaningful products of any company in space. This will not happen by phoning it in."

At Twitter, Mr. Musk's arrival last year as new owner has led to somewhat of a culture clash. Jack Dorsey, the co-founder, was known for being laid back. Mr. Musk, soon after buying Twitter, asked employees to commit to being "extremely hard-core."

Thousands of employees have since been fired, or left." [1]

1. EXCHANGE --- Under Musk, Twitter Now Looks More Like SpaceX. Maidenberg, Micah. 
Wall Street Journal, Eastern edition; New York, N.Y. [New York, N.Y]. 13 May 2023: B.2.