Sekėjai

Ieškoti šiame dienoraštyje

2024 m. spalio 3 d., ketvirtadienis

The Opinion of Striking International Longshoremen's Association Shows How Does Today's Economy Work


"From a "candid conversation" with International Longshoremen's Association President Harold J. Daggett posted on YouTube Sept. 5:

These people today don't know what a strike is. When my men hit the streets from Maine to Texas, every single port a lockdown, you know what's going to happen? I'll tell you.

First week, be all over the news every night. Boom, boom. Second week, guys who sell cars can't sell cars because the cars ain't coming in off the ships. They get laid off. Third week, malls start closing down. They can't get the goods from China. They can't sell clothes. They can't do this. Everything in the United States comes on a ship. They go out of business. Construction workers get laid off because the materials aren't coming in, the steel's not coming in, the lumber's not coming in. They lose their job. Everybody's hating the longshoreman now, because now they realize how important our jobs are. Now I have the president screaming at me. "I'm putting a Taft-Hartley on you." Go ahead. Taft-Hartley means I have to go back to work for 90 days. That's a cooling-off period. Do you think when I go back for 90 days those men are going to go to work on that pier? It's going to cost them money, the company's money, to pay their salaries. Well, they went from 30 moves an hour, maybe to eight. They're going to be like this [clasps neck]. Who's going to win here in the long run? You're better off sitting down and let's get a contract, and let's move on with this world. And in today's world, I'll cripple you. I will cripple you, and you have no idea what that means. Nobody does." [1]

1. Notable & Quotable: 'I Will Cripple You'. Wall Street Journal, Eastern edition; New York, N.Y.. 03 Oct 2024: A.15.

2024 m. spalio 2 d., trečiadienis

Kaip OpenAI gali perkelti kitą ChatGPT į naują lygį


 "OpenAI žada puikių dalykų, susijusių su planuojamu GPT-5 kalbos modeliu. Tačiau kaip įmonė planuoja pasiekti šiuos tikslus? Žvilgsnis į dirbtinio intelekto (AI) pažangos komponentus.

 

 2022 m. lapkritį išleistas GPT-3 labai pasikeitė. Generatyvusis AI iš akademinės srities išsivystė į savo pramonę ir padarė OpenAI rinkos lydere. Taigi nenuostabu, kad kai buvo paskelbtas GPT-4 įpėdinis, reklamos kalba pirmiausia buvo superlatyvai. 

 

OpenAI dabar mini dar didesnius GPT-5 pažadus – bendrovė jau paskelbė, kad kalbos modelis gali geriau mąstyti logiškai, sąveikauti su vaizdo įrašais ir turėti „doktoranto intelektą“. 

 

Tačiau kaip šią pažangą būtų galima išmatuoti, jau nekalbant apie jos pasiekimą, lieka atviras klausimas.

 

 Pažangių AI modelių kūrimas iš esmės susideda iš trijų komponentų – duomenų, algoritmų ir skaičiavimo laiko. Duomenys yra žinių bazė, kuria remdamasis modelis mokomas, taikant algoritmus. Algoritmai yra neuroninio tinklo architektūra ir jie optimizuoja modelį treniruočių metu. Skaičiavimo laikas lemia, kiek kompiuterio galios sunaudojama treniruotėms, taigi, kiek niuansiškas yra baigtas modelis. Todėl trys komponentai – duomenys, algoritmai ir skaičiavimo laikas – gali būti naudojami kartu, nustatant AI modelio našumą.

 

 OpenAI gali potencialiai pasukti visus tris AI kūrimo svertus. Tačiau realiai, norint įgyvendinti trijų komponentų pakeitimus, reikia skirtingų pastangų. Dabartiniai tyrimai rodo, kad atskirų komponentų tobulinimas turi reikšmingą teigiamą poveikį AI modelių veikimui. Jei, remiantis tais pačiais duomenimis ir algoritmais, investuojama daugiau skaičiavimo laiko, našumas pastebimai pagerėja.

 

 Vien tik padidinti skaičiavimo laiką neužtenka

 

 Atrodo, kad skaičiavimo laiko pailgėjimas yra numatomas. OpenAI jau nuosekliai padidino tai, palyginti su ankstesniais modeliais. Tačiau vien skaičiavimo laiko, tikriausiai, nepakaks novatoriškam vystymuisi. Daugelis ekspertų mano, kad dabartiniai modeliai yra prisotinimo taške, kai reikia tobulinti skaičiavimo galią, kadangi algoritmų efektyvumas ir duomenų tipas lemia daugiau skaičiavimo laiko. Idealiu atveju OpenAI sprendžia visus tris komponentus.

 

 Didžiausi OpenAI pakeitimai, kuriuos, greičiausiai, padarys, yra GPT-5 algoritmai ir architektūra. Dažnai minimas metodas yra naudoti ekspertų tinklus, kurie specializuojasi konkrečiose modelio užduotyse ar temose. GPT-4 jau numatyta naudoti tokius tinklus, tačiau tolesnis plėtimas galėtų dar labiau padidinti patikimumą ir tikslumą. Konkurentas Google neseniai parodė, kokia efektyvi yra ši didėjanti specializacija. Du jo ekspertų modeliai dalyvavo tarptautinėje matematikos olimpiadoje, kurioje matematikos egzaminus rašo geriausi įvairių tautų mokiniai.

 

 Naujovė: Google modeliai gali patikrinti tarpinius žingsnius. Modeliai prasideda nuo egzamino užduoties supratimo, naudojant Gemini kalbos modelį ir pritaikant jį siūlomiems sprendimams kurti. Generatyvinės kalbos modeliai yra geri, tačiau jie taip pat linkę į vadinamąsias haliucinacijas – atsakymus, kurie suformuluoti logiškai ir įtikinamai, tačiau iš tikrųjų yra neteisingi. Norint juos nustatyti ir išspręsti, vienas iš modelių siūlomus sprendimus verčia į programavimo kalbą, kuri specializuojasi matematiniuose įrodymuose. Dabar pasiūlymą galima apskaičiuoti žingsnis po žingsnio ir taip patikimai parodyti, ar siūloma įrodymų grandinė yra logiškai nuosekli, ar joje yra klaidų. Jei veiksme randama klaida, kalbos modelio automatiškai prašoma pateikti naują pasiūlymą tam įrodymo veiksmui, kol visa grandinė bus patikrinta.

 

 Ekspertų tinklai gali neatsilikti nuo mokinių

 

 Toks užduoties suskirstymas į loginius komponentus ir automatizuotas atskirų žingsnių tikrinimas yra perspektyvus darbo būdas. Modeliai pasirodė tarp 30 procentų geriausių mokinių pagal sprendimų kokybę. Tačiau atsakymo laikas kartais viršydavo 90 minučių ribą ir AI būtų atsidūręs sąrašo apačioje. Rezultatai vistik yra įdomūs, nes jie rodo, kad dirbtinio intelekto modeliai taip pat gerėja matematikos srityje. Jie anksčiau turėjo sunkumų šioje srityje dėl didelių loginio nuoseklumo ir skaitmeninio supratimo reikalavimų. Jei OpenAI taip pat elgsis kaip konkurentas Google, jis galėtų naudoti ekspertų modelių ir oficialių tikrinimo procedūrų derinį nustatyti naują standartą. Turėdamas tinkamą mokymą ir darbo kelių taisykles, GPT-5 taip pat galėtų pasiekti anksčiau uždarytas sritis, tokias, kaip buhalterinė apskaita ar mokesčių deklaracijos.

 

 Altmanas nori integruoti vaizdo įrašus į „ChatGPT“.

 

 Taip pat yra daug galimybių tobulinti GPT-5 duomenų atžvilgiu. Generalinis direktorius Samas Altmanas paskelbė apie ypač ambicingą planą šiuo atžvilgiu: jis nori integruoti vaizdo įrašų analizę ir kūrimą tiesiai į pagrindinį modelį. Kiekvienas, kuris mano, kad tai tik dar vienas įrankis vartotojams, praleidžia esminius būtinus pakeitimus. Kad tokia sistema veiktų sėkmingai, modelis turi suprasti ir sujungti įvairių tipų duomenis. Jis turi sugebėti valdyti ir vaizdo, ir teksto, garso ar vaizdo duomenų tipų koncepciją. Tiksliau, jis turėtų susieti žodį „kėdė“ tiek su konkrečiu pavyzdžiu, tiek su bendra visų kėdžių forma ir funkcija.

 

 Tai, kas žmonėms yra savaime aišku, mašinoms yra sudėtingas iššūkis. Tai, kad dabartinė GPT versija jau gali sukurti (statinius) vaizdus, ​​yra įspūdinga, tačiau kiekviena papildoma įvesties ir išvesties laikmenų forma yra visiškai naujas iššūkis. Dirbtinio intelekto modeliuose yra skirtumų tarp kėdės nuotraukos ir vaizdo įrašo, kuriame kėdė apvirsta, kadangi vaizdo įrašai yra naujo tipo duomenų sistemos. Jei modeliams būtų galima suteikti tokį supratimą apie objektus erdvėje, jie taip pat galėtų įgyti loginį supratimą, siūlo Geoffrey Hintonas, vienas žinomiausių pasaulyje dirbtinio intelekto tyrinėtojų. Tai iš tikrųjų reikštų evoliucinį šuolį AI modeliuose.

 

 Tokie tyrinėtojai, kaip Hintonas, tikisi, kad loginis supratimas duos mažiau haliucinacijų ir patikimą požiūrį į naujas koncepcijas. Galima būtų įsivaizduoti, kad GPT-5 čia daro bent tam tikrą pažangą. Kūrybingiems žmonėms būtų įdomu kurti vaizdo įrašus ir geresnius vaizdus. Kita vertus, patikimas naujų koncepcijų valdymas galėtų padaryti GPT-5 naudingesnį, sparčiai besivystančiose, srityse, tokiose, kaip tyrimai ar programavimas.

 

 Atrodo, kad generatyvaus AI plėtros galimybės toli gražu nėra išnaudotos. Ir nors OpenAI, tikriausiai, išleis tik negausią informaciją apie GPT-5 duomenis, algoritmus ir skaičiavimo laiką, tai iš karto atsispindės modelio kokybėje.“ [1]

 

1. Wie Open AI das nächste ChatGPT auf ein neues Level heben kann. Frankfurter Allgemeine Zeitung (online) Frankfurter Allgemeine Zeitung GmbH. Aug 14, 2024. Von Martin Wendiggensen

How Open AI can take the next ChatGPT to a new level

 

"Open AI promises big things for the planned language model GPT-5. But how does the company plan to achieve these goals? A look at the components of AI progress.

 

The release of GPT-3 in November 2022 changed a lot. Generative AI developed from an academic field into its own industry - and made Open AI the market leader. So it's no wonder that when the successor GPT-4 was announced, the advertising language consisted primarily of superlatives. 

 

Open AI is now making even bigger promises for GPT-5 - the company has already announced that the language model will be able to think logically better, interact with videos and have "the intelligence of a doctorate". 

 

But how these advances could be measured, let alone achieved, remains open and was not published retrospectively for previous models.

 

The development of advanced AI models essentially consists of three components - data, algorithms and computing time. Data is the knowledge base on which a model is trained by applying algorithms. The algorithms are the architecture of the neural network and optimize the model during training. The amount of computing time determines how much computer power is used for training and thus how nuanced the finished model is. The three components - data, algorithms and computing time - can therefore be used together to determine the performance of an AI model.

 

Open AI can potentially adjust all three parameters in AI development. Realistically, however, changes to the three components require varying degrees of effort to implement. Current research suggests that improving individual components has significantly positive effects on the performance of AI models. If, for example, more computing time is invested based on the same data and algorithms, performance improves measurably.

 

Simply increasing the computing time is not enough

 

An increase in computing time therefore seems foreseeable. Open AI has already consistently increased this over previous models. But computing time alone will probably not be enough for a groundbreaking development. Many experts believe that the current models are at a saturation point in terms of improvement through computing power. The efficiency of the algorithms and the type of data determine the value of more computing time. Ideally, Open AI will therefore address all three components.

 

The biggest changes Open AI will probably make to the algorithms and architecture of GPT-5. One approach frequently mentioned is to use expert networks that specialize in certain tasks or topics within the model. GPT-4 is said to already use such networks, but further expansion could further increase reliability and precision. Competitor Google recently demonstrated how effective this increasing specialization is. Two of its expert models took part in the International Mathematics Olympiad, in which the best students from different nations compete to write math exams.

 

The innovation: Google's models can check intermediate steps. The models begin by understanding the exam task using the Gemini language model and using it to develop suggested solutions. Generative language models are good at this, but they also tend to produce so-called hallucinations - answers that are formulated logically and convincingly, but are factually incorrect. To identify and correct these, one of the models translates the proposed solutions into a programming language that specializes in mathematical proofs. The proposal can now be calculated step by step and thus reliably show whether the proposed chain of proof is logically consistent or contains errors. If an error is found in a step, the language model is automatically asked for a new proposal for this proof step until the entire chain withstands the check.

 

The expert networks can keep up with the students

 

This breakdown of the task into logical components and automated checking of individual steps is a promising way of working. In terms of the quality of their solutions, the models performed among the best 30 percent of students. However, the response times sometimes exceeded the 90-minute limit and would have put the AI ​​​​in last place. The results are nevertheless exciting because they suggest that AI models are also getting better at mathematics. They have had difficulties in this area so far due to the high requirements for logical consistency and numerical understanding. If Open AI follows the path of its competitor Google, it could use a combination of expert models and formal verification methods to rules set a new standard. With the right training and rules for work routes, GPT-5 would also be able to access previously inaccessible areas such as accounting or tax returns.

 

Altman wants to integrate videos into ChatGPT

 

There is also a lot of room for improvement in terms of data for GPT-5. CEO Sam Altman has announced a particularly ambitious project in this regard: he wants to integrate the analysis and creation of videos directly into the main model. Anyone who sees this as just another tool for users is missing the fundamental changes that are required for it. For such a system to be successful, the model must understand and link different types of data. It must be able to handle a concept in the data type image as well as in text, sound or video. In concrete terms, it should be able to associate the word "chair" with both a concrete example and the general form and function of all chairs.

 

What is self-evident for people is a complex challenge for machines. The fact that the current GPT version can already create (static) images is impressive, but every other form of input and output media presents a completely new challenge. There is a world of difference for AI models between a picture of a chair and a video of a chair tipping over. Videos are a new type of data for the systems. 

 

If models can be given such an understanding of objects in space, they could also gain logical understanding, suspects Geoffrey Hinton, one of the world's best-known AI researchers. That would actually represent an evolutionary leap for AI models.

 

The hope of researchers like Hinton is that logical understanding will translate into fewer hallucinations and a reliable handling of new concepts. 

 

It is conceivable that GPT-5 will at least make some progress here. Being able to generate videos and better images would be interesting for creative people. The reliable handling of new concepts, on the other hand, could make GPT-5 more useful in rapidly developing fields such as research or programming.

 

The potential of developments in generative AI therefore seems to be far from being exhausted. And although Open AI will probably only publish sparse information about GPT-5's data, algorithms and computing time, this will immediately be reflected in the quality of the model." [1]

 

1. Wie Open AI das nächste ChatGPT auf ein neues Level heben kann. Frankfurter Allgemeine Zeitung (online) Frankfurter Allgemeine Zeitung GmbH. Aug 14, 2024. Von Martin Wendiggensen

"Ekspertai, analizuojantys partijų programų nuostatas, skirtas švietimui, pastebi, kad jose mažai dėmesio skiriama aukštajam mokslui.

 Tai stebina, turint omenyje jo svarbą šalies ekonominei gerovei.

Ši tendencija kartojasi metai iš metų. Manoma, jog taip yra ir dėl to, kad aukštųjų mokyklų dėstytojai ir mokslo darbuotojai ne taip aktyviai ir ne taip garsiai kalba apie problemas, kurių yra šiame sektoriuje. Todėl, pasak Mindaugo Nefo, Vytauto Didžiojo universiteto Švietimo akademijos kanclerės pavaduotojo, „susiduriame su iššūkiu susirasti žmonių, kurie norėtų toliau dirbti aukštajame moksle, nes atlyginimai yra tiesiog apgailėtini“. "

Užtat mes gražiai dainuojame. Dar turime patrankų, o greitai turėsime ir tankų. Kinija mums parodė, kad, šaudant žvirblius, skurdas masiškai išnyksta.