ChatGPT yra daugiakalbystės stebuklas

"Šurmulys, kilęs po "ChatGPT" viešo pristatymo praėjusiais metais, net pagal technologijų naujovių standartus buvo ekstremalus. "OpenAI" natūralios kalbos sistema kuria receptus, rašo kompiuterinį kodą ir parodijuoja literatūrinius stilius. Naujausia jos iteracija netgi gali aprašyti nuotraukas. Ji buvo pasveikinta, kaip technologinis proveržis, prilygstantis spausdinimo mašinai. Tačiau neilgai trukus atsirado ir didžiulių trūkumų. Kartais „haliucinuoja“ ne faktus, kuriuos ištaria visiškai užtikrintai, primygtinai reikalaudama tų melų, kai užklausa tikslinama, bei jam nepavyksta atlikti pagrindinių logikos testų.

 

     Kitaip tariant, ChatGPT nėra bendras dirbtinis intelektas, nepriklausoma mąstymo mašina. Žargonu tai yra didelis kalbos modelis. Tai reiškia, kad jis labai gerai nuspėja, kokie žodžiai dažniausiai seka,  išmokęs dirbti su didžiuliu tekstu – jo kūrėjas „OpenAI“ tiksliai nenurodo, iš kur – ir aptinka šablonus.

 

     Tarp ažiotažo lengva pamiršti nedidelį stebuklą. „ChatGPT“ išsprendė problemą, kuri ilgą laiką buvo tolima inžinierių svajonė: sukurti į žmogaus panašią kalbą . Skirtingai nuo ankstesnių sistemos versijų, ji gali ir toliau tai daryti visose pastraipose, nenusileisdama į nenuoseklumą. Ir šio pasiekimo matmenys yra dar didesni, nei atrodo iš pirmo žvilgsnio. „ChatGPT“ gali ne tik sukurti nepaprastai tikrovišką anglų kalbą.

 

     Jis taip pat gali akimirksniu išryškinti tekstą daugiau, nei 50 kalbų – tikslaus skaičiaus, matyt, pati sistema nežino.

 

     Paklaustas (ispanų kalba), kiek kalbų gali kalbėti, „ChatGPT“ neaiškiai atsako „daugiau, nei 50“ ir paaiškina, kad jos gebėjimas kurti tekstą priklausys nuo to, kiek mokymo duomenų bus prieinama bet kuria kalba. Tada uždavus klausimą iš anksto perėjus į portugalų kalbą, pateikiamas jūsų apžvalgininko biografijos eskizas ta kalba. Didžioji dalis buvo teisinga, tačiau nurodyta, kad jis studijavo ne tą dalyką ne tame universitete. Pati kalba buvo nepriekaištinga.

 

     Portugalų kalba yra viena didžiausių pasaulio kalbų. Išbandęs mažesnę kalbą, jūsų apžvalgininkas ištyrė „ChatGPT“ danų kalba, kuria kalba tik apie 5,5 mln. žmonių. Danai didžiąją dalį savo interneto rašo anglų kalba, todėl danų kalbos mokymo duomenys turi būti daug mažesni nei anglų, ispanų ar portugalų kalbų. „ChatGPT“ atsakymai faktiškai buvo iškreipti, bet išreikšti beveik tobula danų kalba. (Nedidelė lyties susitarimo klaida buvo vienintelė klaida, užfiksuota bet kuria iš išbandytų kalbų.)

 

     Iš tiesų, „ChatGPT“ yra per kuklus savo sugebėjimų atžvilgiu. Pagal pageidavimą jis pateikia 51 kalbos, kuria gali dirbti, sąrašą, įskaitant esperanto, kanadų ir zulu. Ji atsisako teigti, kad gali „kalbėti“ šiomis kalbomis, o „generuoja tekstą“ jomis. Tai pernelyg nuolankus atsakymas. Adresuota katalonų kalba (kalba, kurios nėra sąraše), ji ta kalba linksmai atsako: „Taip, aš kalbu katalonų kalba – kuo galiu jums padėti? Keli tolesni klausimai jo nė kiek nesuklumpa, įskaitant užklausą, ar tai tik iš pradžių kita kalba sugeneruotų atsakymų vertimas į katalonų kalbą. ChatGPT tai neigia: „Aš neverčiu iš jokios kitos kalbos; savo duomenų bazėje ieškau geriausių žodžių ir frazių, kad atsakyčiau į jūsų klausimus“.

 

     Kas žino, ar tai tiesa? ChatGPT ne tik sugalvoja dalykus, bet ir neteisingai atsako į klausimus apie patį pokalbį. (Jis neturi „atminties“, o sugrąžina paskutinius kelis tūkstančius kiekvieno pokalbio žodžių kaip naują raginimą. Jei jau kurį laiką kalbėjote angliškai, jis „pamirš“, kad anksčiau uždavėte klausimą danų kalba ir pasakys, kad klausimas buvo užduotas anglų kalba.) ChatGPT yra nepatikimas ne tik pasauliui, bet net pačiam sau.

 

     Tai neturėtų užgožti modelio, kuris gali be vargo imituoti tiek daug kalbų, įskaitant tas, kurių mokymo duomenys yra riboti, pasiekimo. Mažesnėmis kalbomis kalbantys, asmenys jau daugelį metų nerimauja dėl kalbos technologijų, kurios juos praeina. Jų pagrįstą susirūpinimą lėmė dvi priežastys: mažesnė paskata įmonėms kurti produktus islandų arba maltiečių kalba ir santykinis duomenų trūkumas jomis apmokyti.

 

     Panašu, kad ChatGPT kūrėjai tokias problemas kažkaip įveikė. Dar per anksti pasakyti, kuo ši technologija duos naudos, tačiau vien tai duoda pagrindą nusiteikti optimistiškai. Tobulėjant mašininio mokymosi technologijoms, jiems gali nereikėti didžiulių išteklių – programavimo laiko ar duomenų, kurie tradiciškai laikomi būtini, siekiant užtikrinti, kad internete nebūtų pamirštamos mažesnės kalbos." [1]

 

1. "ChatGPT is a marvel of multilingualism." The Economist, 29 Mar. 2023, p. NA.

ChatGPT is a marvel of multilingualism

"THE HYPE that followed ChatGPT's public launch last year was, even by the standards of tech innovations, extreme. OpenAI's natural-language system creates recipes, writes computer code and parodies literary styles. Its latest iteration can even describe photographs. It has been hailed as a technological breakthrough on a par with the printing press. But it has not taken long for huge flaws to emerge, too. It sometimes "hallucinates" non-facts that it pronounces with perfect confidence, insisting on those falsehoods when queried. It also fails basic logic tests.

In other words, ChatGPT is not a general artificial intelligence , an independent thinking machine. It is, in the jargon, a large language model. That means it is very good at predicting what kinds of words tend to follow which others, after being trained on a huge body of text—its developer, OpenAI, does not say exactly from where—and spotting patterns.

Amid the hype, it is easy to forget a minor miracle. ChatGPT has aced a problem that long served as a far-off dream for engineers: generating human-like language . Unlike earlier versions of the system, it can go on doing so for paragraphs on end without descending into incoherence. And this achievement's dimensions are even greater than they seem at first glance. ChatGPT is not only able to generate remarkably realistic English. 

It is also able to instantly blurt out text in more than 50 languages—the precise number is apparently unknown to the system itself.

Asked (in Spanish) how many languages it can speak, ChatGPT replies, vaguely, "more than 50", explaining that its ability to produce text will depend on how much training data is available for any given language. Then, asked a question in an unannounced switch to Portuguese, it offers up a sketch of your columnist's biography in that language. Most of it was correct, but it had him studying the wrong subject at the wrong university. The language itself was impeccable.

Portuguese is one of the world's biggest languages. Trying out a smaller language, your columnist probed ChatGPT in Danish, spoken by only about 5.5m people. Danes do much of their online writing in English, so the training data for Danish must be orders of magnitude scarcer than what is available for English, Spanish or Portuguese. ChatGPT's answers were factually askew but expressed in almost perfect Danish. (A tiny gender-agreement error was the only mistake caught in any of the languages tested.)

Indeed, ChatGPT is too modest about its own abilities. On request, it furnishes a list of 51 languages it can work in, including Esperanto, Kannada and Zulu. It declines to say that it can "speak" these languages, but rather "generates text" in them. This is too humble an answer. Addressed in Catalan—a language not on the list—it replies in that language with a cheerful "Yes, I do speak Catalan—what can I help you with?" A few follow-up questions do not trip it up in the slightest, including a query about whether it is merely translating answers first generated in another language into Catalan. This, ChatGPT denies: "I don't translate from any other language; I look in my database for the best words and phrases to answer your questions."

Who knows if this is true? ChatGPT not only makes things up, but incorrectly answers questions about the very conversation it is having. (It has no "memory", but rather feeds the last few thousand words of each conversation back into itself as a new prompt. If you have been speaking English for a while it will "forget" that you asked a question in Danish earlier and say that the question was asked in English.) ChatGPT is untrustworthy not just about the world, but even about itself.

This should not overshadow the achievement of a model that can effortlessly mimic so many languages, including those with limited training data. Speakers of smaller languages have worried for years about language technologies passing them by. Their justifiable concern had two causes: the lesser incentive for companies to develop products in Icelandic or Maltese, and the relative lack of data to train them.

Somehow the developers of ChatGPT seem to have overcome such problems. It is too early to say what good the technology will do, but this alone gives one reason to be optimistic. As machine-learning techniques improve, they may not require the vast resources, in programming time or data, traditionally thought necessary to make sure smaller languages are not overlooked online.” [1]

1. "ChatGPT is a marvel of multilingualism." The Economist, 29 Mar. 2023, p. NA.

Komercinio turto nuostoliai dar labiau padidins bankų bėdas

"Paprašykite investuotojo apibūdinti komercinio turto perspektyvas ir gausite spalvingą atsakymą. "Biuras yra šiukšlių gaisras", - sako Danielis McNamara iš "Polpo", investicinio fondo. 

 

Jo požiūris į platesnę rinką, apimančią parduotuves ir sandėlius, yra tik šiek tiek mažiau niūri: „Tai tikrai tobula audra.“ 

 

Tomas Capasse'as iš „Waterfall Asset Management“, investicinės įmonės, vietas, kuriose sprogo technologijų burbulas, įskaitant San Franciską ir Sietlą, pavadino „biuro pragaru“.

 

     Bjaurių įvykių derinys sukėlė šią pragariškai tobulą šiukšliadėžę-ugnies audrą. Užsitęsęs COVID-19 poveikis, kuris atitolino pirkėjus nuo prekybos centrų ir darbuotojų namuose, sumažino prekybos centrų ir biurų vertę; visiems nekilnojamojo turto vertinimams kenkia didesnės palūkanų normos, kurios didina savininkų išlaidas. Prie šių bėdų prisidėjo ir pastarojo meto bankų suirutė ir nuogąstavimai dėl nuosmukio, kai darbuotojai atleidžiami, o buvę darbdaviai mažina įmones.

 

     Padėtis kelia problemų dviem didelėms, persipynusioms Amerikos pramonės šakoms. Pirmasis yra pastatų turtas, kurio savininkai grumiasi su mintimi, kad jiems priklausantys biurų pastatai – nepatogiai tušti ir vargu ar vėl prisipildys – gali būti verti tik pusės to, ką už juos sumokėjo. Antrasis – jų finansininkai. Kai turto valdytojas Brookfieldas neseniai nusprendė, kad būtų geriau perduoti dviejų didžiulių biurų bokštų Los Andžele raktus, o ne refinansuoti dėl jų pasiskolintas 784 mln. dolerių paskolas, raktus perdavė Citigroup ir Morgan Stanley, o tai yra du dideli bankai.

 

     Joks komercinės nuosavybės sektorius neatrodo izoliuotas. „Net ir sandėliavimo srityje matėte, kad tokios firmos kaip „Amazon“ pripažįsta, kad išlaidavo per daug ir per daug pastatė“, – sako McNamara. Tačiau tikras susirūpinimas yra biurų patalpos, kurios sudaro maždaug ketvirtadalį viso komercinio turto (ir jo skolų) Amerikoje, nes „tai nėra cikliškas klausimas“.

 

     Visuose biuruose, išskyrus geriausius, laisvų darbo vietų lygis išaugo. Nuomotojai siūlo dosnias paskatas, kad suviliotų niūrius nuomininkus. San Franciske daugiau, nei 29 %, biurų yra tušti, beveik aštuonis kartus daugiau, nei prieš pandemiją. Prašomos nuomos kainos mieste, kuriame laisvų darbo vietų šuolis Amerikoje buvo didžiausias, sumažėjo 15 proc., palyginti su 2019 m. Kadangi šių pastatų eksploatavimas gali būti brangus, iš dalies dėl nekilnojamojo turto mokesčių, net nedidelis nuomos kainų sumažėjimas arba užimtumas gali paversti pastatą nuostolingu.

 

     Kai kurie savininkai gali nesugebėti arba nenorėti išlaikyti šios nuosavybės. Jie gali būti nepajėgūs, jei negali tęsti paskolų naudojimo. Maždaug 15 % visų skolintojų tipų Amerikoje neapmokėtų komercinės nuosavybės skolų baigiasi šiais metais, praneša Kevinas Faganas iš Moody's Analytics, tyrimų įmonės. Iš jų, jo nuomone, apie 40 % gali turėti problemų refinansuojant. Nuomotojai gali nenorėti, jei susiję pastatai yra aiškiai verti mažiau, nei paskolos vertė. Yra pavyzdžių, kai „didesni rėmėjai iš anksto grąžina raktus net likus metams iki paskolos termino pabaigos“, – pažymi J. Capasse.

 

     2022 m. pabaigoje komercinio nekilnojamojo turto pramonė buvo skolinga 5,6 mlrd. dolerių investuotojams ir finansų institucijoms. Duomenų teikėjo Trepp teigimu, pusė to buvo skirta bankams. Brukfildui ir jo dydžio lėšoms gali tekti grąžinti didelėms įstaigoms, tačiau didžioji dauguma jų yra prisikaustę prie skolintojų, kurių turtas yra mažesnis nei 250 mlrd. dolerių.

 

     Kyla pavojus, kad bankai turės daugybę biurų, kuriuos jie turi parduoti su didelėmis nuolaidomis. Tai sugrąžins prisiminimus apie 2007–2009 m. pasaulinę finansų krizę. Tačiau yra priežasčių manyti, kad istorija nepasikartos. Pirma, komercinis nekilnojamasis turtas yra vertas perpus mažiau, nei gyvenamasis nekilnojamasis turtas, dėl kurio problemų buvo praėjusį kartą. Antra, atsainiai skolindami, bankai suteikdavo hipotekas, kurių vertė siekė net 100 % būsto vertės prieš finansų krizę. Priešingai, komercinės nuosavybės skolintojai skolininkui siūlo ne daugiau, kaip 75 % hipotekos, o tai reiškia, kad kainos turės dar labiau kristi, kad bankai patirtų nuostolių.

 

     Net ir blogiausio scenarijaus poveikis būtų ribotas. Maždaug ketvirtadalis 2,2 mlrd. dolerių komercinio nekilnojamojo turto paskolų mažiems bankams yra biuro paskolos. Įsivaizduokite, kad nuomotojai šiais metais grąžins pusės šių paskolų raktus – iš viso apie 280 mlrd. dolerių. Jei bankai galėtų susigrąžinti tik pusę paskolų vertės, parduodami turtą su didelėmis nuolaidomis (tarkime, trečdalį jo vertės prieš trejus metus), jie patirtų 140 mlrd. dolerių nuostolių. Tai tik 10 % mažų bankų turimo akcinio kapitalo. Tačiau smūgis būtų pasiskirstęs netolygiai ir galėtų pakenkti kai kurioms institucijoms.

 

     Biuro apokalipsė

 

     Lieka klausimas, kas atsitiks su pastatais, kuriuose niekas nebenori dirbti. Daugelį biurų jau reikia pagražinti. Dėl medžiagų ir darbo jėgos trūkumo, taip pat dėl naujų įstatymų visame pasaulyje, kuriais siekiama priversti statyti žalesnius pastatus, statybos kainos yra didžiulės. Pavyzdžiui, dėl energijos vartojimo efektyvumo taisyklių Anglijoje ir Velse nuo balandžio 1 d. bus neteisėta nuomoti vieną iš dvylikos pastatų Londone, nebent savininkai juos atnaujins.

 

     Ryanas Williamsas iš Cadre, investicijų į nekilnojamąjį turtą platformos, numato du kelius. Pirmasis – „fundamentalus perkainojimas, kai bankai atima raktus ir parduoda turtą su didele nuolaida“. Tai gali leisti naujiems pirkėjams pritaikyti, atnaujinti ar prižiūrėti pastatus taip, kad jie tiktų mažesniam gyventojų skaičiui. Antruoju atveju įsikiša vietos pareigūnai: „[Daugeliui miestų] nėra suinteresuota, kad visa žemesnės pakopos biurų pastatų gatvė būtų sugadinta, todėl vyriausybės gali pradėti siūlyti paskatas renovuoti ar pertvarkyti“. Kai kur toks prisitaikymas jau vyksta. Pažvelkite pro langus į „The Economist“ biurą Vašingtone ir bet kurią darbo dieną saujelė statybininkų užsiima seną Vanguard pastatą, biurą, kuriame kadaise buvo įsikūręs Taikos korpusas, paversdami naujų blizgančių butų kvartalu." [1]

 

1. "Commercial-property losses will add to banks' woes." The Economist, 29 Mar. 2023, p. NA.

Commercial-property losses will add to banks' woes.

 

"Ask an investor to describe the outlook for commercial property and you will get a colourful response. "Office is a dumpster fire," says Daniel McNamara of Polpo, an investment fund. His view of the wider market, which includes shops and warehouses, is only a little less grim: "It really is the perfect storm." Tom Capasse of Waterfall Asset Management, an investment firm, has nicknamed places where the tech bubble has burst, including San Francisco and Seattle, "office hell."

A combination of nasty events has produced this hellish-perfect-dumpster-fire-storm. The lingering impact of covid-19, which kept shoppers away from malls and workers at home, has undermined the value of shopping centres and offices; all real-estate valuations are undermined by higher interest rates, which push up landlords' expenses. These woes have been added to by the recent banking turmoil and fears of a recession in which workers are laid off and their former employers downsize.

The situation poses a problem for two big, intertwined American industries. The first is property, where owners are grappling with the idea that the office buildings they own—uncomfortably empty and unlikely to fill up again—might be worth only half what they paid for them. The second is their financiers. When Brookfield, an asset manager, recently decided it would be better off handing over the keys of two vast office towers in Los Angeles, rather than refinancing the $784m of loans it owed on them, it handed the keys over to Citigroup and Morgan Stanley, two big banks.

No commercial-property sector looks insulated. "Even in warehousing you have seen firms like Amazon admit they overspent and overbuilt," says Mr McNamara. But the real concern is office space, which makes up around a quarter of total commercial property (and its debts) in America, because "it is not a cyclical issue".

Vacancy rates have risen in all but the best offices. Landlords are offering generous incentives to lure skittish tenants. In San Francisco more than 29% of offices are empty, nearly eight times the pre-pandemic level. Asking rents in the city, which has seen the biggest jump in vacancies across America, are down by 15% compared with 2019. As these buildings can have high costs to run, in part owing to property taxes, even a small dip in rents or occupancy can turn a building into a lossmaker.

Some landlords may be unable, or unwilling, to hang on to these properties. They may be unable if they cannot roll over their loans. Around 15% of outstanding commercial-property debts across all lender types in America are maturing this year, reports Kevin Fagan of Moody's Analytics, a research firm. Of these, he thinks about 40% might have trouble refinancing. Landlords may be unwilling if the buildings involved are clearly worth less than the value of the loan. There are examples of "bigger sponsors pre-emptively giving back the keys even a year before loans were due to expire," notes Mr Capasse.

At the end of 2022, the commercial-property industry owed $5.6trn in debt to investors and financial institutions. According to Trepp, a data provider, half of this was to banks. Brookfield and funds of its size might need to repay big institutions, but the vast majority are on the hook to lenders with below $250bn in assets—ones which are already under severe stress after the collapse of Silicon Valley Bank.

The danger is that banks end up with lots of offices, which they have to sell at deep discounts. This will bring back memories of the global financial crisis of 2007-09. But there are reasons to think history will not repeat. First, commercial property is worth just half as much as residential real estate, which is where problems were last time around. Second, lax lending saw banks grant mortgages worth as much as 100% of a home's value before the financial crisis. Commercial-property lenders, by contrast, offer a borrower a maximum 75% mortgage, meaning prices will have to fall much further for banks to face losses.

Even the worst-case scenario would have limited impact. Roughly a quarter of the $2.2trn of commercial-property loans owed to small banks are office loans. Imagine that landlords hand back the keys on half these loans this year—some $280bn in total. If banks could recover just half the value of the loans by selling off the assets at deep discounts (say, a third of their value three years ago) they would be wearing losses of $140bn. That is just 10% of the equity capital that small banks hold. The blow would be unevenly distributed, however, and could imperil some institutions.

The office apocalypse

There remains the question of what happens to buildings no one wants to work in anymore. Many offices already need sprucing up. And building costs are sky-high, thanks to material and labour shortages, as well as new laws around the world which seek to make buildings greener. Energy-efficiency rules in England and Wales, for example, will make it unlawful to let one in twelve buildings in London from April 1st, unless landlords upgrade them.

Ryan Williams of Cadre, a property-investment platform, foresees two paths. The first is a "fundamental repricing, where the banks take back the keys and sell assets at a huge discount". This might allow new buyers to adapt, upgrading or maintaining buildings so that they suit lower occupancies. In the second, local officials step in: "It is not in the interest of [many cities] to see a whole street of lower-tier office buildings become blighted, so governments may start to offer incentives to renovate or convert." In some places, this kind of adaptation is already happening. Look out of the windows at The Economist's office in Washington and on any given weekday a handful of builders are busy converting the old Vanguard building, an office that once housed the Peace Corps, into a block of shiny new apartments.” [1]

1. "Commercial-property losses will add to banks' woes." The Economist, 29 Mar. 2023, p. NA.