A bioethicist and a professor of medicine on regulating AI in health care.

"THE ARTIFICIAL INTELLIGENCE (AI) sensation ChatGPT, and rivals such as BLOOM and Stable Diffusion, are large language models for consumers. ChatGPT has caused particular delight since it first appeared in November. But more specialised AI is already used widely in medical settings, including in radiology, cardiology and ophthalmology. Major developments are in the pipeline. Med-PaLM, developed by DeepMind, the AI firm owned by Alphabet, is another large language model. Its 540bn parameters have been trained on data sets spanning professional medical exams, medical research and consumer health-care queries. Such technology means our societies now need to consider the best ways for doctors and AI to best work together, and how medical roles will change as a consequence.

The benefits of health AI could be vast. Examples include more precise diagnosis using imaging technology, the automated early diagnosis of diseases through analysis of health and non-health data (such as a person's online-search history or phone-handling data) and the immediate generation of clinical plans for a patient. AI could make care cheaper as it enables new ways to assess diabetes or heart-disease risk, such as by scanning retinas rather than administering numerous blood tests, for example. AI has the potential to alleviate some of the challenges left by covid-19. These include drooping productivity in health services and backlogs in testing and care, among many other problems plaguing health systems around the world.

For all the promise of AI in medicine, a clear regime is badly needed to regulate it and the liabilities it presents. Patients must be protected from the risks of incorrect diagnoses, the unacceptable use of personal data and biased algorithms. They should also prepare themselves for the possible depersonalisation of health care if machines are unable to offer the sort of empathy and compassion found at the core of good medical practice. At the same time, regulators everywhere face thorny issues. Legislation will have to keep pace with ongoing technological developments?which is not happening at present. It will also need to take account of the dynamic nature of algorithms, which learn and change over time. To help, regulators should keep three principles in mind: co-ordination, adaptation and accountability.

First, there is an urgent need to co-ordinate expertise internationally to fill the governance vacuum. AI tools will be used in more and more countries, so regulators should start co-operating with each other now. Regulators proved during the pandemic that they can move together and at pace. This form of collaboration should become the norm and build on the existing global architecture, such as the International Coalition of Medicines Regulatory Authorities, which supports regulators working on scientific issues.

Second, governance approaches must be adaptable. In the pre-licensing phase, regulatory sandboxes (where companies test products or services under a regulator's supervision) would help to develop needed agility. They can be used to determine what can and ought to be done to ensure product safety, for example. But a variety of concerns, including uncertainty about the legal responsibilities of businesses that participate in sandboxes, means this approach is not used as often as it should be. So the first step would be to clarify the rights and obligations of those participating in sandboxes. For reassurance, sandboxes should be used alongside a "rolling-review" market-authorisation process that was pioneered for vaccines during the pandemic. This involves completing the assessment of a promising therapy in the shortest possible time by reviewing packages of data on a staggered basis.

The performance of AI systems should also be continuously assessed after a product has gone to market. That would prevent health services getting locked into flawed patterns and unfair outcomes that disadvantage particular groups of people. America's Food and Drug Administration (FDA) has made a start by drawing up specific rules that take into account the potential of algorithms to learn after they have been approved. This would allow AI products to update automatically over time if manufacturers present a well-understood protocol for how a product's algorithm can change, and then test those changes to ensure the product maintains a significant level of safety and effectiveness. This would ensure transparency for users and advance real-world performance-monitoring pilots.

Third, new business and investment models are needed for co-operation between technology providers and health-care systems. The former want to develop products, the latter manage and analyse troves of high-resolution data. Partnerships are inevitable and have been tried in the past, with some notable failures. IBM Watson, a computing system launched with great fanfare as a "moonshot" to help improve medical care and support doctors in making more accurate diagnoses, has come and gone. Numerous hurdles, including an inability to integrate with electronic health-record data, poor clinical utility and the misalignment of expectations between doctors and technologists, proved fatal. A partnership between DeepMind and the Royal Free Hospital in London caused controversy. The company gained access to 1.6m NHS patient records without patients' knowledge and the case ended up in court.

What we have learned from these examples is that the success of such partnerships will depend on clear commitments to transparency and public accountability. This will require not only clarity on what can be achieved for consumers and companies by different business models, but also constant engagement?with doctors, patients, hospitals and many other groups. Regulators need to be open about the deals that tech companies will make with health-care systems, and how the sharing of benefits and responsibilities will work. The trick will be aligning the incentives of all involved.

Good AI governance should boost both business and customer protection, but it will require flexibility and agility. It took decades for awareness of climate change to translate into real action, and we still are not doing enough. Given the pace of innovation, we cannot afford to accept a similarly pedestrian pace on AI.

Effy Vayena is the founding professor of the Health Ethics and Policy Lab at ETH Zurich, a Swiss university. Andrew Morris is the director of Health Data Research UK, a scientific institute." [1]

1. Vayena, Effy, and Andrew Morris. "A bioethicist and a professor of medicine on regulating AI in health care." The Economist, 28 Feb. 2023, p. NA.

Bioetikas ir medicinos profesorius apie dirbtinio intelekto (AI) reguliavimą sveikatos priežiūros srityje

"DIRBTINIO INTELEKTO (AI) sensacija ChatGPT ir konkurentai, tokie, kaip BLOOM ir Stable Diffusion, yra dideli kalbų modeliai vartotojams. ChatGPT sukėlė ypatingą malonumą nuo tada, kai pirmą kartą pasirodė lapkritį. Tačiau labiau specializuotas AI jau plačiai naudojamas medicinos įstaigose, įskaitant radiologiją, kardiologiją ir oftalmologiją. Šiuo metu laukiama didelių pokyčių. Med-PaLM, sukurta Alphabet priklausančios dirbtinio intelekto įmonės DeepMind, yra dar vienas didelis kalbos modelis. Jo 540 mlrd. parametrai buvo parengti naudojant duomenų rinkinius, apimančius profesionalius medicininius patikrinimus, medicininius tyrimus ir vartotojų sveikatos priežiūros užklausas. Tokia technologija reiškia, kad mūsų visuomenė dabar turi apsvarstyti geriausius būdus, kaip gydytojai ir dirbtinis intelektas galėtų geriausiai dirbti kartu, ir kaip dėl to pasikeis medicinos vaidmenys.

 

     Sveikatos AI nauda gali būti didžiulė. Pavyzdžiai: tikslesnė diagnozė, naudojant vaizdo gavimo technologiją, automatizuota ankstyva ligų diagnostika, analizuojant sveikatos ir ne sveikatos duomenis (pvz., asmens paieškos internete istoriją ar telefono skambučių duomenis) ir nedelsiant kuriami paciento klinikiniai planai. AI galėtų atpiginti priežiūrą, nes suteikia galimybę naujais būdais įvertinti diabeto ar širdies ligų riziką, pavyzdžiui, nuskaityti tinklainę, o ne atlikti daugybę kraujo tyrimų. AI gali palengvinti kai kuriuos COVID-19 iššūkius. Tai apima sumažėjusį sveikatos paslaugų našumą ir testų bei priežiūros neatlikimus, be daugelio kitų problemų, kamuojančių sveikatos sistemas visame pasaulyje.

 

     Nepaisant visų pažadų dėl dirbtinio intelekto medicinoje, labai reikalingas aiškus režimas, reguliuojantis jį ir jo keliamus įsipareigojimus. Pacientai turi būti apsaugoti nuo neteisingų diagnozių, nepriimtino asmens duomenų naudojimo ir šališkų algoritmų rizikos. Jie taip pat turėtų pasiruošti galimam sveikatos priežiūros nuasmeninimui, jei mašinos nesugebės pasiūlyti tokios empatijos ir užuojautos, kokios yra geros medicinos praktikos pagrindas. Tuo pačiu metu reguliavimo institucijos visur susiduria su sudėtingomis problemomis. Teisės aktai turės žengti koja kojon su vykstančia technologijų raida, kas šiuo metu nevyksta. Taip pat reikės atsižvelgti į dinamišką algoritmų pobūdį, algoritmų, kurie, laikui bėgant, mokosi ir keičiasi. Kad padėtų, reguliavimo institucijos turėtų nepamiršti trijų principų: koordinavimo, prisitaikymo ir atskaitomybės.

 

     Pirma, norint užpildyti valdymo vakuumą, būtina skubiai koordinuoti žinias tarptautiniu mastu. Dirbtinio intelekto įrankiai bus naudojami vis daugiau šalių, todėl reguliavimo institucijos turėtų pradėti bendradarbiauti jau dabar. Pandemijos metu reguliuotojai įrodė, kad gali judėti kartu ir vienodai. Ši bendradarbiavimo forma turėtų tapti norma ir remtis esama pasauline architektūra, tokia, kaip Tarptautinė vaistų reguliavimo institucijų koalicija, kuri remia reguliuotojus, dirbančius mokslo klausimais.

 

     Antra, valdymo metodai turi būti pritaikomi. Išankstinio licencijavimo etape reguliavimo smėlio dėžės (kur įmonės tikrina produktus ar paslaugas, prižiūrimos reguliavimo institucijos) padėtų sukurti reikiamą judrumą. 

 

Jos gali būti naudojamos, siekiant nustatyti, ką galima ir reikia padaryti, pavyzdžiui, siekiant užtikrinti gaminio saugą. Tačiau įvairūs rūpesčiai, įskaitant netikrumą dėl įmonių, dalyvaujančių smėlio dėžėse, teisinės atsakomybės, reiškia, kad šis metodas nenaudojamas taip dažnai, kaip turėtų būti. Taigi, pirmas žingsnis būtų išsiaiškinti dalyvaujančių smėlio dėžėse teises ir pareigas. Siekiant užtikrinti, smėlio dėžės turėtų būti naudojamos kartu su „peržiūros“ rinkos leidimo procesu, kuris buvo pradėtas vakcinoms pandemijos metu. Tai apima perspektyvios terapijos įvertinimą per trumpiausią įmanomą laiką, peržiūrint duomenų paketus laipsniškai.

 

     AI sistemų veikimas taip pat turėtų būti nuolat vertinamas po to, kai produktas patenka į rinką. Tai neleistų sveikatos priežiūros paslaugoms patekti į ydingus modelius ir nesąžiningus rezultatus, dėl kurių tam tikros žmonių grupės atsiduria nepalankioje padėtyje. Amerikos maisto ir vaistų administracija (FDA) pradėjo, parengdama konkrečias taisykles, kuriose atsižvelgiama į algoritmų galimybes išmokti juos patvirtinus. Tai leistų dirbtinio intelekto produktus, laikui bėgant, automatiškai atnaujinti, jei gamintojai pateiktų gerai suprantamą protokolą, kaip gali keistis produkto algoritmas, ir tada išbandytų tuos pakeitimus, kad užtikrintų, jog gaminys išlaiko didelį saugos ir efektyvumo lygį. Tai užtikrintų skaidrumą vartotojams ir patobulintų realaus pasaulio našumo stebėjimo bandomuosius projektus.

 

     Trečia, technologijų tiekėjų ir sveikatos priežiūros sistemų bendradarbiavimui reikalingi nauji verslo ir investavimo modeliai. Pirmieji nori kurti produktus, antrieji tvarko ir analizuoja didelės raiškos duomenų rinkinius. Partnerystės yra neišvengiamos ir buvo išbandytos praeityje, su kai kuriomis reikšmingomis nesėkmėmis. IBM Watson, kompiuterinės sistemos paleidimas  su didžiule fanfara, kaip „mėnulio šūvis“, padedant pagerinti medicininę priežiūrą ir padėti gydytojams nustatyti tikslesnes diagnozes, atėjo ir praėjo. Daugybė kliūčių, įskaitant nesugebėjimą integruotis su elektroniniais sveikatos įrašų duomenimis, prastą klinikinį naudingumą ir gydytojų bei technologų lūkesčių nesutapimą, buvo mirtini. „DeepMind“ ir „Royal Free Hospital“ Londone partnerystė sukėlė ginčų. Bendrovė be pacientų žinios gavo prieigą prie 1,6 mln. NHS pacientų įrašų ir byla atsidūrė teisme.

 

     Iš šių pavyzdžių sužinojome, kad tokių partnerysčių sėkmė priklausys nuo aiškių įsipareigojimų siekti skaidrumo ir viešosios atskaitomybės. Tam reikės ne tik aiškumo, ką vartotojai ir įmonės gali pasiekti skirtingais verslo modeliais, bet ir nuolatinio bendravimo su gydytojais, pacientais, ligoninėmis ir daugeliu kitų grupių. Reguliavimo institucijos turi būti atviros dėl sandorių, kuriuos technologijų įmonės sudarys su sveikatos priežiūros sistemomis, ir apie tai, kaip bus dalijamasi nauda ir atsakomybe. Triukas bus suderinti visų dalyvaujančių paskatas.

 

     Geras dirbtinio intelekto valdymas turėtų sustiprinti verslo ir klientų apsaugą, tačiau tam reikės lankstumo ir judrumo. Prireikė dešimtmečių, kad supratimas apie klimato kaitą virstų realiais veiksmais, o mes vis dar nedarome pakankamai. Atsižvelgdami į inovacijų tempą, negalime sau leisti sutikti su panašiu pėsčiųjų tempu, naudojant AI.

 

     Effy Vayena yra Šveicarijos universiteto ETH Ciuricho Sveikatos etikos ir politikos laboratorijos profesorė. Andrew Morrisas yra „Health Data Research UK“, mokslinio instituto, direktorius.“ [1]

 

1. Vayena, Effy, and Andrew Morris. "A bioethicist and a professor of medicine on regulating AI in health care." The Economist, 28 Feb. 2023, p. NA.

Places with high religious participation have fewer deaths of despair.

"In 2015 Anne Case and Angus Deaton published a landmark paper on death rates in America.

The economists found that mortality had been rising among middle-aged whites, thanks to a surge in drug overdoses, alcohol-related illness and suicides?causes they deemed "deaths of despair".

Other scholars have asked whether this category is useful. One study by Congressional researchers in 2019 found that 70% of the rise in deaths-of-despair rates came from drugs alone. It also showed that the rise in mortality did not coincide with increasing economic malaise or self-reported unhappiness. Were these untimely deaths really evidence of anguish, or merely the result of a raging opioid epidemic?

A new paper by Tyler Giles of Wellesley, Daniel Hungerman of Notre Dame and Tamar Oostrom of Ohio State bolsters the case that deaths of despair stem in part from weakening social ties. It shows that mortality from these causes among middle-aged whites stopped falling around 1990?well before the rise in opioid use.

What changed at that time? The authors studied attendance at religious services. They found that states with more participation had fewer deaths of despair, and that the faster religious attendance fell in a state, the more such deaths rose. A paper in jama in 2020 also showed that of 110,000 health workers, those who went to services were less likely to die from these causes.

This pattern does not prove that religious participation wards off deaths of despair. But the authors tried to isolate the impact of religion by studying blue laws, which banned commerce on Sundays to encourage churchgoing. Whenever a state repealed a blue law, religious attendance tended to plummet, creating a natural experiment. And sure enough, deaths of despair rose unusually quickly in the few years following these repeals. Although legalising alcohol sales on Sundays may account for some of this trend, the biggest increase in mortality came from suicides.

Strikingly, the study found that private prayer was not linked to lower deaths of despair. This suggests that the risk reduction stems not from belief, but rather from the interpersonal connections that organised religion provides. Although secular groups like charities or labour unions also produce such "social capital", the jama authors say that faith-based networks provide unusually potent protection.

Chart source: "Opiates of the masses? Deaths of despair and the decline of American religion", by T. Giles, D.M. Hungerman and T. Oostrom, NBER, 2023, working paper.” [1]

·  ·  · 1.  "Places with high religious participation have fewer deaths of despair." The Economist, 27 Feb. 2023, p. NA.

Kareivis Šveikas apsidžiaugtų, matydamas, kaip baigia supūti austrų imperijos likučiai Lvove: Ukraina suprato, kad paspartinti mobilizaciją nėra taip paprasta

"RUSLANAS KUBAY'us nustebo sausio pabaigoje gavęs šaukimą. Nuo vaikystės registruotas, kaip sunkus neįgalus. Ponui Kubay trūksta abiejų rankų. Jis patenka į automatinių atleidimo nuo tarnybos sąrašą. Tačiau dar labiau nustebino pareigūnų reakcija vietinėje mobilizacijos įstaigoje Drohobyche, netoli Lvovo. Jie toli gražu nepripažino savo klaidos, bet padvigubino ir paskelbė, kad jis tinkamas tarnybai. Tik įrašas socialinėje žiniasklaidoje ir vėliau kilęs nacionalinis skandalas panaikino sprendimą.

 

     J. Kubay atvejis buvo ekstremalus, bet toli gražu ne pavienis incidentas. Per pirmuosius du šių metų mėnesius Ukraina akivaizdžiai sustiprino mobilizavimo veiklą.

 

     Buvo pranešimų apie šaukimus, paskelbtus (o kartais ir žiauriai vykdomus) karinėse laidotuvėse Lvove, Charkovo patikros postuose, Kijevo prekybos centruose ir Odesos gatvių kampuose. Nepaisant pirmojo tinkamo žiemos sniego, populiarūs slidinėjimo kurortai yra apleisti: karinių pareigūnų, šnipinėjančių šlaituose, filmuotos medžiagos pakako, kad minios nutoltų. Kiekviename šalies kaime ir mieste socialinės žiniasklaidos kanalai dalijasi informacija apie tai, kur gali slypėti mobilizacijos pareigūnai.

 

     Mobilizacija vyksta nuo pat įvykių pradžios. Priešingai, nei Rusijoje, šis procesas nėra paslėptas: vasarį prezidentas Volodymyras Zelenskis šeštą kartą pratęsė karo padėties ir visuotinės mobilizacijos įstatymus. Tačiau nuo gruodžio mėnesio įvyko didelių pokyčių. Anksčiau kvietimus galėjo skelbti tik Ukrainos projekto komisijos nariai ir tik namų adresais. Dabar platesnė pareigūnų grupė gali išduoti dviejų dalių dokumentą be geografinių apribojimų. Kitas skirtumas – kas šaukiamas. Pirmojoje bangoje dauguma pašauktų buvo savanoriškai; eilės prie šaukimo biurų buvo dažnas vaizdas. 

 

Dabar pareigūnai verbuoja iš daug mažiau entuziastingos minios.

 

     Gruodžio mėn. aukščiausias Ukrainos karys Valerijus Zalužnys „The Economist“ sakė, kad masinės mobilizacijos iš karto nereikia; pagrindinės jo problemos buvo šarvai ir amunicija. Šaltiniai generaliniame štabe tvirtina, kad taip yra ir toliau. Be to, yra natūralios ribos, kiek karių Ukraina gali sugerti, sako atsargos pulkininkas Viktoras Kevliukas. „Negalite mobilizuoti 6 000, jei jūsų treniruočių lauke gali tilpti tik 3 000“, - sako jis.

 

     Tačiau jėgų santykis, kuris kadaise buvo palankus Ukrainai, nuo to laiko pakrypo atgal į Rusiją, kuri nuo rugsėjo mėn. įsakymo vykdyti dalinę mobilizaciją sutelkė mažiausiai 250 000 vyrų. Tuo tarpu Ukrainos karinė vadovybė buvo įpareigota sukurti rezervą prieš numatomą atsakomąjį puolimą. Atkeliauja nauja vakarietiška aparatinė įranga, kurią reikia valdyti.

 

     Didelio mirtingumo rodikliai artimo kontakto kovose rytiniame fronte aplink siaubingą Bakhmuto miestą turi būti subalansuoti naujais žmonėmis.

 

     Ne visi, kurie gauna šaukimus, iš tikrųjų yra įtraukti; kartais pranešimai yra tiesiog būdas įtraukti kiekvieną potencialų mirtininką į knygas. Net ir tiems, kurie jį gauna, yra būdų, kaip jį apeiti. Egzistuoja teisinės išimtys, taikomos šaukiamojo arba išlaikytinio ligai ir negaliai. Vieniši tėvai ir tėčiai, auginantys tris ar daugiau vaikų, taip pat yra nuo kabliuko. Studentai gali atidėti tarnybą. Tam tikros profesijos taip pat gauna tai, kas vietiniu mastu vadinama bronu arba apsauga nuo šaukimo.

 

     Vyriausybė išplėtė tai pagrindiniams energetikos, transporto ir žemės ūkio sektorių darbuotojams. Daugelis IT darbuotojų turi šešių mėnesių išimtis. Alexas, IT profesionalas, tvarkantis savo įmonės ryšius su vyriausybe, sako, kad valstybė supranta, koks gyvybiškai svarbus jo sektorius tapo karinėms pastangoms. "Tai viena iš vienintelių ekonomikos sričių, vis dar generuojančių kietą valiutą. Daugelis iš mūsų taip pat pro bono dirbame su kariniais AI, stebėjimo, kovos su šnipinėjimu ir kitų įslaptintų technologijų projektais."

 

     Tokioje šalyje kaip Ukraina neišvengiamai yra ir neteisėtų būdų išvengti šaukimo. „Tai gamtos dialektika," – sako pulkininkas Kevliukas, kariuomenės generaliniame štabe dirbęs iki 2021 m.. – Kur tik yra paklausa, visada rasi, kas ją aprūpins.

 

     Kai kurie rengia fiktyvias santuokas su trijų ar daugiau vaikų motinomis. Kiti verčia korumpuotus karo gydytojus išduoti medicininę išimtį. Už kelis tūkstančius dolerių galima sumokėti už kontrabandą per sieną.

 

     Tačiau apetitas rizikuoti mažėja po daugybės gerai paskelbtų baudžiamųjų persekiojimų dėl vengimo.

 

     Vyriausybės pareigūnai teigia, kad bet kokie ekscesai yra sprendžiami, jiems išaiškėjus. Tačiau kariuomenei pasiekus proveržį mūšio lauke prieš vasarą, mažiau motyvuotų ukrainiečių verbavimas tikrai bus paspartintas ir skandalai, tikriausiai, išliks. Ginkluotosios pajėgos gali reaguoti į teisinius iššūkius, sustiprindamos savo biurokratiją, tačiau yra ir kitų būdų, kaip juos spręsti. Informuoti šaltiniai teigia, kad pašaukti mažiausiai du teisininkai, kurie užginčydavo šaukimus." [1]

·  ·  · 1. "Ukraine finds stepping up mobilisation is not so easy." The Economist, 26 Feb. 2023, p. NA.