„Google“ dirbtinis intelektas veikia geriau, nei gydytojai žmonės ir leidžia geriau diagnozuoti

„Mokslininkai teigia, kad jų dirbtinio intelekto sistema galėtų padėti demokratizuoti mediciną

 

Dirbtinio intelekto (AI) sistema, išmokyta atlikti medicininius pokalbius, atitiko ar net pranoko žmonių gydytojų gebėjimus kalbėtis su modeliuojamais pacientais ir išvardyti galimas diagnozes pagal pacientų ligos istoriją1.

 

Pokalbių robotas, pagrįstas „Google“ sukurtu didelės kalbos modeliu (LLM), diagnozuodamas kvėpavimo ir širdies ir kraujagyslių ligas, be kita ko, buvo tikslesnis, nei sertifikuoti pirminės sveikatos priežiūros gydytojai. Palyginti su žmonių gydytojais, per medicininius pokalbius pavyko gauti panašų informacijos kiekį ir užėmė aukštesnę vietą pagal empatiją.

 

„Mūsų žiniomis, tai pirmas kartas, kai pokalbio AI sistema buvo sukurta optimaliai diagnostiniam dialogui ir klinikinei istorijai kaupti“, – sako Alanas Karthikesalingamas, klinikinių tyrimų mokslininkas iš „Google Health“ Londone ir bendraautorius tyrime, kuris sausio 11 d. buvo paskelbtas arXiv išankstinio spausdinimo saugykloje. Ji dar nebuvo recenzuotas.

 

Pavadintas „Articulate Medical Intelligence Explorer“ (AMIE), pokalbių robotas vis dar yra tik eksperimentinis. Jis nebuvo išbandytas su žmonėmis, turinčiais realių sveikatos problemų – tik su aktoriais, apmokytais vaizduoti žmones, turinčius sveikatos problemų. „Norime, kad rezultatai būtų interpretuojami atsargiai ir nuolankiai“, – sako Karthikesalingamas.

 

Nors pokalbių robotas toli gražu nenaudojamas klinikinėje priežiūroje, autoriai teigia, kad galiausiai jis galėtų prisidėti prie sveikatos priežiūros demokratizavimo. Priemonė gali būti naudinga, tačiau ji neturėtų pakeisti bendravimo su gydytojais, sako Adamas Rodmanas, vidaus ligų gydytojas iš Harvardo medicinos mokyklos Bostone, Masačusetso valstijoje. „Medicina yra kur kas daugiau, nei informacijos rinkimas – viskas joje yra apie žmonių santykius“, – sako jis.

 

Mokymasis subtilios užduoties

 

Kelios pastangos panaudoti LLM medicinoje ištyrė, ar sistemos gali imituoti gydytojo gebėjimą surinkti asmens ligos istoriją ir panaudoti ją diagnozei nustatyti. Medicinos studentai praleidžia daug laiko treniruodamiesi, kad tai padarytų, sako Rodmanas. „Tai vienas iš svarbiausių ir sunkiausių įgūdžių, kuriuos reikia ugdyti gydytojams."

 

Vienas iš iššūkių, su kuriais susiduria kūrėjai, buvo realaus pasaulio medicininių pokalbių, kuriuos būtų galima naudoti, kaip mokymo duomenis, trūkumas, sako Vivekas Natarajanas, dirbtinio intelekto tyrinėtojas iš Google Health Mountain View mieste, Kalifornijoje, ir tyrimo bendraautorius. Norėdami išspręsti šį iššūkį, tyrėjai sukūrė būdą, kaip pokalbių robotas galėtų treniruotis savo „pokalbiuose“.

 

Tyrėjai atliko pradinį pagrindinio LLM koregavimo etapą su esamais realaus pasaulio duomenų rinkiniais, tokiais. kaip elektroniniai sveikatos įrašai ir perrašyti medicininiai pokalbiai. Norėdami toliau mokyti modelį, mokslininkai paskatino LLM atlikti tam tikros būklės asmens ir empatiško gydytojo vaidmenis, siekiant suprasti asmens istoriją ir nustatyti galimas diagnozes.

 

Komanda taip pat paprašė modelio atlikti dar vieną vaidmenį: kritiko, kuris įvertina gydytojo sąveiką su gydomu asmeniu ir pateikia grįžtamąjį ryšį, kaip tą sąveiką pagerinti. Ši kritika naudojama toliau mokyti LLM ir kurti geresnius dialogus.

 

Norėdami išbandyti sistemą, mokslininkai įdarbino 20 žmonių, kurie buvo išmokyti apsimesti pacientais, ir privertė juos konsultuotis internetu – tiek su AMIE, tiek su 20 sertifikuotų gydytojų. Jiems nebuvo pasakyta, ar jie kalbasi su žmogumi, ar su botu.

 

Aktoriai imitavo 149 klinikinius scenarijus ir buvo paprašyti įvertinti jų patirtį. Specialistų grupė taip pat įvertino AMIE ir gydytojų veiklą.

 

AMIE išlaiko testą

 

AI sistema atitiko arba pranoko gydytojų diagnostinį tikslumą visose šešiose nagrinėjamose medicinos specialybėse. Botas pranoko gydytojus 24 iš 26 pokalbio kokybės kriterijų, įskaitant mandagumą, būklės ir gydymo paaiškinimą, sąžiningumą ir rūpestingumo bei įsipareigojimo išreiškimą.

 

„Tai jokiu būdu nereiškia, kad kalbos modelis yra geresnis už gydytojų klinikinę istoriją“, – sako Karthikesalingamas. Jis pažymi, kad tyrime dalyvavę pirminės sveikatos priežiūros gydytojai, tikriausiai, nebuvo įpratę bendrauti su pacientais per tekstinį pokalbį, ir tai galėjo turėti įtakos jų veiklai.

 

Priešingai, LLM turi nesąžiningą pranašumą, nes gali greitai sudaryti ilgus ir gražiai susistemintus atsakymus, teigia Karthikesalingam, leidžiantį būti nuosekliai dėmesingam ir nepavargstant.

 

Ieškomas: nešališkas pokalbių robotas

 

Pasak jo, svarbus tolesnis tyrimo žingsnis yra atlikti išsamesnius tyrimus, siekiant įvertinti galimą šališkumą ir užtikrinti, kad sistema būtų teisinga įvairiose populiacijose. „Google“ komanda taip pat pradeda nagrinėti etikos reikalavimus, keliamus sistemos testavimui su žmonėmis, turinčiais realių medicininių problemų.

 

Danielis Tingas, Singapūro Duke-NUS medicinos mokyklos AI mokslininkas, sutinka, kad sistemos tyrimas šališkumo klausimu yra būtinas, norint užtikrinti, kad algoritmas nenubaustų rasinių grupių, kurios nėra tinkamai pateiktos mokymo duomenų rinkiniuose.

 

„Chatbot“ naudotojų privatumas taip pat yra svarbus aspektas, į kurį reikia atsižvelgti, sako Tingas. „Daugelyje šių komercinių didelių kalbų modelių platformų šiuo metu vis dar nesame tikri, kur saugomi duomenys ir kaip jie analizuojami“, – sako jis." [1]

1. Nature 625, 643-644 (2024). By Mariana Lenharo

Google AI has better bedside manner than human doctors — and makes better diagnoses

 

"Researchers say their artificial-intelligence system could help to democratize medicine.

An artificial intelligence (AI) system trained to conduct medical interviews matched, or even surpassed, human doctors’ performance at conversing with simulated patients and listing possible diagnoses on the basis of the patients’ medical history1.

The chatbot, which is based on a large language model (LLM) developed by Google, was more accurate than board-certified primary-care physicians in diagnosing respiratory and cardiovascular conditions, among others. Compared with human doctors, it managed to acquire a similar amount of information during medical interviews and ranked higher on empathy.

“To our knowledge, this is the first time that a conversational AI system has ever been designed optimally for diagnostic dialogue and taking the clinical history,” says Alan Karthikesalingam, a clinical research scientist at Google Health in London and a co-author of the study1, which was published on 11 January in the arXiv preprint repository. It has not yet been peer reviewed.

Dubbed Articulate Medical Intelligence Explorer (AMIE), the chatbot is still purely experimental. It hasn’t been tested on people with real health problems — only on actors trained to portray people with medical conditions. “We want the results to be interpreted with caution and humility,” says Karthikesalingam.

Even though the chatbot is far from use in clinical care, the authors argue that it could eventually play a part in democratizing health care. The tool could be helpful, but it shouldn’t replace interactions with physicians, says Adam Rodman, an internal medicine physician at Harvard Medical School in Boston, Massachusetts. “Medicine is just so much more than collecting information — it’s all about human relationships,” he says.

Learning a delicate task

Few efforts to harness LLMs for medicine have explored whether the systems can emulate a physician’s ability to take a person’s medical history and use it to arrive at a diagnosis. Medical students spend a lot of time training to do just that, says Rodman. “It’s one of the most important and difficult skills to inculcate in physicians.”

One challenge facing the developers was a shortage of real-world medical conversations available to use as training data, says Vivek Natarajan, an AI research scientist at Google Health in Mountain View, California, and a co-author of the study. To address that challenge, the researchers devised a way for the chatbot to train on its own ‘conversations’.

The researchers did an initial round of fine-tuning the base LLM with existing real-world data sets, such as electronic health records and transcribed medical conversations. To train the model further, the researchers prompted the LLM to play the part of a person with a specific condition, and that of an empathetic clinician aiming to understand the person’s history and devise potential diagnoses.

The team also asked the model to play one more part: that of a critic who evaluates the doctor’s interaction with the person being treated and provides feedback on how to improve that interaction. That critique is used to further train the LLM and generate improved dialogues.

To test the system, researchers enlisted 20 people who had been trained to impersonate patients, and got them to have online text-based consultations — both with AMIE and with 20 board-certified clinicians. They were not told whether they were chatting with a human or a bot.

The actors simulated 149 clinical scenarios and were then asked to evaluate their experience. A pool of specialists also rated the performance of AMIE and that of the physicians.

AMIE aces the test

The AI system matched or surpassed the physicians’ diagnostic accuracy in all six medical specialties considered. The bot outperformed physicians in 24 of 26 criteria for conversation quality, including politeness, explaining the condition and treatment, coming across as honest, and expressing care and commitment.

“This in no way means that a language model is better than doctors in taking clinical history,” says Karthikesalingam. He notes that the primary-care physicians in the study were probably not used to interacting with patients through a text-based chat, and this might have affected their performance.

By contrast, an LLM has the unfair advantage of being able to quickly compose long and beautifully structured answers, Karthikesalingam says, allowing it to be consistently considerate without getting tired.

Wanted: unbiased chatbot

An important next step for the research, he says, is to conduct more-detailed studies to evaluate potential biases and ensure that the system is fair across different populations. The Google team is also starting to look into the ethical requirements for testing the system with humans who have real medical problems.

Daniel Ting, a clinician AI scientist at Duke–NUS Medical School in Singapore, agrees that probing the system for biases is essential to making sure that the algorithm doesn’t penalize racial groups that are not well represented in the training data sets.

Chatbot users’ privacy is also an important aspect to be considered, Ting says. “For a lot of these commercial large language model platforms right now, we are still unsure where the data is being stored and how it is being analysed,” he says." [1]

1. Nature 625, 643-644 (2024). By Mariana Lenharo

The British and the French Tried to Escalate. They Reached It: Russia to Hold Drills on Tactical Nuclear Weapons in New Tensions With West

  "Russian officials claimed the order was in response to comments from the West about the possibility of more direct Western involvement in the crisis in Ukraine.

    Russia said on Monday that it would hold military exercises with troops based near Ukraine to practice for the possible use of battlefield nuclear weapons, ratcheting up tensions with the West after two European leaders raised the prospect of more direct Western intervention in the conflict.

    Such weapons, often referred to as “tactical,” are designed for battlefield use and have smaller warheads than the “strategic” nuclear weapons meant to target cities. Russia’s Defense Ministry said that President Vladimir V. Putin had ordered an exercise for missile, aviation and naval personnel to “increase the readiness of nonstrategic nuclear forces to carry out combat missions.”

    Russian officials claimed the order was in response to comments from the West about the possibility of more direct Western involvement in the crisis in Ukraine. And it came at the start of a week of extensive publicity for the Russian leader, with his inauguration scheduled for Tuesday, followed on Thursday by the annual Victory Day celebration, which commemorates the Soviet defeat of Nazi Germany in 1945.

    The announcement of the exercise was Russia’s most explicit warning in its more than two-year crisis in Ukraine that it could use tactical nuclear weapons there.

    Western officials have long worried that Russia could deploy such weapons, especially if it faced serious setbacks on the battlefield. But Mr. Putin denied as recently as March that he had ever considered it, even as he regularly reminds the world of Russia’s vast nuclear arsenal as a way of keeping in check the West’s military support for Ukraine.

    The Defense Ministry said the exercise would be held “to unconditionally ensure the territorial integrity and sovereignty of the Russian state in response to provocative statements and threats of individual Western officials against the Russian Federation.”

    The exercise, the Defense Ministry said, would involve forces of the Southern Military District, an area that covers Ukraine and part of Russia’s border region with Ukraine. It said the exercise would take place “in the near future.”

    Dmitri S. Peskov, the Kremlin’s spokesman, said the Western “threats” in question included a recent interview with President Emmanuel Macron of France published by The Economist, in which the French leader repeated his refusal to rule out sending ground troops to Ukraine.

    Mr. Peskov also alluded to a comment made last week by David Cameron, Britain’s top diplomat, in which he said that Ukraine was free to use British weapons to strike inside Russia — a departure from Western governments’ typical policy of discouraging such strikes in order to avoid being drawn deeper into the conflict.

    “This is a completely new round of escalation of tensions — it is unprecedented,” Mr. Peskov told reporters on Monday. “And, of course, it requires special attention and special measures.”

    Pavel Podvig, a scholar on Russian nuclear forces, said in an interview that Russia had conducted such exercises before, though it rarely made them public. This time, however, the aim is to send a loud message, he said.

    “This is a reaction to specific statements, a signal saying that Russia has nuclear weapons,” Mr. Podvig said in a phone interview.

    Unlike strategic nuclear weapons, which are always in a state of combat readiness, nonstrategic ones are stored in warehouses away from the bombers, missiles, or ships that are supposed to deliver them, Mr. Podvig said. During the exercise, Russian army formations are likely to practice how they could be deployed, he said.

    Mr. Putin has not made any public comments about the drills. On Tuesday, he is scheduled to be inaugurated to his fifth term as president.” [1]

1. Russia to Hold Drills on Tactical Nuclear Weapons in New Tensions With West. Troianovski, Anton.  New York Times (Online) New York Times Company. May 6, 2024.

Britai ir prancūzai pabandė eskaluoti. Jiems tai pavyko: Rusija surengs taktinio branduolinio ginklo pratybas, kilus naujai įtampai su Vakarais

   „Rusijos pareigūnai tvirtino, kad įsakymas buvo atsakas į Vakarų komentarus apie galimybę labiau tiesiogiai įsitraukti į Ukrainos krizę.

 

     Rusija pirmadienį pareiškė, kad surengs karines pratybas su kariais, dislokuotais netoli Ukrainos, kad galėtų treniruotis dėl galimo mūšio lauko branduolinių ginklų panaudojimo, taip padidindama įtampą su Vakarais po to, kai du Europos lyderiai iškėlė tiesioginės Vakarų intervencijos į konfliktą perspektyvą.

 

     Tokie ginklai, dažnai vadinami „taktiniais“, yra skirti naudoti mūšio lauke ir turi mažesnes kovines galvutes nei „strateginiai“ branduoliniai ginklai, skirti nukreipti į miestus. Rusijos gynybos ministerija pranešė, kad prezidentas Vladimiras V. Putinas įsakė surengti pratybas raketų, aviacijos ir karinio jūrų laivyno personalui, kad „padidintų nestrateginių branduolinių pajėgų pasirengimą vykdyti kovines misijas“.

 

     Rusijos pareigūnai tvirtino, kad įsakymas buvo atsakas į Vakarų komentarus apie galimybę labiau tiesiogiai įsitraukti į Ukrainos krizę. Ir tai įvyko prasidėjus savaitei, kai Rusijos lyderis buvo plačiai viešinamas – antradienį numatyta jo inauguracija, o ketvirtadienį – kasmetinė Pergalės dienos šventė, skirta 1945 m. sovietų laimėjimui prieš nacistinę Vokietiją paminėti.

 

     Pranešimas apie pratybas buvo aiškiausias Rusijos įspėjimas per daugiau, nei dvejus metus trukusią krizę Ukrainoje, kad Rusija ten gali panaudoti taktinius branduolinius ginklus.

 

     Vakarų pareigūnai jau seniai nerimauja, kad Rusija gali dislokuoti tokius ginklus, ypač jei mūšio lauke ji patirtų rimtų nesėkmių. Tačiau V. Putinas dar kovo mėnesį neigė, kad kada nors apie tai svarstė, nors nuolat primena pasauliui apie didžiulį Rusijos branduolinį arsenalą, kaip būdą suvaldyti Vakarų karinę paramą Ukrainai.

 

     Gynybos ministerija nurodė, kad pratybos bus surengtos „siekiant besąlygiškai užtikrinti Rusijos valstybės teritorinį vientisumą ir suverenitetą, reaguojant į provokuojančius pavienių Vakarų pareigūnų pareiškimus ir grasinimus Rusijos Federacijai“.

 

     Pratybose, nurodė Gynybos ministerija, dalyvaus Pietų karinės apygardos pajėgos – teritorija, apimanti Ukrainą ir dalį Rusijos pasienio regiono su Ukraina. Jame teigiama, kad pratybos vyks „artimiausiu metu“.

 

     Kremliaus atstovas Dmitrijus S. Peskovas sakė, kad tarp minėtų Vakarų „grėsmių“ yra neseniai laikraštyje „The Economist“ paskelbtas interviu su Prancūzijos prezidentu Emmanueliu Macronu, kuriame Prancūzijos vadovas pakartojo savo atsisakymą atmesti galimybę siųsti sausumos karius į Ukrainą.

 

     P. Peskovas taip pat užsiminė apie praėjusią savaitę aukščiausiojo Didžiosios Britanijos diplomato Davido Camerono komentarą, kuriame jis teigė, kad Ukraina gali laisvai panaudoti britų ginklus, kad smogtų Rusijos viduje, o tai nukrypsta nuo tipinės Vakarų vyriausybių politikos atgrasyti nuo tokių smūgių. kad neįsitrauktų į konfliktą giliau.

 

     „Tai visiškai naujas įtampos eskalavimo etapas – tai precedento neturinti“, – pirmadienį žurnalistams sakė P. Peskovas. "Ir, žinoma, tam reikia ypatingo dėmesio ir specialių priemonių."

 

     Rusijos branduolinių pajėgų tyrinėtojas Pavelas Podvigas viename interviu sakė, kad Rusija tokias pratybas rengė ir anksčiau, nors retai jas skelbdavo viešai. Tačiau šį kartą siekiama pasiųsti garsią žinią, – sakė jis.

 

     „Tai reakcija į konkrečius pareiškimus, signalas, kad Rusija turi branduolinių ginklų“, – interviu telefonu sakė P. Podvigas.

 

     Skirtingai nuo strateginių branduolinių ginklų, kurie visada yra kovinės parengties būsenoje, nestrateginiai ginklai yra laikomi sandėliuose toli nuo bombonešių, raketų ar laivų, kurie turėtų juos pristatyti, sakė J. Podvigas. Pasak jo, per pratybas Rusijos kariuomenės junginiai, greičiausiai, treniruosis, kaip juos būtų galima dislokuoti.

 

     V. Putinas viešai nekomentavo pratybų. Antradienį jis turėtų būti inauguruotas penktajai prezidento kadencijai." [1]

 

1. Russia to Hold Drills on Tactical Nuclear Weapons in New Tensions With West. Troianovski, Anton.  New York Times (Online) New York Times Company. May 6, 2024.