Simine Vazire tikisi išspręsti psichologijos patikimumo krizę

   "LENGVA būti skeptiškam dėl elgsenos mokslo padėties. Didžiausia šios srities istorija 2023 m. buvo susijusi su dviem dažnai bendradarbiaujančiais – Danu Ariely iš Duke Fuqua verslo mokyklos ir Francesca Gino iš Harvardo verslo mokyklos. Abiem gresia kaltinimai dėl netinkamo tyrimo atlikimo. 

 

     Abu mokėsi, kaip kovoti su nesąžiningumu. Ironiška, bet jie buvo apkaltinti savo duomenų klastojimu. Harvardas išleido daktarę Gino atostogų ir bando atšaukti jos akademinę kadenciją. Ji padavė ieškinį jos kaltintojams ir universitetui. Abu mokslininkai kaltinimus neigia. (Nė vienas neatsakė į prašymus komentuoti.)

 

     Tai buvo dar viena gėda sričiai, kuri daugelį metų buvo įklimpusi į „replikacijos krizę“, kai tyrėjai nesugebėjo atkurti virtinės tariamai tvirtų, antraštes užvaldančių išvadų, tokių, kaip galios pozavimas (idėja, kad ryžtingos pozos gali pagerinti derybų ar viešo kalbėjimo rezultatus) ir socialinį paruošimą (tai reiškia, kad mažų dirgiklių poveikis gali žymiai pakeisti vėlesnį žmonių elgesį).

 

     Judėjimas, kuriuo bandoma taisyti, prasidėjo daugiau, nei prieš dešimtmetį. Dabar vienas iš pirmaujančių šviesulių pakilo į vieną iš galingiausių lauko pozicijų. Sausio 1 d. Simine Vazire pradėjo eiti prestižiškiausio šios disciplinos žurnalo „Psychological Science“ vyriausiojos redaktorės pareigas (EIC).

 

     Dr Vazire yra Melburno universiteto psichologė, padedanti vadovauti tyrimų grupei, kurios pagrindinis dėmesys skiriamas metamokslui arba mokslo procesų tyrimui. Ji daugelį metų buvo judėjimo, skirto taisyti psichologijos mokslui, atrama. „Jos paskyrimas EIC reiškia, kad asmuo, kuris yra metodų reformos priešakyje, bus atsakingas už vieną iš svarbiausių mūsų institucijų“, – sako Yoelis Inbaras, Toronto universiteto psichologas ir žurnalo asocijuotasis redaktorius, padaręs daug darbo dėl metodinio nepatikimumo.

 

     Susirūpinimas dėl sukčiavimo patenka į didžiausias antraštes. Bet, tikriausiai, tai sudaro nedidelę problemos dalį. „Mano nuomone, didesnė problema yra visa suktybė, įskaitant statistinę praktiką... dėl šališkumo tyrėjų įsitikinimų naudai“, – sako Uli Schimmack iš Toronto-Misisaugos universiteto, kurio svetainė „Replicability-Index“ padėjo priversti psichologiją imtis veiksmų, nes jos metodai kelia rimtų problemų.

 

     Naujasis dr. Vazire postas leidžia jai susidoroti su tokia „abejotina tyrimų praktika“ (QRP). Nors detalės sudėtingos, pagrindinės idėjos paprastos. QRP dažnai yra susiję su vyšnių rinkimu: pakartotinai atliekami statistiniai testai, kol atsitiktinumas išmeta kažką pakankamai stipraus, kad būtų galima paskelbti; tyliai išmesti rezultatus, prieštaraujančius mėgstamoms tyrėjų hipotezėms, skelbiant tuos, kurie jas patvirtina, ir pan.

 

     Psichologai pradėjo rimčiau žiūrėti į QRP apie 2011 m. Tais metais buvo paskelbtas liūdnai pagarsėjęs dokumentas, kuriame pateikta ekstrasensorinio suvokimo įrodymų. Šiandien šis dokumentas vertinamas, kaip atvejo tyrimas, kaip QRP gali leisti tyrėjams „įrodyti“ beveik bet ką. Kitame maždaug tuo pačiu metu publikuotame ir šį kartą sąmoningai apgaulingame dokumente buvo naudojama plačiai pripažinta eksperimentinės psichologijos praktika, siekiant „įrodyti“ akivaizdžiai neįmanomą rezultatą, kad „The Beatles“ daina „Kai aš šešiasdešimt ketverių“ padarė klausytojus jaunesnius. Antrojo dokumento tyrėjai vėliau įkurs „Data Colada“ – svetainę, kuri išgarsėjo ir tiria galimai nekokybiškus tyrimus, įskaitant dr. Ariely ir dr. Gino atvejus.

 

     Reformatoriai pasisako už keletą atsakomųjų priemonių. Jei mokslininkai iš anksto užregistruos savo tyrimų planus, įskaitant tai, kurie kintamieji, jų manymu, kokiomis kryptimis judės, lieka mažiau vietos vyšnių skynimui.

 

     „Registruotos ataskaitos“ yra radikalesnė idėja, kai žurnalai priima straipsnius, prieš sužinant apie jų išvadas. Tai labiau pabrėžia stiprią metodiką ir padeda užtikrinti, kad neigiami rezultatai būtų paskelbti kartu su teigiamais.

 

     Debiutinis daktarės Vazire redakcinis leidinys pažadėjo pokyčius „Psychological Science“. „Pagal numatytuosius nustatymus dabar tikimės, kad visi pirminiai duomenys, originali tyrimų medžiaga ir analizės scenarijai bus viešai prieinami patikimoje trečiosios šalies saugykloje“, – rašė ji.

 

     Išankstinė registracija nebus reikalinga, tačiau tai padidins tikimybę, kad straipsnis bus priimtas. Autoriai, kurie nukrypsta nuo jų planų, turės paaiškinti, kodėl. 

 

(Daktarė Vazire neatsakė į prašymus duoti interviu.)

 

     Ji gali stumti atviras duris. Iš pradžių buvo pasipriešinta idėjai, kad yra problema, sako dr. Inbaras. „Manau, kad dalis to buvo jausmas, kad kai kritikuoji paskelbtus tyrimus arba kartoji tyrimus, renkiesi žmones, kurie paskelbė tuos straipsnius. Didžioji dalis agitacijos už reformą vyko tinklaraščiuose ir socialiniuose tinkluose, todėl senajai gvardijai buvo lengviau nekreipti dėmesio.

 

     Tačiau požiūris pasikeitė. „Prieš dešimt metų Simine buvo suvokiama, kaip radikali, pasisakanti už reformas, kad palengvinti tyrimų skaidrumą ir [patikimumą]“, – sako Brianas Nosekas iš Virdžinijos universiteto, 2016 m. kartu su ja įkūręs Psichologijos mokslo tobulinimo draugiją. „Ji nebelaikoma radikale. Bet ji nė kiek nepasikeitė.“ [1]

 

·  ·  · 1. "Simin Vazire hopes to fix psychology's credibility crisis." The Economist, 10 Jan. 2024, p. NA.

Simin Vazire hopes to fix psychology's credibility crisis

"IT IS EASY to be sceptical about the state of behavioural science. The biggest story in the field in 2023 involved two frequent collaborators, Dan Ariely of the Duke Fuqua School of Business and Francesca Gino at Harvard Business School. Both face charges of research misconduct .

Both have studied how to fight dishonesty. Ironically, they have been accused of fiddling their data. Harvard has put Dr Gino on leave and is trying to revoke her academic tenure. She has filed a lawsuit against her accusers and the university. Both scientists deny the allegations. (Neither responded to requests for comment.)

It was another embarrassment for a field that has been mired for years in a "replication crisis", in which researchers have proved unable to recreate a string of supposedly robust, headline-grabbing findings, such as power-posing (the idea that assertive poses can improve performance in negotiation or public speaking) and social priming (which holds that exposure to tiny stimuli can significantly change people's later behaviour).

A movement to try to fix things began more than a decade ago. Now, one of its leading lights has ascended to one of the most powerful positions in the field. On January 1st Simine Vazire took over as editor-in-chief of Psychological Science, the discipline's most prestigious journal.

Dr Vazire is a psychologist at the University of Melbourne who helps run a research group focused on metascience, or the study of science's processes. She has been a mainstay of the movement to fix psychological science for years. "Appointing her as EIC is putting someone who's at the forefront of methods reform in charge of one of our most important institutions," says Yoel Inbar, a psychologist at the University of Toronto, and an associate editor at the journal who has done a good deal of work on methodological wobbliness.

Worries about fraud make the biggest headlines. But it probably accounts for a small fraction of the problem. "The bigger issue in my opinion is all the spin, including statistical practices…that bias results in favour of researchers' beliefs," says Uli Schimmack of the University of Toronto-Mississauga, whose website, Replicability-Index, helped force psychology to take its methods problems seriously.

Dr Vazire's new perch makes her well-placed to crack down on such "questionable research practices" (QRPs). Although the details are complicated, the basic ideas are simple. QRPs are often about cherry-picking: re-running statistical tests until chance throws up something strong enough to publish; quietly binning results that contradict pet hypotheses while publishing those that support them, and so on.

Psychologists started taking QRPs more seriously around 2011. A now notorious paper published that year which appeared to present evidence for extrasensory perception. Today, the paper is viewed as a case study in how QRPs can allow researchers to "prove" just about anything. Another paper, published around the same time and this time deliberately impish, used widely accepted practices in experimental psychology to "prove" the obviously impossible result that the Beatles' song "When I'm Sixty-Four" made listeners younger. The researchers behind the second paper would later establish Data Colada, a website that has made a name for itself investigating potentially shoddy research, including in Dr Ariely and Dr Gino's cases.

Reformers argue for several countermeasures. Having scientists register their research plans in advance, including which variables they think will move in which directions, leaves less room for cherry-picking.

"Registered Reports" are a more radical idea, in which journals accept articles before their findings are known. That puts more emphasis on strong methodology, and helps ensure negative results are published alongside positive ones.

Dr Vazire's debut editorial promised changes along those lines at Psychological Science. "By default, we now expect all primary data, original research materials, and analysis scripts to be made publicly available in a trusted third-party repository," she wrote.

Pre-registration will not be required, but it will improve the chances of a paper being accepted. Authors who deviate from their stated plans will need to explain why. (Dr Vazire did not respond to requests for an interview.)

She may be pushing at an open door. At first there was resistance to the idea that there was a problem, says Dr Inbar. "I think part of it was a sense that when you criticise published research or you replicate studies, that you're picking on the people who published those papers." Much of the agitation for reform happened on blogs and social media, which made it easier for the old guard to dismiss.

But attitudes have been changing. "Ten years ago, Simine was perceived as a radical in her advocacy for reforms to increase transparency and [the] credibility of research," says Brian Nosek of the University of Virginia, who co-founded the Society for the Improvement of Psychological Science with her in 2016. "She is no longer seen as a radical. But she hasn't changed a bit."” [1]

·  ·  · 1. "Simin Vazire hopes to fix psychology's credibility crisis." The Economist, 10 Jan. 2024, p. NA.

Sugedę durų kamščiai atveria senas „Boeing“ žaizdas

  „NERVINGUS KELIAUTOJUS išlies šaltas prakaitas, matant nuotraukas, kuriose užfiksuota „Alaska Airlines“ lėktuvo „Boeing 737 MAX 9“ fiuzeliažas, išsprogdintas 15 000 pėdų (4 600 metrų) aukštyje po to, kai lėktuvas sausio 5 d. pakilo virš Oregono. investuotojai taip pat reaguos į „Boeing“ ir „Spirit AeroSystems“ akcijų kainas – 2005 m. lėktuvų gamintojo atskirtą įmonę, pagaminusią fiuzeliažą ir sugedusią dalį – kamštį lėktuvo korpuse, kur kai kurie didesni MAX modeliai turi avarinį išėjimą. Šių įmonių rinkos vertė po incidento smuko atitinkamai 8% ir 11%.

 

     Stebuklingai niekas nebuvo rimtai sužeistas; jei orlaivyje būtų greitai sumažintas slėgis didesniame aukštyje, rezultatas galėjo būti blogesnis. Tiksli gedimo priežastis lieka neaiški. Lapkričio 11 d. į Alaska Airlines pristatytas lėktuvas buvo visiškai naujas. Panašūs nenaudojami avariniai išėjimai buvo įrengti ankstesnėje 737 versijoje be problemų.

 

     Reguliavimo institucijos visame pasaulyje įžemino visą MAX 9 parką su tuo pačiu durų kamščiu, kol bus atliktas patikrinimas, siekiant užtikrinti jų tinkamumą skraidyti. Ankstyvieji požymiai rodo, kad „Spirit“ kilo vienkartinė gamybos problema, pažymėjo brokeris Bernsteinas. Tačiau sausio 8 d. „United Airlines“ pranešė, kad atlikus preliminarius tyrimus buvo nustatyti kiti lėktuvai su „montavimo problemomis“, susijusiais su durimis, pavyzdžiui, „varžtais, kuriuos reikia papildomai priveržti“.

 

     „Boeing“, jos oro linijų klientų ir jų keleivių laimei, pritvirtinti atsilaisvintą varžtą neturėtų būti per sunku. MAX 9, didesnė „Boeing“ trumpojo nuotolio darbinio arklio versija, sudaro šiek tiek daugiau, nei 15% visų eksploatuojamų 737 MAX ir dar mažesnę neįvykdytų užsakymų dalį. Tik keturi iš penkių esamo MAX 9 parko arba iš viso 171 orlaivis turi nepanaudotus išėjimus. Didesnė „Boeing“ problema yra ta, kad epizodas sustiprina įspūdį, kad jis pasimetė.

 

     Kadaise aukštai skridusio Amerikos aviacijos ir kosmoso čempiono nusileidimas prasidėjo 2018 m. spalį, kai Indonezijoje sudužo 737 MAX. Po penkių mėnesių tas pats modelis sudužo Etiopijoje. Abi nelaimės buvo susijusios su skrydžio valdymo programinės įrangos problemomis, todėl visas 737 MAX lėktuvų parkas buvo sustabdytas 20 mėnesių, kol programinė įranga buvo pataisyta. „Boeing“ sumokėjo apie 20 mlrd. dolerių baudų ir kompensacijų. 

 

Kritikai teigė, kad bendrovė per daug dėmesio skiria pinigų grąžinimui akcininkams, o nepakankamai inžinerijai. 

 

2020 m. pradžioje naujas generalinis direktorius, siekdamas išsaugoti „Boeing“ įvaizdį, Dave'as Calhounas pažadėjo grąžinti „Boeing“ prie techninio meistriškumo šaknų.

 

     Durų drama yra tik paskutinis ženklas, kad pono Calhouno užduotis lieka neužbaigta. Bendrovės tolimųjų reisų 787 Dreamliner pristatymai per pastaruosius kelerius metus buvo kelis kartus sustabdyti dėl kokybės kontrolės problemų. 2023 m. balandžio mėn. „Boeing“ pareiškė, kad turės pritvirtinti vertikalius stabilizatorius „Spirit“ gaminamuose ir sandėliuojamuose 737-uose. Nors tai nekėlė grėsmės saugai, defektas dar kartą pablogino „Boeing“ reputaciją. Kitas smūgis nuskambėjo rugpjūtį, kai bendrovė pasakė, kad reikės ištaisyti netinkamai išgręžtas skyles dalyje „Spirit“ surinktų 165 737 MAX slėginės kabinos. Gamybos problemų pašalinimas yra viena iš priežasčių, kodėl „Boeing“ 777X, kito tolimųjų reisų reaktyvinio lėktuvo, pristatymas prasidės tik 2025 m., šešeriais metais vėluojant nuo grafiko.

 

     Vien dėl 777 kartų vėlavimo bendrovė prarado mažiausiai 8 mlrd. dolerių papildomų išlaidų. Artimas pokalbis dėl Oregono dar padidins išlaidas, priversdamas ją patobulinti gamybos procesus. Nuo 2018 m. „Boeing“ negauna metinio pelno. Pagal trumpo nuotolio lėktuvų užsakymus ji atsilieka 4 800–7 300 nuo savo pagrindinės konkurentės Europoje „Airbus“. Jai sunku įdarbinti kvalifikuotus darbuotojus, kurie buvo atleisti per COVID-19 užliūlį, nes iki 2025–2026 m. bando padidinti 737 MAX gamybą nuo 38 per mėnesį iki 50, kad patenkintų didelę oro linijų, susiduriančių su padidėjusiu post-pandeminių keršto skrydžių kiekiu, paklausą.

 

     Kai kurių „Boeing“ bėdų J. Calhouno laikotarpiu jis negalėjo kontroliuoti. Netrukus po to, kai jis perėmė valdžią 2020 m. pradžioje, „Covid“ sutrukdė pramonę. Tiek „Boeing“, tiek „Airbus“ nuo tų metų kovo iki rudens prarado maždaug pusę savo rinkos vertės. Tačiau nors dabar „Airbus“ akcijomis prekiaujama aukščiausiai, o „Boeing“ kaina yra perpus mažesnė, nei buvo 2019 m. pradžioje. Jei amerikiečių lėktuvų gamintojas vėl pakils, ponui Calhounui reikės ne tik reaguoti į problemas, bet ir užkirsti kelią daugiau jų." [1]

 

·  ·  · 1. "Faulty door-plugs open old wounds at Boeing." The Economist, 9 Jan. 2024, p. NA.

Faulty door-plugs open old wounds at Boeing.

"NERVOUS TRAVELLERS will break out in a cold sweat seeing pictures of a gaping hole in the fuselage of an Alaska Airlines Boeing 737 MAX 9, blown out at 15,000 feet (4,600 metres) after the plane had taken off over Oregon on January 5th. Nervous investors will have the same reaction to share prices of Boeing and Spirit AeroSystems, a firm spun off by the planemaker in 2005 which manufactured the fuselage and the failed part, a plug in the airframe where some larger MAX models have an emergency exit. The two companies' market value plunged by 8% and 11%, respectively, following the incident.

Miraculously, no one was seriously injured; had the aircraft rapidly depressurised at a higher altitude the outcome could have been worse. The precise cause of the malfunction remains unclear. The plane, delivered to Alaska Airlines on November 11th, was brand new. Similar unused emergency exits have been installed on a previous version of the 737 without problems.

Regulators around the world have grounded the entire fleet of MAX 9s with the same door-plug, pending inspections to ensure their airworthiness. Early indications suggested a one-off manufacturing problem originating at Spirit, noted Bernstein, a broker. But on January 8th United Airlines said that preliminary examinations had identified other planes with "installation issues" connected with the door, such as "bolts that needed additional tightening".

Thankfully for Boeing, its airline customers and their passengers, fastening the loose bolt should not be too difficult. The MAX 9, a larger version of Boeing's short-haul workhorse, makes up just over 15% of all 737 MAXes in service, and an even smaller share of unfilled orders (see chart 1). Only four out of five of the existing MAX 9 fleet, or 171 aircraft in all, have the unused exits. The bigger problem for Boeing is that the episode reinforces the impression that it has lost its way.

The descent of America's once high-flying aerospace champion began in October 2018, when a 737 MAX crashed in Indonesia. Five months later the same model crashed in Ethiopia. Both disasters were linked to problems with flight-control software and led to the grounding of the entire 737 MAX fleet for 20 months while the software was fixed. Boeing paid around $20bn in fines and compensation. Critics alleged that the company was paying too much attention to returning money to shareholders and not enough to engineering. A new chief executive brought in at the start of 2020 to salvage Boeing's image, Dave Calhoun, promised to return Boeing to its roots of technical excellence.

The door drama is only the latest sign that Mr Calhoun's task remains incomplete. Deliveries of the company's long-haul 787 Dreamliner have been suspended several times in the past few years in light of quality-control problems. In April 2023 Boeing said it would have to fix the vertical stabilisers on 737s in production at Spirit and in storage. Although it was not a safety risk, the defect put another dent in Boeing's reputation. Another knock came in August, when the company said it would need to correct improperly drilled holes in part of the pressurised cabin of 165 737 MAXes assembled by Spirit. Ironing out manufacturing niggles is one reason that deliveries of Boeing's 777X, another long-haul jet, will begin only in 2025, six years behind schedule.

The 777x delay alone has set the company back at least $8bn in extra costs. The close call over Oregon will pile on more costs still, by forcing it to spruce up production processes. Boeing has not turned an annual profit since 2018. It lags behind its European arch-rival, Airbus, in orders for short-haul jets, by 4,800 to 7,300. It is struggling to rehire skilled workers laid off during the covid-19 lull as it tries to increase production of the 737 MAX from 38 a month to 50 by 2025-26, in order to meet strong demand from airlines dealing with a surge in post-pandemic revenge flying.

Some of Boeing's woes on Mr Calhoun's watch were beyond his control. Soon after he took over at the start of 2020 covid sent the industry into a tailspin. Both Boeing and Airbus lost roughly half of their market value between March and autumn of that year. But whereas Airbus shares now trade at an all-time high, Boeing's are worth half what they were at their peak in early 2019 (see chart 2). If the American planemaker is to soar again, Mr Calhoun will need not just to respond to problems but prevent any more of them.” [1]

·  ·  · 1. "Faulty door-plugs open old wounds at Boeing." The Economist, 9 Jan. 2024, p. NA.