Trusting Research

Kärleksfull forskning är en sak. Att lita på det är en annan.

Foto av Jonas Verstuyft på Unsplash

I flera år har jag letat efter rätt metafor för hur märkbart jag tror att jag är. Vad sägs om att betala 280 000 dollar för en högskoleutbildning och fyra års djup fördjupning i idévärlden, bara för att dyka upp och upptäcka att ingen av mina idéer är mina egna? Det är inte exakt en metafor, men någonstans finns det ett tysk bokstav med 14 bokstäver för att beskriva det exakta scenariot, jag är säker.

På college var det idéerna från västerländska kanontänkare som imponerade på mig, tillsammans med deras tolkningar av mina professorer. Varje ny idé verkade så uppenbar: naturligtvis bodde vi i Foucaults panoptikon, naturligtvis kunde allt spåras tillbaka till arbetsfördelningen à la Marx, och naturligtvis var västerländsk historia bara kristen historia (tack, glömd gradstudent). Vid någon tidpunkt absorberade jag den maximala "fråga allt, inklusive hur du lär dig att ifrågasätta", vilket verkligen gjorde ett nummer på mig. Med nya idéer som sades som sanningen ständigt kastas mot mig med direktivet att ifrågasätta dem, och ingen tid att lära sig ett strukturerat sätt hur, skulle något tvingas bryta. I slutet av college var det mitt förtroende för akademin.

Detta hade både goda och dåliga effekter. Jag tillbringade mer tid i människors värld istället för idéer, och träffade så några intressanta människor, insåg att jag behövde något att göra efter college och sedan hittade något att göra efter college. Jag fördjupade också vänskap och slutade några giftiga relationer. Alla bra saker. Men kostnaden var brant: Jag bebodde ett konstigt intellektuellt rum där jag lärde mig och höll fast vid nya idéer utan att tro på dem. Jag blev motsatsen till karikatyren på en kafé och hade nästan inga åsikter om stora frågor.

Det är en lång men nödvändig introduktion till dagens fråga: tillit till forskning. Nu, med viss förståelse för utrymmet som jag ockuperade under den omedelbara perioden efter högskolan, snabbt fram till 28 april 2014. Genom min tvivelaktiga ansträngning för att hålla mig à jour med Twittersphere kom jag över en artikel publicerad av Jerry Adler i Pacific Standard kallas "Reformationen: Kan socialvetare rädda sig?" Artikeln var min första introduktion till statistiska metoder inom forskning, och låt oss bara säga att den inte framställer dem i ett mycket gynnsamt ljus. Under 2011 kunde till exempel en psykolog med namnet Joseph Simmons "bevisa" att lyssna på Beatles låt "When I’m Sixty Four" gör dig yngre. Vilket är uppenbart löjligt. Adler skriver,

Mellan laboratoriet och den publicerade studien ligger ett gap som måste överbryggas av den mödosamma processen för dataanalys. Som Simmons och hans medförfattare visade är denna process en virtuell svart ruta som, som för närvarande är konstruerad, "tillåter att presentera allt lika viktigt." Och om du kan bevisa allt du vill från dina data, vad, om något, gör du verkligen känna till?

I mitt märkbara tillstånd slukade jag den här artikeln. Jag lärde mig inte bara om denna statistiska "svarta rutan" av dataanalys, utan också om p-hacking, priming, Retract Watch, reproducerbarhet och bristerna i peer review. Jag var dum. Vetenskapen skulle vara sökandet efter sanningen i världen. Det skulle vara ogenomträngligt. Mina föräldrar är båda forskare, och i flera år har natur och vetenskap ströat i huset. När jag bläddrade igenom sidorna som barn blev jag besviken av de komplicerade diagrammen, det oavkrypbara språket som tycktes vara skrivet i en speciell vetenskapskod och bilderna på små föremål tagna med sofistikerade bildtekniker. Men nu när jag läste denna Pacific Standard-artikel slog det mig att det inte garanterar någonting att ha ett skannande elektronmikroskop. Vetenskap, liksom den västra kanon, hade sina egna mycket mänskliga problem.

Vetenskapen skulle vara sökandet efter sanningen i världen. Det skulle vara ogenomträngligt.

Oavsett om data tillverkas direkt eller bara "justeras" måste det finnas en anledning. Den oskäliga datatillverkaren Diederik Stapel, en holländsk socialpsykolog, berättade för New York Times att han gjorde det av "en strävan efter estetik, efter skönhet - istället för sanningen." Ekonomen sammanfattade drivkraften till datahacka lite mindre poetiskt med två sammansatta ordstäv i en artikel från 2013: ”förtroende, men verifiera” kontra ”publicera eller förgås.” Grunden för modern vetenskap är reproducerbara resultat över upprepade experiment, men som Economist uttrycker det, ”moderna forskare gör för mycket förtroende och inte tillräckligt med verifiering. ”Incitamenten finns inte för att göra tråkiga verifieringsstudier, eller ännu värre, att spendera år av sitt liv på ett projekt som inte avvisar nollet. Istället drivs både studenter och etablerade forskare för att presentera nya resultat som verkar säga något nytt om världen.

”Publicera eller förgås” säger mycket inte bara om det bredare vetenskapliga samfundet, utan också om medicin. ERAS®, eller Electronic Residency Application Service, är den privata, centraliserade tjänsten som nästan varje MD- eller DO-student använder för att ansöka om uppehållstillstånd i USA. Det är oerhört berättande att ERAS har en hängiven sida för sökande att skriva in sina publikationer. Det finns ingen sådan separat sida för undervisning, volontärarbete eller bidrag till ditt samhälle. Redan frågas medicinstudenter: kan du ta med pengarna? Ja, det är fortfarande möjligt att bli läkare och bra utan publikationer. Lita bara inte på att vara en hudläkare, en ortopedisk kirurg eller något annat antal specialiteter. En ortho hoppfull jag vet sa till mig att han har "57 abstrakta", och jag hoppas verkligen att det räcker för att han ska lyckas med sina mål. En kirurgisk bosatt jag arbetade med firade hans uppsats acceptans i en betald tidskrift som påstods att täcka ett helt annat område, eftersom det var "ett till CV." Det verkar som att koppla karriärmöjligheter till publiceringsvolym har översvämmat vetenskaplig forskning med en översvämning av skit.

Foto av pan xiaozhen på Unsplash

På alla nivåer i matkedjan motiveras forskare av volym, inte av sanning - och vem kan skylla på dem? Pengar flyter in till akademiska medicinska centra från forskningsfinansiärer som NIH på nivåer som dvärgar alla grundläggande eller statliga bidrag för undervisning eller service. Ofta anlitas forskare med förväntan att de finansierar sina egna löner såväl som deras personal. Jag var på Columbia University när två av Mailman School of Public Healths mest populära professorer blev avskedade eftersom de inte lyckades få in 80% av sina löner i bidrag. Drs. Carole Vance och Kim Hopper var båda icke-hyrda professorer som arbetat på Mailman i årtionden, båda betraktade som ledare inom sina respektive områden. Båda prioriterade också undervisningen. Tala med nationen, en tidigare student i Vance sade "Jag har haft det otroliga privilegiet av många bra lärare och otroliga kollegor, men verkligen finns det ingen annan som mentorer med den intensitet som Carole gör" ... "Hon straffas aktivt för att vara en extraordinär mentor - det är den riktning som företagsuniversitetet rör sig i. Mentorskap betalar inte. Mentorskap är inte något du kan sälja till en finansiär. ”

Pengar flyter in till akademiska medicinska centra från forskningsfinansiärer som NIH på nivåer som dvärgar alla grundläggande eller statliga bidrag för undervisning eller service.

Och ändå, i en värld där läkare begår självmord med dubbelt så mycket som den allmänna befolkningen, är mentorskap det som betyder. Istället för att lära sig hur man bor i rollen som en humanistisk läkare från rollmodell mentorer, lära sig medicinska studenter hur man tappar ut papper som de är lite stolta över och som få kommer att läsa någonsin, och så försvarar cykeln att publicera eller förgås. Jag hävdar att publikationsdrevet skadar alla aspekter av medicin genom att uppmuntra tillverkade eller luddiga resultat; vilket gör det svårt att skilja den verkligt värdefulla forskningen (den existerar, jag är säker) från massan; och stimulera felaktiga värden hos våra vårdgivare.

Och ingen är immun. Även på de högsta nivåerna (inom medicin kallar vi att Harvard) publicerar forskare förfalskade data. Bara den här veckan rekommenderade Harvard Medical School och dess anslutna Brigham and Women’s Hospital att en häpnadsväckande 31 artiklar från den tidigare labdirektören Dr. Piero Anversa dras tillbaka från många tidskrifter. Retract Watch har en lista över de tio mest citerade indragna papperna. Alla fortsatte att få citat efter tillbakadragande, vilket innebär att de effektivt förstörde det vetenskapliga medvetandet.

Problemen med forskning är så många att jag bara har börjat röra ytan. En annan stor fråga ifrågasätter ursprunget till våra nuvarande standarder och riktlinjer, kanske härleds från studier av överväldigande vita män. Enligt en kommentar från 2015 i PLoS One inkluderade ”mindre än 2% av mer än 10 000 kliniska studier för cancer som finansierats av National Cancer Institute tillräckligt med minoritetsdeltagare för att uppfylla NIH: s egna kriterier och mål [och] mindre än 5% av NIH-finansierade respiratorisk forskning rapporterade om inkludering av ras / etniska minoriteter. ”Även i medicinska skolor fick jag veta att” kvinnor ”hör till de grupper som kan uppvisa atypiska symtom på en hjärtattack -” kvinnor. ”Du vet, att hälften av befolkningen. Vilken typ av forskning ligger till grund för vår förståelse av en ”typisk” hjärtattack om den inte inkluderar kvinnor?

Foto av Vlad Tchompalov på Unsplash

Forskning är inte bara en amorf term. Det påverkar alla aspekter av våra liv, från vattnet du dricker, till det sätt du har tagit hand om på sjukhus, till en sista chans i livet i en klinisk prövning. Varje papper som skickas ut för publicering bör vara välgjord och ha mening för författarna. Forskning måste vara mer än bara ett nummer på en ansökan. Mitt chansmöte med Pacific Standard-artikeln för fyra år sedan imponerade på mig en skeptisk uppskattning för forskning, och jag har jobbat sedan dess för att hitta de riktigt meningsfulla utfallarna.