Om var de publicerar

varför du inte bör bedöma forskare efter Journal Impacts

[Pluto Series] # 0 - Academia, Structurally Fxxked Up
[Pluto-serien] # 1 - Forskning, kunskapsskapande industrin
[Pluto-serien] # 2 - Academia, Publishing och Vetenskaplig kommunikation
[Pluto Series] # 3 - Publicera, men verkligen förgås?
[Pluto-serien] # 4 - Publicera eller förgås, och förlorat förgäves
[Pluto-serien] # 5 - På där de publicerar
[Pluto-serien] # 6 - På antal publikationer
[Pluto-serien] # 7 - On Citation Fundamentals
[Pluto Series] # 8 - On Citing Practice
[Pluto-serien] # 9 - På spårning av citat
[Pluto Series] # 10 - On Peer Reviews
[Pluto-serien] # 11 - Avslutar serien

I det föregående inlägget har vi diskuterat vad som utgör en dålig incitamentsstruktur i akademin. Mer, original och robust kunskap är det allmänna målet för akademin som helhet. Om andra oönskade konsekvenser än dessa positiva värden framkallas av incitamentet, eller inte lyckas fånga de positiva värdena på lämpliga sätt, kan detta incitament sägas vara dåligt.

Journal, källa: Plush Design Studio, Unsplash

Det här inlägget ger den första instansen av sådana, nämligen Utvärdera forskare var de publicerar. Det kan ifrågasättas vad denna praxis försöker bedöma, och oavsett vad den bedömer kunskapens komplexa värden kan inte mätas med så enkla medel. Strukturen i vilken denna praxis upprätthålls har gett vissa berörda parter alltför stora befogenheter, vilket lett till bristande insyn, onödig politik och till och med oetiska fel.

Varför var?

Med en beskrivning av akademiens incitamentsstruktur i ett tidigare inlägg hade man fått veta att forskare ofta utvärderas sin produktivitet med sina bibliografiska poster, eller en lista över artiklar som de publicerade i akademiska tidskrifter, i kombination med ”där de publicerar” med Journal Impact Factors som proxyvärde för detta "var". Detta "var" är naturligtvis en kortfattning för "vilken peer-granskad tidskrift", och närmare bestämt antar den ofta tidskrifter som ingår i stora index som Web of Science Core Collection (WoSCC) av Clarivate Analytics eller SCOPUS av Elsevier .

På ytan kan det vara oerhört viktigt att välja var man ska publicera. Baserat på var du publicerar dina forskningsresultat kan i vilken utsträckning din publikation sprids allvarligt variera. Det vill säga, om du väljer en rätt tidskrift för din publikation, kan den skickas till hundratals eller tusentals av dina kamrater, medan ett dåligt urval kan leda till att ingen i ditt relevanta område någonsin läser den. Det är vad du skulle se när du googlar "var du ska publicera". (naturligtvis med många "biblioteksguider" som säger att du måste se om tidskrifterna är indexerade i WoS eller SCOPUS)

En annan viktig aspekt som man bör tänka på när man väljer ”var man ska publicera” är tidskriftens redaktion. Den mest distinkta funktionen för akademiska tidskrifter är peer-review, den vetenskapliga processen för granskning av fältexperter. Denna peer-granskningsprocess hanteras av redaktioner och team. De förhandsgranskar de inlämnade manuskripten, de väljer peer reviewers och de fattar slutliga beslut om att acceptera, avvisa eller föreslå revidering för manuskripterna. Eftersom olika tidskrifter har olika redaktörer, och därmed olika granskningspraxis, är det förmodligen mycket viktigt att välja en anständig tidskrift redigerad av auktoritära experter inom ditt område som är tillräckligt skickliga för att ordentligt genomföra granskningen av din publikation.

Varför INTE var?

Det verkar tydligt att det är viktigt att välja en rätt plats att publicera, men det betyder fortfarande INTE att forskning ska utvärderas med var den publiceras. Först och främst är det oklart vilken typ av värde som fångas. Det är möjligen bra om det ska fånga omfattningen av dess spridning som beskrivits ovan. Men detta är mycket utmanande, både kontextuellt och tekniskt. Bör vi titta på det absoluta antalet unika människor som en dagbok når? Unika sessioner och åtkomst från universitet och institut? Representerar denna typ av tidskrifter också spridningens omfattning för enskilda publikationer? Kan tidskrifter och informationstjänster faktiskt spåra denna statistik? Svaret är, löjligt, oavsett om ja eller inte, systemet bryr sig faktiskt aldrig om den här aspekten.
(Altmetri, användningsstatistik från informationstjänster online hänför sig till den här aspekten. Det är fortfarande indikatorer som härrör direkt från enskilda publikationer, inte var det är.)

Vem bestämmer var?

Värdet som fångas med “där” kan troligen härledas från inkluderingskriterierna och utvärderingsprocesserna för indexen (WoSCC-kriterier och -process, SCOPUS-process och kort). Båda har gemensamma krav som ISSN-registrering och engelska (eller romerska) bibliografiska metadata (sammanfattningar, referenser osv.) Som är väsentligt viktiga för att hålla hela databasen ren och hanterbar. Ett annat nödvändigt villkor är att innehållet i tidskrifterna granskas av peer. Detta är naturligtvis positivt. Problemet är hur de visas. Eftersom detta är NÖDVÄNDIGT villkor måste en journal som ingår i dessa index granskas av peer. Men hur vet vi när de aldrig bevisar att de är det? Det finns några tidskrifter som publicerar peer review-rapporter tillsammans med de ursprungliga publikationerna. För resten av tidskrifterna i indexen, litar vi bara på indexleverantörer att de ärligt kontrollerade peer review-praxis och själva bevis?

Den här saken går exakt samma sak med resten av dessa inkluderingsprocesser. Utöver de nödvändiga villkoren finns det många fler kriterier som de säger att de tittar på. För att nämna några: "Akademiskt bidrag till fältet", "Kvalitet och överensstämmelse med de angivna målen och omfattningen av tidskriften", "Redaktörens stående", "nya synvinkel" och "Målgruppen". Dessa är lika vanligast i båda indexen, även om vissa skillnader i uttryck. Dessa kriterier ser alla bra ut och snygga, och återigen är frågan hur gör de det verkligen. Det mest jag tycker av deras förklaringar är att de utvärderas av deras redaktion eller styrelser (inte förväxla detta med journalredaktörer). Jag hittar slutligen INGEN information om redaktionen i WoSCC, och styrelsens sida för SCOPUS ger några slumpmässiga 17 akademiker med sina tillhörigheter, var och en representerar en metadisciplin (17 personer som ansvarar för att ”definiera” hela den akademiska taxonomin, wow). Kort sagt, vi är KLUSTLIG om vem som bestämmer anteckningar från dagboken, varför de borde vara ansvariga för det arbetet eller vad de faktiskt beslutade om vilka bevis.

Vi pratar om indexindex. Artiklar publiceras (alltså indexeras som en del av tidskriften den publiceras i) i tidskrifter redigerade av fältexperterna. Just nu är vi lite avslappnade eftersom många tidskriftswebbplatser ger information om sina redaktioner. * Och sedan är dessa tidskrifter metaindexerade i bibliografiska databaser som WoSCC eller SCOPUS, redigerade av några slumpmässiga personer, där vi är helt förlorade av vem de är och vad de gjorde. Med tanke på det faktum att dessa index används i så många beslut i akademin som utvärderingskriterier, låter vi vissa kommersiella företag besluta var akademiker ska lämna in sina uppgifter för att betraktas som "vetenskaplig kunskap" med dunkla verksamheter. Jag frågar mig starkt om detta är vad vetenskapen ska vara.
(* Se till exempel Lancet. Jag anser personligen att denna information om redaktörer är minimal.)

Fånga inverkan

Kanske är svaret bäst representerat med antalet som mest används som proxy för detta: Journal Impact Factors (JIF). Det är uppenbart som namnet berättar, det verkar som om JIF bedömer effekterna av tidskrifter. Lägg tvivel åt vad denna inverkan betyder, det verkar som om effekterna av tidskrifter är mycket relaterade till citeringar, eftersom JIF: er beräknas med citatgraferna. (JIF är det genomsnittliga antalet citeringar som mottagits av publikationer i tidskriften av intresse under två föregående år från alla publikationer av indexet i år. Se Wikipedia för mer beskrivning)

Kan inte döda flera fåglar med en vanlig sten

Det är verkligen förvirrande vad denna inverkan betyder. En sak kan vi tydligt säga. Det betyder genomsnittligt citat. Oavsett om det är påverkan, värdet, avancemanget, bidraget, eller vad som helst, kan en förenklad enkel metrisk inte (och borde inte) representera de komplexa och olika aspekterna av kunskap. Liksom de avbildas av införandeprocesserna genom index, finns det bidrag till fältet, mål och omfattning och deras överensstämmelse och kvalitet, står bland fältet, idéernas originalitet, publik, etik, transparens ... för att nämna mycket få av dem. Ingen kommer någonsin hitta ett sätt att fånga dessa värden med en enda metrisk.

Att använda en förenklad och enkel metrisk orsakar en allvarlig skada för akademin: det leder till maktlagar *. Myntlagd av Robert Merton som "Matthew Effect" och denna maktlag är väl avbildad av uttrycket "Rik blir rikare, fattig blir fattigare". Denna maktlag i akademin är oönskad av två huvudsakliga skäl. i) Tillväxtforskare i sina tidiga karriärer ges mindre möjligheter. ii) Få outliers får myndigheter än samhället, vilket strider mot modern vetenskapens ”organiserade skepsis”. Vetenskap uppnås genom granskning av kamrater, inte av myndigheter av de få.
(* Bevis på denna maktlag inkluderar: priser, Lotka's, Zipfs, Bradfords lagar)

"Var" ersätter aldrig "Vad"

Förutom oro över användningen av enstaka metrisk finns det kritik mot JIF själv. Framför allt, eftersom det är beräknat från citat, ärver det de flesta kritik mot citat. Exempelvis kan citeringar spelas, de faktiska räkningarna kan variera avsevärt beroende på det citeringsindex som används, och viktigast av att citaträkningar inte representerar värdet på en publikation. Så gör JIF. Mer om denna punkt kommer att behandlas i ett senare inlägg som diskuterar Citations.

Det noteras också att JIF inte bör användas för att utvärdera enskilda publikationer. Betydelsen av medelvärde tolkas vanligtvis som ett förutsägbart mått, men det rapporteras att du inte kan förutsäga citat av en publikation i en tidskrift med dess JIF. Detta beror främst på den snedställda citatfördelningen. JIF: er påverkas mycket av utdelarna. Anta att vi har en tidskrift med JIF = 40, vi väljer slumpmässiga publikationer från den för att se dess citaträkning, och vi kommer förmodligen att se siffror som är mycket mindre än 40. När vi beskriver detta förbehåll föreslog Nature Materials i en redaktion att tidskrifter bättre skulle avslöja deras citeringsfördelningar.

Viktigast av allt är värdet av en publikation Universal (U från CUDOS). Det borde inte ändras när den placeras. Du experimenterade A, samlade dataset B, analyserade med metod C, fick resultat D. Oavsett om du lägger det på ditt Facebook-flöde, tweetade det, bloggade det, arxiv det eller publicera det i en dagbok med exorbitant hög JIF, bör dess värde inte förändras inte.

Kraft överväldigande

När forskare utvärderas var de publicerar kommer vissa intressenter i relation till detta ”där” att spela stort inflytande över akademin. Som beskrivits ovan styrs i stort sett den virtuella definitionen av vetenskap (eller "där vi måste publicera för att betraktas som vetenskap") av få indexleverantörer.

Förlag och tidskrifter får också auktoritativ makt. Eftersom de flesta tidskrifter har binära beslut om inlämnade manuskript (dvs accepterar eller avvisar), är forskare föremål för detta beslut. Många förlag och tidskrifter "stöder inte formellt arkivering" * (dvs förtryck och förvar). Det finns alternativa platser att publicera som kan stödja arkivering, men forskare är fortfarande benägna att inte använda förtryck om en högeffektjournal inom sitt område inte stöder det. Det är det enda som hindrar forskare från att arkivera före publicering och sätta i andra riktningar, det är därför utgivare och tidskrifter kan besluta att inte stödja det.
(** enligt SHERPA / RoMEO, 487 av 2566 förlag (19%) stöder inte formellt arkivering.) Att utvidga denna statistik till journalnivå kommer säkert att öka delen. *)

Publikationsöverflöde

Utgivare med auktoritativ makt kan leda till fler publikationer snarare än bättre och robust kunskap. Eftersom affärsmodellen för de flesta förlag skördar vinster genom prenumerationer och APC: er (författare betalar detta när de skickar manuskript för Open Access), är det uppenbart att de skulle gynna fler publikationer. På enskild journalnivå kanske detta inte är sant eftersom fler publikationer kan minska JIF. (det finns i nämnaren) Men på en förlagsnivå kan detta samordnas genom att öka antalet publikationer samtidigt som det genererar fler citat över sina tidskrifter. Det totala antalet publikationer har faktiskt ökat drastiskt i årtionden, men det är fråga om det också ledde till mer, bättre kunskap.

Moraliska faror

En annan varning här är att förlag och tidskrifter kan påverka den allmänna riktningen för forskningssamhällen och trender. Som diskuterats redan i tidigare inlägg är de benägna att fastställa policyer som skulle leda till ökad JIF, som att acceptera iögonfallande, trendiga eller till och med felaktiga påståenden och avvisa stegvisa, negativa eller replikerande studier.

Ännu värre är missförhållanden som syftar till att öka metriken. Tidskrifter, särskilt dess redaktörer, kan oetiskt tvinga sina underkastade författare att citera artiklar i den tidningen. Redaktörer och författare runt flera tidskrifter kan bilda citatkarteller, där de citerar varandras uppgifter för att medvetet öka effekten av var och en. Dessa felaktigheter är inte bara dåliga eftersom de är oetiska, utan de avskriver också tillförlitligheten för JIF som ett värde. Som sådan förorenar de den övergripande litteraturen och genererar mindre relevanta, eller ibland till och med meningslösa, citat över publikationer. I slutet av dagen försämrar de förtroendet för akademin.

För att förbättra, inte att avskräcka

Det kommer alltid att vara diskutabla aspekter på var forskningsresultat bör delas. Som en viktig del av den vetenskapliga kommunikationen kommer spridning av vetenskapligt innehåll alltid att innebära överföring av värdefull forskningsinformation från en spelare till en annan. Dessutom har utvärdering av JIF (eller var de publicerar) denna fördel jämfört med citationstecken räknas att citeringar för en enskild publikation tar allvarligt lång tid, medan en proxy med tidskriften kan användas omedelbart. Ändå bör den nuvarande praxisen för utvärdering av forskare och deras innehåll baserat på var de publicerar förbättras.

Eftersom en förenklad metrisk ställer frågor om vad den fångar bör mer omfattande medel för att bättre fånga olika aspekter av kunskap undersökas. Det bör alltid beaktas att en kunskap och dess värde inte förändras när den publiceras, medan vi fortsätter påminna om att det fortfarande är viktigt att ifrågasätta till vem det kommer att kommuniceras.

Felaktigheter kan uppstå genom att ett fåtal spelare har för mycket auktoritativ makt med intressen långt ifrån att generera verklig kunskap. Specifikt är öppenhet absolut nödvändig för att inte låta den ogenomskinliga verksamheten hos ett litet antal vinstinriktade aktörer bestämma vad som ska betraktas som forskning.

NÄSTA UPP

I det kommande inlägget kommer en annan instans av dåligt incitament att diskuteras, om att använda antalet publicering som utvärderingskriterier, den viktigaste frågan om "publicera eller förgås".

Tack alltid för stödet, och snälla CLAP & SHARE historien med dina kamrater, vänner och familjer för att bjuda in mer diskussion.

[Pluto Series] # 0 - Academia, Structurally Fxxked Up
[Pluto-serien] # 1 - Forskning, kunskapsskapande industrin
[Pluto-serien] # 2 - Academia, Publishing och Vetenskaplig kommunikation
[Pluto Series] # 3 - Publicera, men verkligen förgås?
[Pluto-serien] # 4 - Publicera eller förgås, och förlorat förgäves
[Pluto-serien] # 5 - På där de publicerar
[Pluto-serien] # 6 - På antal publikationer
[Pluto-serien] # 7 - On Citation Fundamentals
[Pluto Series] # 8 - On Citing Practice
[Pluto-serien] # 9 - På spårning av citat
[Pluto Series] # 10 - On Peer Reviews
[Pluto-serien] # 11 - Avslutar serien

Pluto nätverk
Hemsida / Github / Facebook / Twitter / Telegram / Medium
Scinapse: Academic search engine
E-post: team@pluto.network