Category Archives: bibliometri

Prestationsbaserad tilldelning i regeringens budgetar 2015-2020

Posted on by

Nedanstående redovisning utgör ett försök från min sida att utröna utvecklingen av den svenska prestationsbaserade resurstilldelningen mellan åren 2015 och 2020. Som enda källa har budgetpropositionerna för dessa år granskats. Sidhänvisningar som görs i anslutning till citat hör till respektive års propositionstext för utgiftsområde 16. Samtliga dokument finns tillgängliga via regeringens webplats.

I forskningspropositionen 2008/09:50 infördes den Svenska prestationsbaserade resurstilldelningsmodellen som innefattade omfördelning av 10 % och sena 20% av basanslagen för forskning, samt samtliga nya medel som tillfördes forskningen vid lärosätena. De två indikatorerna innefattade citeringar i WoS-indexerade tidskrifter och Externt erhållna medel (EU och VR, om jag inte minns fel). I budgetpropositionen för 2018 införde regeringen en samverkansindikator.

2015: PROP. 2014/15:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2015 föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s 192)

Dock beslutade riksdagen om oppositionens budget, som, förutom några viktiga lapsusar (bland annat saknades stiftelsehögskolorna omfördelningen) i stort sätt följde principen om att 20% av basmedlen, samt nya tillförda medel skulle fördelas baserat på den prestationsbaserade modellen

2016: PROP. 2015/16:1 UTGIFTSOMRÅDE 16

Regeringen föreslår att medlen fördelas baserat på de principer som redovisades i propositionen, men för att stärka forskningen vid alla lärosäten föreslår regeringen att alla lärosäten som ingår i resursfördelningsmodellen garanteras minst 5 miljoner kronor i ökade anslag till forskning och forskarutbildning när resultatet av omfördelning och fördelning av nya medel slås samman. (s 207)

Och:

I propositionen Forskning och innovation redovisade regeringen att en del av anslagen till forskning och forskarutbildningen årligen ska omfattas av en omfördelning för att skapa drivkrafter för högre kvalitet. I budgetpropositionen för 2015 ingick dock inget förslag till omfördelning. I den budget som riksdagen beslutade för 2015 ingår en omfördelning av anslagen, men i 2015 års omfördelning ingick inte Chalmers tekniska högskola och Högskolan i Jönköping. Beräkningssättet skilde sig också något från den omfördelning som föreslogs i budgetpropositionen för 2014. Den viktning av de använda indikatorer som görs för att inte missgynna bl.a. humaniora och samhällsvetenskap justerades för Sveriges lantbruksuniversitet, Blekinge tekniska högskola, Malmö högskola och Mälardalens högskola för att ge dem mer rättvisande värden i linje med hur andra lärosäten beräknats. Samtliga justeringar innebär att de berörda lärosätenas vikter ökar. Omfördelning för 2016 är beräknat  på samma sätt som omfördelningen för 2015 och inkluderar Chalmers tekniska högskola och Högskolan i Jönköping. Resultatet för dessa lärosäten omfattar därmed två år. (s 207-8)

2017: PROP. 2016/17:1 UTGIFTSOMRÅDE 16

Regeringen avser […] att återkomma om fördelningen av resurserna till forskning och utbildning på forskarnivå i kommande budgetpropositioner och i den forskningspolitiska propositionen. För att säkerställa långsiktigheten i forskningspolitiken kommer de ökade anslagen delvis att fördelas med hjälp av de utgångspunkter som presenterades i propositionen Ett lyft för forskning och innovation (prop. 2008/09:50). Regeringen avser dock att låta universitets och högskolors samverkan med det omgivande samhället i högre grad påverka för-delningen av medlen. (s. 207-8)

Men samtidigt:

I denna proposition föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s. 208)

2018: PROP. 2017/18:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2018 fördelades ökade resurser enligt den prestationsbaserade modellen. Därtill infördes en tredje indikator om samverkan som bygger på två pilotsudier utförda av Vinnova. Här förklaras dock vad den lite kryptiska formuleringen “föreslås inga förändringar i fördelningen av anslagen…”. I klarspråk verkar det betyda att omfördelningen av 20 % av de befintliga medlen som tidigare omfördelats, inte längre kommer att ske:

I 2017 års budgetproposition gjordes ingen omfördelning av befintliga anslag för forskning och utbildning på forskarnivå baserad på citeringar och publiceringar (s.k. bibliometri) och externa medel. Mot bakgrund av de principer som regeringen har infört för att stärka forskningsanknytningen i samtliga utbildningar och ge goda förutsättningar för att bedriva forskning vid alla lärosäten, kommer det inte att ske en omfördelning av befintliga anslag 2018. (s. 210)

Och, gällande samverkan :

Styr- och resursutredningen har bl.a. i uppdrag att föreslå på vilket sätt anslag för utbildning och forskning bör tilldelas så att lärosätena får förutsättningar att bedriva långsiktig verksamhet, kan nå målen för utbildning och forskning samt uppnå högsta möjliga kvalitet. Utredningen ska också bedöma om användningsområdena i dag för direkta forskningsanslag respektive externa forskningsmedel är ändamålsenliga, och föreslå hur samverkan med det omgivande samhället kan premieras ekonomiskt.

I avvaktan på utredningens förslag avser regeringen att använda Vinnovas bedömningar av samverkan med det omgivande samhället som grund för tilldelning av en del av de ökade resurserna. Vinnova fick 2013 i uppdrag av regeringen att årligen fördela medel till universitet och högskolor utifrån kvalitet och prestation i samverkan med det omgivande samhället. Resurstilldelning utifrån samverkan kommer därför att 2018 göras utifrån den bedömning som Vinnova har gjort av lärosätenas strategier för samverkan. (s 210)

2019: PROP. 2018/19:1 UTGIFTSOMRÅDE 16

Omfördelningen nämns inte omfördelningen över huvud taget och inte heller Vinnovas samverkansindikator. Däremot framgår det i Prop. 2019/20:1 (se nedan) att lärosätenas ökade tilldelning som meddelats i vårpropositionen 2019 nu ”permanentas”, varför det är möjligt att regeringen återinförde modellen för fördelning av ökade anslag när vårpropositionens budget togs av riksdagen. Jag kan inte utröna om det tillförts några ökade medel som skulle kunna fördelas enligt prestationsbaserade principer.

2020: PROP. 2019/20:1 UTGIFTSOMRÅDE 16

Nu är den prestationsbaserade modellen tillbaks i fördelningen av ökade medel. Däremot framgår det inte om omfördelningen av 20% av de befintliga medlen görs enligt samma princip (sannolikt inte):

”Fördelning av ökningen av anslagen för forskning

I den forskningspolitiska propositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft (prop. 2016/17:50, bet. 2016/17:UbU12, rskr. 2016/17:208) aviserades en ökning av anslagen för forskning och utbildning på forskarnivå 2020. Tabell 5.15 visar hur ökningen fördelar sig mellan de lärosäten som ingår i den kvalitetsbaserade resursfördelningsmodellen. Medel fördelas dels utifrån kvalitetsindikatorerna citeringar och externa medel, dels utifrån samverkan i enlighet med de principer som be-skrevs i budgetpropositionen för 2018 (prop. 2017/18:1 utg.omr. 16, bet. 2017/18:UbU:1, rskr. 2017/18:125). Se vidare berörda universitets och högskolors anslag för forskning och utbildning på forskarnivå.” (s. 172)

Fördelningen av de ökade anslagen anges i tabell 5.15: ”Ökning av anslagen för forskning och utbildning på forskarnivå – fördelning utifrån bibliometri, externa medel och samverkan 2020” (s 173).

När man läser avsnitten som berör forskningsanslag till respektive lärosäte, så framgår att fördelning enligt prestationsbaserad modell införts i regeringens vårändringsbudget 2019 och att det är samma princip, meddelad i forskningspropositionen 2016/17-50 ”Kunskap i samverkan…” som skall gälla. Se exempelvis texten för Göteborgs universitet:

Anslaget beräknas öka med 34 210 000 kronor fr.o.m. 2020 till följd av fördelning av den ökning av universitets och högskolors anslag för forskning och utbildning på forskarnivå som aviserades i forskningspropositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft. Av samma anledning beräknas anslaget öka med 21 391 000 kronor fr.o.m. 2020 vilket medför att ökningen som föreslogs i propositionen Vårändringsbudget för 2019 överförs permanent. (s 180)

Slutsatser

Sammanfattningsvis: mellan 2010-14 använde regeringen en modell att omfördela en del av de befintliga medlen baserat på en prestationsbaserad modell. I budgetarna för 2015 och 2016 på avvikande sätt. I den förra på grund av att det var oppositionens budget som klubbades och i den andra eftersom regeringen tillsköt alla lärosäten medel att åtminstone få 5 miljoner i ökad tilldelning. 2017-2018 användes prestationsbaserad modell för ökade anslag, men inte för 20% av befintliga anslag. 2018 infördes samverkansindikatorn.

I 2019 års budget anges ingen prestationsbaserad tilldelning över huvud taget, men den verkar ha återkommit i vårbudgeten. Slutligen, i 2020 års budget finns de tre prestationsbaserade indikatorerna medtagna. De används för att fördela nya anslag, men inte för att omfördela 20% av forskningsanslagen till lärosätena.

Forskargruppers storlek och skilda typer av citeringsgenomslag

Posted on by

En studie i Nature diskuterar forskargruppsstorlek och drar slutsatser om vilken typ av forskning dn genererar på basis av bibliometriska data. Den lyfts i en Curieartikel här, som jag var inbjuden att kommentera, men då artikeln mer lade fokus på gruppstorlek och mina kommentarer snarare handlade om studiens upplägg och vilka slutsatser man kan dra på basis av jättemycket data så kom de inte med. Det ger mig dock möjlighet att utveckla mina resonemang lite mer. Texten nedan utgår från mina svar på journalistens frågor som var om disruptiveness är ett vettigt mått och om jag hade några synpunkter på författarnas metod och slutsatser.

Jag har inga speciella åsikter om forskarnas resultat men vill samtidigt lyfta några kritiska kommentarer gällande hur långt man kan dra statistiska data och hur man med en suggestiv benämning konstruerar fangtasieggande tolkningar. Författarna använder distinktionen ’disruptive research’ som står i kontrast ’developmental, eller mer kumulativt betonad forskning. Vem vill inte vara omvälvande? Mönstret går igen från Kuhns vetenskapsteori, han talar om revolutionerande gentemot pusselläggande forskning.

Den här artikeln är uttryck för en ny form av bibliometrisk studier som för enkelhets skull kan gå under beteckningen Science of Science efter en av sina utmärkande artiklar av Santo Fortunato et al, eller komplexa system, som använder numeriska modeller med enorma dataset för att identifiera statistiskt hållbara lagbundenheter om de fenomen de studerar. I den här studien: 24 miljoner artiklar och 38 miljoner forskare och deras publikationer under mer än ett halvt decennium. Det är å ena sidan bibliometrikerns våta dröm, men å andra sidan skulle jag vilja påstå att det finns risk att alla data döljer minst lika mycket som de plockar fram.

För lika mycket som lagbundenheter och statistiska samband kan beskrivas i termer av centralmått och korrelation mellan variabler, lika lite kan de säga om det faktiska innehållet i forskningen och vad det faktiskt är som gör att viss forskning får stort genomslag.

Själva måttet i sig är ganska intressant, att det går att skilja mellan artiklar som blir refererade av en litteratur som delar ursprungsartikelns referenser och artiklar för vilka de refererande artiklarna hänvisar till en helt annan litteratur, men frågan är exakt vad det visar.

I korthet kan man säga att vad som identifierats är ett slags gränsgångarnatur där en studie får stort genomslag i ett annat ämne än i vilket det är publicerat inom. Det är inte ovanligt när det gäller exempelvis metavetenskaplige discipliner som filosofi eller sociologi som får genomslag i exempelvis ekonomiområdet eller hälsoforskning. Jag har sett det i geografi, där GIS-teoretiska papers fått genomslag i epidemiologi eller entomologi(!) och därmed fått ett uppsving pga ett mycket större upptagningsområde i det refererande forskningsområdet.

Men problemet är att forskarna i mindre grad verkar kunna besvara varför det ser ut på ett visst sätt eller hur mekanismen för disruptiveness fungerar, istället att de med relativt stor säkerhet kan identifiera dessa mönster där de förekommer.

Som förklaring skulle man kunna resonera kring att ett stort team svårligen kan vara gränsgångare på det sätt som lyfts fram här, eftersom de av sin natur tenderar att vara mer mång- eller tvärvetenskaplig. Ett stort team av likasinnade monovetenskapliga forskare skulle antagligen vara redundant. Men något som jag alltså tycker att studien verkar sakna är förmågan att söka förstå den nya indikatorns funktion eller betydelse. Disruptiveness har ingen specifik definition utan blir en etikett på ett statistiskt samband som uppstår i modellen.

Så ja, det är ett intressant mått som är relativt distinkt och som kanske till och med kommer att införlivas i citeringsindexen tillsammans med råa citeringstal och aggregerade mått som h-index och Scopus nya ”prominence score”, men frågan är vad det kan säga om enskilda artiklar. När väl disruption har kunnat uppmätas har så lång tid gått att artikeln i sig antagligen redan har fått sitt genomslag i sitt eget fält eller slagit i ett annat fält.

En nyhetsartikel i Nature drar lite längre slutsatser än författarna själva. Dess slutsatser är intressanta, men jag är lite frågande till hur författaren menar att måttet på disruptiveness kan påverka utvärdering av forskning eller påverka finansieringsmekanismer annat än att säga att större storlek kanske inte har så stor betydelse, statistiskt sett. Men det är däremot intressant att artikeln visar att citeringsdata kan användas till mer än att bara mäta frekvens och att citeringsmönster snarare än deras frekvens kan vara användbara för att identifiera spännande fenomen.

Men 20, 40 eller 60 miljoner uppmätta datapunkter är inte imponerande annat än att det påvisar tillgång till mycket data och jag är övertygad om att man kan påvisa samma typ av mönster med ett dataset som är tre ordningar mindre (10.000-100.000 datapunkter). Men för en tidskrift som Nature är nog ”miljoner” ett måste.

Sammantaget, det har gått åt en enorm mängd data för att visa att stora och små forskargrupper statistiskt sett har skilda former av impact, men att det inte går att identifiera vilken typ av impact en specifik forskargrupp kommer att få. För som det anges i artikeln: Mindre forskargrupper tenderar att vara få genomslag längre fram i tiden – om de över huvud taget får något genomslag.

H-index: ’aitch’* eller ’age’?

Posted on by

Det är knappast möjligt att påstå att 80 citeringar står i ”viss kontrast” till ett H-index på 11 som Olsson gör på ARW:s blogg den 27 april. Det står nämligen i fullständig kontrast, eftersom det är matematiskt omöjligt att mäta H till 11 med 80 citeringar över huvud taget. Det minsta antalet citeringar som måste finnas är 121 (11 artiklar à 11 citeringar), men eftersom fördelningen av citeringstal är extremt snedfördelade så behöver en forskare i praktiken ha långt många fler artiklar och till dem erhållna citeringar indexerade för att nå upp till värdet. Det är anmärkningsvärt att felet inte uppdagades när (A.) den första bloggtexten skrevs, (B.) inte kommenterades av ARW när jag tog upp saken på Högskoleläckan och (C.) att den fortfarande får stå okommenterad när det uppenbarligen är en felaktig uppgift, oaktat att det är en sakkunnig som lämnat den.

Men är då den presenterade skillnaden i H mellan den med högst och lägst värde väsentlig? Det kan den förstås vara, men skillnader i citeringstal på individnivå är extremt vanskligt att mäta med sådana enkla indikatorer och bör användas med stor försiktighet. Användningen av H-index som indikator på individnivå är sedan det introducerades av Hirsch 2005 starkt ifrågasatt av bibliometrisk expertis, som de flesta känner till. Det räcker inte att vara i samma ämnesområde, utan forskare som jämförs måste också ha extremt lika forskartrajectories för att det på någon mån skall vara meningsfullt att använda måttet. H-index kan oftast utläsas som Age-Index med nästan samma uttal. En forskare med fler forskarår har både åtnjutit fler år för publicering och därtill hunnit refereras av andra forskare under längre tid.

Om man därför uppfinner en hemmasnickrad ”citizen bibliometrisk” indijator och dividerar H med antalet år sedan disputation (en inte alldeles ovanlig (och omdiskuterad) praktik vid sakkunnigutlåtanden som min kollega Björn Hammarfelt har visat i samarbete med Alex Rushford (2017)), så får vi följande mer jämna jämförelsetal för de båda sökande som diskuteras:

Sökande 1 H=11 År=13 Års-H=0,85
Sökande 2 H=34 År=29 Års-H=1,17

Därmed inte sagt att års-H är en bra indikator, men den kontrollerar åtminstone för tid. Flera andra mått har utvecklats för att råda bot på tidsproblemet liksom en rad andra svagheter med beräkningen, vilket Wikipediaartikeln om H-index tar upp på ett ganska bra sätt.

Referens
Björn Hammarfelt, Alexander D. Rushforth; Indicators as judgment devices: An empirical study of citizen bibliometrics in research evaluation, Research Evaluation, Volume 26, Issue 3, 1 July 2017, Pages 169–180, https://doi.org/10.1093/reseval/rvx018

* Uttalet av bokstaven H enligt engelska Wikipedia

(Uppdaterad med förtydliganden)

Forskningspropositionen öppnar för fler frågor om prestationsbaserad resurstilldelning

Posted on by

Så var det klart: Ingen omfördelning baserad på prestation (publicering och citering) för 2017 men däremot avisering om ett införande (när?) av en modell för samhällsimpact som VINNOVA tagit fram. Sedan en ny utredning som skall ta fram en modell för resurstilldelning som skall presenteras i budgetpropositionen 2018.

Cat picture borrowed from https://twitter.com/AcademiaObscura

Den aviserade ökningen av miniminivån från 8k till 12k (SEK) per student som i DN-debattartikeln endast angavs gälla högskolorna var förstås en otydlig formulering och innebär även en generell ökning även för universiteten. Synd, för annars hade det kunnat leda till att det faktiskt blev en reell ”utsmetning” av anslagen som de stora jättarna ofta beklagat sig så över, men som knappast skett i praktiken. Under 2009-2016 har endast 10 % av anslagen tilldelats till högskolorna och de nya universiteten (s.56).

Det hela är lite förvirrande, särskilt som det innebär att ryckigheten i hur resursfördelningen skall gå till fortsätter. Till exempel förklaras förra årets modell där alla lärosäten fick minst 5 miljoner, oavsett hur de presterade i kvalitetssnurran med att det skett vid flera tillfällen och att det hade som syfte att fler lärosäten skulle få ”möjligheter att utveckla sin forskning och utbildning på forskarnivå” (s.57). Men var det inte konstigt att Stockholms universitet var en sådan vinnare i den omfördelningen då de tilldelades över 22Mkr för att täcka upp för brister i fördelningsmodellen?

Så trots att regeringen fortsatt ställer sig bakom en prestationsbaserad tilldelningsmodell, så väljer den alltså att justera den med egna kriterier (eller för nästa år ingen omfördelning alls!) vilket innebär att det i praktiken är väldigt svårt för lärosätena att relatera till dess väntade utfall.

Hela propositionen finns tillgänglig här: http://www.regeringen.se/rattsdokument/proposition/2016/11/prop.-20161750/

Det finns massor av andra intressanta aspekter gällande öppen tillgång till data och SwePub, men det får vänta tills jag är tillbaks från veckans begivenhet, workshopen: Accelerated Academy i Leiden. Mitt bidrag heter The performativity of the citation (länk till ppt och abstract kommer efter presentationen).

Ordsamförekomst (co-word analysis) med visualiseringar av Clinton vs. Trump-debatten.

Posted on by

Samförekomstanalys

clintonbinaryassociatstrtfidf80104

Clintons debattinlägg (n=104 fraser).

Dessa båda visualiseringar avbildar samförekomsten av substantivfraser vad gäller frekvens/intensitetoch klustring i den första presidentvalsdebatten mellan Hillary Clinton och Donald Trump, 26 september, 2016.

Jag har arbetar med här med VOSviewer (www.vosviewer.com), en programvara/verktyg utvecklat av scientometrikerna Nees Jan van Eck and Ludo Waltman på CWTS vid Leidens universitet. Det finns en mängd dokumentation på deras webplats, men nedan ger jag min uttolkning av programmets funktion.

Analys

trumpbinaryassociatstrtfidf80126

Trumps repliker (n=126 fraser).

Verktyget erbjuder (förutom dess huvudsakliga syfte, visualisering av aggregerad citeringsdata), att göra co-wordanalyser, en teknik utvecklad inom ANT på 80-talet, som säkerligen utvecklats av lingvister oberoende av dem mycket tidigare. Utöver enkel co-wordanalys är VOSviewer lite mer sofistikerat. Det lånar nämligen lingvistiska tekniker för att tagga ordklasser och identifierar sedan substantivfraser (subst-subst, eller adjektiv-substantiv) för att få mer meningsfulla saker att mäta. Det har också (en rätt dålig teknik) att ta borst plural-s men att döma av ”united state” som jag såg någonstans i bilderna, så trunkerar de bara alla ’s’. Sist erbjuder det en teknik för att välja bort vardagliga termer (TF-IDF) och jag valde på att behålla 80% av fraserna här.

Layout

Det var analysdelen, sedan har det en egen layoutteknik som heter ”Visualisation of Similarities” (VOS) som liknar den mer utvecklade layoutalgoritmen MDS, men till skillnad från den senare så säger sig forskarna ha löst problemet med att MDS har en ”hästskoform” så att ändarna på skänklarna så att säga ser ut att komma nära varandra i visualiseringen, trots att de borde vara så långt från varandra som möjligt. Klustringen är lite blackboxad, men man kan ställa in tröskelvärden för att få olika antal kluster och man har möjlighet att välja färgskalor osv. Sist, det finns både som command-line och som WYSIWYG och jag gillar det sistnämnda eftersom det erbjuder forskaren att interagera med de olika parametrarna.

Visualisering

När det gäller dessa visualiseringar så har jag tweakat lite grann. Det utgår från transkript från debatten i den 26:e september. Jag har skapat en fil för Clintons repliker, en per rad och en för Trumps. Eftersom VOSviewer jobbar med bibliografiska data har jag skapat en taggad fil där jag lurar systemet att varje replik är en titel på ett verk och därmed kan jag be den utföra analyserna på titel/repliknivå.

clintonbinaryassociatstrtfidf80104

Clintons debattinlägg (n=104 fraser). Klicka för fullskärm.

trumpbinaryassociatstrtfidf80126

Trumps repliker (n=126 fraser). Klicka för fullskärm.

Här avbildas de mest relevanta (TF-IDF=80%) substantivfraserna som använts åtminstone två gånger av respektive kandidat i debatten. Storlek på fras=frekvens och spatiell lokalisering=samförekomststyrka. Färgerna som getts till klustren visar endast skillnader mellan områden och har inte harmoniserats mellan visualiseringarna.

Beskrivande statistik:

  • Trump: 124 repliker (datafil)
  • Clinton: 87 repliker (datafil)
  • Holt: 97 repliker (ingen datafil tillgänglig)

Det bör noteras att Trump har många fler repliker än Clinton, vilket bottnar sig i att han har en tendens att avbryta som bland annat noteras här och här.

Källa

Presidential Candidates Debates: “Presidential Debate at Hofstra University in Hempstead, New York,” September 26, 2016. Online by Gerhard Peters and John T. Woolley, The American Presidency Project. http://www.presidency.ucsb.edu/ws/?pid=118971.

Goofing around med JIF och brain scanning

Posted on by

Idag blev jag uppmärksammad av en kollega om en ny studie, publicerad i PloS ONE, som utges för att beskriva sambandet mellan uppfattad prestige i vetenskapliga journaler och belöningscentra i forskares hjärnor.

Goofy olympics - javelin throw

(CC Tom Simpson: https://www.flickr.com/photos/randar/)

Nu står det klart att Journal Impact Factor står i direkt kontakt med centra för belöningsförväntan i forskarhes hjärnor. Betyder det att ‘homo academicus bibliometrica’ som art äntligen har uppkommit?

http://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0142537

Att bibliometri fungerar som ett incitament på forskares publicerings- och refereringspraktiker är något som jag länge hävdat, men mer anekdotiskt och även om det börjat komma en del studier som påvisar samband, så finns det fortfarande många ser förändrade och likriktade traditioner som något oproblematiskt och/eller som ett steg mot en mer vetenskaplig forskarpraktik, eftersom det implicerar att forskare publicerar sig i sakkunniggranskade publiceringkanaler. I ett sådant ljus framhåller forskarna (som arbetar vid det Socialneurovetenskapliga labbet(!) vid instituionen för psykiatri och psykoterapi vid Lübecks universitet) följande:

”Thus, the JIF as a novel and powerful paradigm in academia has already shaped the neural architecture of reward processing in science.”

Säkert, men här påstås vi få vi en sällsynt inblick i hur processen ser ut ner på neuronnivå. Reduktionism in absurdum, skulle man kunna säga. Här är ett axplock av reonemang som forskarna framhåller som analys av de erhållna resultaten:

“Incorporation of the JIF into the reward system thus seems to be related to goal-directed behavior during the publication process. However, we are unable to decide whether publication in higher-impact journals is the cause or consequence of the reward signal in the NAcc.”

”On the one hand, it is possible that past experiences with publication in higher-impact journals shaped the sensitivity of the reward circuits to this measure. On the other hand, it might be the case that greater reward signaling of the NAcc, as a motivational force, led to more effort and persistence in order to achieve a higher JIF for one’s findings.”

”The results of this study show how scientists have adapted to the predominant reward structure in the environment and have incorporated the currently prevailing paradigm of the scientific community to ’publish [in high-impact journals] or perish’ in order to guider behavior.”

Det är klart att det är ett skämt, men det finns en allvarlig underton, inte minst i min tillspetsade tolkning att forskarhjärnor faktiskt har utvecklats evolutionsmässigt till att triggas av skillnader i JIF. Men man skall samtidigt beakta att studien är publicerad i PloS ONE och att den uppenbarligen håller för deras publiceringsstandarder. Så även om det är ett skämt, så kan man fundera över relevansen och vad som faktiskt är avsikten. Är det ett försök till en variant av Sokals uttjatade ”hoax’? I så fall undrar jag vem man vill dra ner byxorna på. Skämtet fastnar ju lite i vrångstrupen när man beaktar att studien skall vara utförd vid ett tyskt labb och att forskarna tydligen har scannat sina försökspersoner i en avancerad MRI-apparat i tiomiljonersklassen. De har sedan gjort sig omaket att skriva ihop artikeln med uppenbara jönserier:

”One participant was excluded from further analyses due to excessive sleepiness during the whole task. Notably, this was the only neuroscientist with a permanent position”

…och så vidare.

Sedan har de betalat PloS $1,495 USD för att få publicera den.

Ärligt talat, är inte skämtet på deras egen bekostnad (i dubbel bemärkelse)?

 

 

När professorer träter om citeringar (akademisk p*ckmätning)

Posted on by

Kan inte låta bli att kommentera en diskussion om citeringsmått som följd av Rothsteins säkra uttalande i GP om att ett bra citeringsmått i Google Scholar är 3000. Ett dåligt, däremot är 60. Terrorismforskaren Magnus Ranstorp utmanar då plötsligt statsvetaren Ulf Bjereld i citeringsmätning. Mina kommentarer (om än korta) är för långa för Twitter, så jag samlar dem här i stället:

Det finns flera studier som utvärderat Google Scholar (GS) som verktyg att evaluera forskning. Det stora flertalet kommer fram till att det inte passar för detta. GS indexerar inte peer reviewad litteratur per se, utan allsköns material som ser vetenskapligt ut. Referenserna kan lika väl komma från studentuppsatser, pressmeddelanden (OCH vetenskaplig litteratur).

De båda etablerade citeringsdatabaserna, Web of Science och Scopus, anses (på gott och ont) ha sådan kvalitetskontroll och öppenhet vad gäller urval och indexeringsmetod att de kan utnyttjas som komplement till evaluering, dock ej på individnivå. Täckningsgraden för samhällsvetenskap och humaniora är dock bristfällig, liksom för internationell litteratur (vilken litteratur är inte internationell?) som inte är publicerad i engelskspråkiga tidskrifter.

Om man trots allt, för att stilla ett aldrig sinande intresse att jämföra sig med andra (eller i det här fallet andra med andra), ändå gör jämförelsen mellan de båda professorerna i de etablerade citeringsdatabaserna får man följande resultat (idag):

Web of Science: Ranstorp: 17 citeringar på 4 publikationer: Bjereld 34 på 5 publikationer.

Nu bör man författarfraktionera och då har Bjereld 22 och Ranstorp  8,5.

Bjereld har en självcitering så kanske skulle vi säga 21. Ranstorp har ingen och landar på 8,5.

Nu bör vi också fältfraktionera citeringarna eftersom forskarna företräder något olika ämnen med olika förväntad citeringsgrad. Och så bör publiceringarna ämnesnormeras. (Men det är efter midnatt och hela uppgiften är ju egentligen ganska meningslös, så jag hoppar över det här. Vetenskapsrådet har uppdaterade värden för fältfraktionerade citeringar och mindre väl uppdaterade om publikationers ämnesnorm).

I databasen Scopus däremot är skillnaden till Ranstorps fördel:

Bjereld: 38 citeringar/6 publikationer vilket motsvarar 18,8 författarfraktionerade citeringar mot Ranstorp: 71/16 = 58 författarfraktionerade.

Found on the net

Summa summarum. Valet av databas är viktigt för utfallet och bibliometriska analyser bör göras med nogsamhet för såväl metodologiska problem som det svåra att utföra statistiska undersökningar på allt för små populationer.

Peer Review!

Posted on by

I dag kl 14:30 kommer Björklund presentera den nya forskningsproppen och varken “prestationsbaserad” bibliometri via citeringsanalys eller en variant av den norska “resultatbaserade” modellen verkar finnas med som huvudsaklig modell för det konkurensutsatta anslaget. Även anslag baserade på erhållna medel verkar försvinna ur modellen. I stället kommer en fördubblad andel (20% av anslagen) fördelas baserat på en peer reviewbaserad modell som Vetenskapsrådet kommer att få i uppdrag att ta fram. Den nya modellen anges vara baserad på “kvalitetskriterier”.

En livesändning kommer att finnas på regeringens hemsida och förhandsmaterialet kom i morse i form av en debattartikel i DN.

Således verkar regeringen ha gått på VR:s modell som de presenterade i sitt remissvar till Anders Flodströms utredning från i vintras. En indikation på att så skulle bli fallet kom redan i budgeten där Flodström utredning inte ens nämndes vid namn.

 

Det var en intressant utveckling.

 

Uppdatering to em:

Men det är viktigt att notera att detta handlar om fem år fram i tiden. Den nuvarande modellen ligger kvar åtminstone fram till ingången av 2018:

En utgångspunkt för kollegial bedömning bör vara att all forskning regelbundet utvärderas med områdesvisa utvärderingar under en cykel som varar fyra till sex år. En fördelning av resurser utifrån sådan bedömning av forskningens kvalitet kan dock inte vara aktuell att införa förrän tidigast 2018.

http://www.regeringen.se/content/1/c6/20/13/68/ab3950ad.pdf s 63

Självreferenser: missbruk av självcitering eller erkänd praktik att göra forskningsresultat kända

Posted on by

© Gustaf Nelhans 2012

Jag har gett mig in i en debatt om självrefererandets vara och inte vara, som förts på ett antal platser på internet. Då den skett på många ställen och ibland under refuserade former eller i direkt konversation med andra debattörer och kommentatorer, erbjuder jag mina inlägg, samt referat och länkar till andra författares bidrag i denna bloggpost.

Först skrev Phil Davis ett inlägg på bloggen Scholarly Kitchen i februari betitlat ”When Journal Editors Coerce Authors to Self-Cite”: http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/ där han diskuterade data från en studie där forskare hade tillfrågats om hur de såg på tidskriftsredaktörers näst intill praxisförfarande att föreslå eller till och med byta ut referenser i inskickade manuskript till referenser i den egna tidskriften. I kommentarsfältet framkom åsikter att detta var en ohederlig verksamhet, men också, från en redaktör kommentaren att det kanske finns ohederliga tidskrifter, men inte i ”våra tidskrifter”, författat av en redaktör för ett mellanstort förlag som utpekats i studien.

Kommentarerna innehöll alltså dels åsikten att det främst fanns anekdotiska indicier på att redaktörer tvingade författare att ta med självreferenser till tidskriften i sina manuskript och dels, att om det händer, så händer det åtminstone någon annan stans.

Då jag hade uppgifter som faktiskt motsade dessa båda ståndpunkter, publicerade jag följande kommentar:

”This is more than anecdotal! I have found an example were an editor-in-chief of an ISI-indexed journal in “health sciences” urges reviewers to make sure submitted manuscripts include self references to the same journal. In the instructions for reviewers, there is a numbered list describing requirements about the length of the manuscript, number of words in the title (a maximum of 12), number of keywords (max 10), and a comment that the keywords should reflect the words in the title and appear in the abstract. But what stands out in the list was the following passage:

“5. Manuscript should refer to at least one article published in ‘*** Journal of *** Sciences’ [the title of the same journal]”

One could assume that this is expected to be a reference to an article that has some bearing on the manuscript at hand, but it is not stated. On this issue, it seems like the question of self citations has been around for a long while and to me, the biggest concern seems to be how to distinguish whether a specific instance of journal self citation is a valid one or not. The question “What is appropriate self referencing” is not as clear cut as it could seem. Given that there could be a variety of reasons for citing a specific reference, it could very well be a grey zone here, where no clear answers could be given.

Nelhans, G, 2012-02-03 kommentar till bloggposten http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/

Till svar fick jag en fråga av Professor Barbara Fister (ibid.) varför jag hade valt att anonymisera tidskriften samt chefredaktörens namn då det ju ledde till att det både var omöjligt att kontrollera mina uppgifter och att sätta press på tidskriften att sluta med denna praktik.

När jag i min tur besvarade henne bredde jag ut texten om att jag var av uppfattningen att krav på självcitering inte alls var någon ovanlig praktik och att jag därför inte ansåg att det var viktigt att utsätta just denna tidskrift för press, då den knappast var ensam om sitt förfarande. Tyvrr refuserades detta inlägg av Scholarly Kitchens redaktörer, varför Fisters kommentar fick stå obemött. Dock svarade jag i ett e-postmeddelande som jag delger här:

“Thanks for your response, the reason is that I see no reason naming “one bad apple” not recognizing that this is part of what seems to be a larger issue in the “impact turn” within scholarly authorship judging by the study referred to above. One could argue that this is a pretty predictable response from researchers/editors/publishers wanting to maximize their impact (if stating it in common science policy terms) or maximizing the reach of the contribution to your peers (taking into account that most readers will have back issues of the same journal readily available while a reference to an obscure journal that is not electronically available (worst case scenario) will be harder to get by to). I think it is better to discuss this issue at a general level and my contribution was thought of as a specific example of how it could look that might interest someone.”

Nelhans, G, E-mail till Barbara Fister, 2012-02-04

I april togs frågan om självciteringar upp på bordet av Scholarly Kitchen igen: I bloggposten ”Emergence of a Citation Cartel”: http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ återgav Phil Davis hur han hade identifierat en tidskrift som på fyra år hade dubblerat sitt värde på Journal Impact Factor från ca 3 till 6 under väldigt speciella omständigheter. Det visade sig nämligen att två andra tidskrifter inom det medicinska området stod för en extremt hög andel av referenserna till den första. I ett fall rörde det sig om en artikel med 450 referenser till den specifika tidskriften, för vilken författarna till artikeln dessutom var chefredaktör, respektive medlemmar av den misstänkt olämpligt uppträdande tidskriftens vetenskapliga redaktionsråd. Således fanns det nu inte bara fakta som kunde bevisa att redaktörer faktiskt tvingade författare att referera den egna tidskriften, utan till och med fall där redaktörerna själva, var involverade i vad som brukar benämnas ”gaming the impact factor”!

I kommentarsfältet framstod åter igen kommentarer om att detta var ”outrageous”, tacksamhet över att detta fall hade blivit ”hunted down”, ”amazing” och andra kraftfulla uttryck. Men det framkommer också kommentarer från företrädare för Thomson Reuters som beskriver hur företaget utvecklar metoder att automatiskt identifiera denna typ av beteende, på såväl tidskriftsnivå gällande självciteringar eller kartellbeteenden.

(Senare har även en intressant diskussion utspelat sig där företrädare för en av de tidskrifter som stod för ett stort antal av de misstänkt olämpligt fabricerade referenserna har försökt bemöta kritiken efter att deras tidskrift avförts från Thomson Reuters Journal Citation Reports. Se även tidskriften  Medical Science Monitor i förteckning på följande länk: http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm.)

När denna bloggpost annonserades på e-postlistan SIGMETRICS-List, som är en ”Virtual Special Interest Group” of the American Society for Information Science and Technology kom den att diskuteras av Open Access Evangelisten Stevan Harnad i ett inlägg betitlat Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;aepqBA;20120410072602-0400

© Gustaf Nelhans 2012

Åter igen var diskussionen om att namnge och ställa syndare i skampålen i full gång, vilket kan utläsas i texten på länken ovan, men också att Open Access skulle vara lösningen på problemet. Om bara all publicerad forskning var tillänglig fritt för var och envar, skulle man kunna utveckla metoder att identifiera denna form av missbruk, men också att OA skulle vara ett medel för att exponera och straffa dem som utfört dem, var hans huvudsakliga argument.

Till detta anförde jag följande kommentar som postades till SIGMETRICS-List http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000:

Dear Professor Harnad,

    I believe that it is not always easy to identify the motives behind specific instances of self references (although in the case at hand, the number of mutual citations identified seem to speak for themselves…). The practice of self citation is (as you acknowledge) not in itself a bad thing, but the problem is how to distinguish its legitimate use from its abuse. This is equally valid on the individual level as in editor-suggested references. I would like to draw into attention an exchange about these matters from 1997, where Eugene Garfield stated:

“Recognising the reality of the Matthew effect, I believe that an editor is justified in reminding authors to cite equivalent references from the same journal, if only because readers of that journal presumably have ready access to it. To call this “manipulation” seems excessive unless the references chosen are irrelevant or mere window dressing.” (Garfield, Eugene. 1997. Editors are justified in asking authors to cite equivalent references from same journal. BMJ 314 (7096):1765. http://www.bmj.com/content/314/7096/1765.2.short )

My question is if there could exist any method of identifying “bad apples” that does not account for the specific context in the article in which the reference is placed. In my understanding of the problem, the proposed way of using statistical methods for identifying baselines for self citations in various fields could be one important step, but I wonder if it would suffice to make the identification process complete?

Best regards,

Gustaf Nelhans

University of Gothenburg, University of Borås,

Sweden

Nelhans, G: E-mail till SIGMETRICS-List, 2012-04-10 http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000

Av någon anledning valde Harnad att inte svara mig (med största sannolikhet missade han mitt inlägg) men nu, mitt i sommaren, när jag själv för första gången på flera veckor tog en titt i min e-postlistemapp innehållande över 1900 meddelanden, uppträdde plötsligt ett svar från Stevan Harnad. Re: Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400 Och så var diskussionen igång igen, nära fyra månader efter att jag skrivit min kommentar. Tydligen hade han blivit uppmärksammad på den nu och bestämt sig för att svara. I svaret, som till punkt och pricka följer på mina frågor och ståndpunkter erbjuder Harnad en intressant utblick över framtida möjligheter att med text analytiska, matematiska och statistiska metoder identifiera kandidater för missbruk som sedan kan analyseras manuellt genom mänsklig evaluering. Inte desto mindre fann jag följande uppsummering av Harnads ståndpunkt intressant:

Global OA not only provides the open database, but it provides the (continuous) open means of flagging anomalies in the population pattern, checking them, and naming and shaming the cases where there really has been willful misuse or abuse.

It’s yet another potential application for crowd-sourcing.

Harnad, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400

Roligt också att Eugene Garfield såg Harnads svar och (oturligt nog) felaktigt korrigerade honom för att ha gett en mindre lämplig länk till en kommentar som Garfield själv hade gett femton år tidigare och som jag hade använt som argument för att hävda att tidskriftsredaktörers förslag om referenser från den egna tidskriften inte per automatik måste betraktas som ett missbruk. Garfields uppfattning 2012 är därför intressant att referera här:

Unfortunately my comments have been distorted in some cases to justify deplorable excesses in the use of references to the same journal when I emphasized that such references should be relevant and not mere window dressing– a blatant attempt to increase the impact factor of the journal in question.

Garfield, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;S8L%2FlA;20120731214459%2B0000

Min slutkommentar, som jag valde att inte skicka till e-postlistan utan direkt till Harnad och Garfield innehöll följande text:

Dear Professors Garfield and Harnad, thank you both for commenting, (I decided to take my response off the Sigmetrics list so that it doesn’t get spammed with comments).

It was I who posted the link to the article back in April not checking if it was available outside the university networks. Thanks for sharing a more accessible way to get to it.

Its usage was simply to argue that individual self citations, as well as editor’s proposals of articles to cite within the same journal should not necessarily be seen as a bad thing per se. Instead, I argued that one would need to analyze the context (within the text) of the cited reference made to be able to judge its status, if indeed such a black-or-white scenario for judging self citations exists…

The question implied, to which Professor Harnad gave many interesting and valuable insights, was therefore if it would be possible to do this based on computations and statistics or if it would require skillful manual labor to make such evaluations. Maybe a combination is the best that could possibly be attained?

Gustaf Nelhans: E-mail till Eugene Garfield och Stevan Harnad,  2012-08-01.

Om detta är sista ordet eller om diskussionen kommer att fortsätta är oklart, men jag kommer att hålla bloggen uppdaterad.