Prestationsbaserad tilldelning i regeringens budgetar 2015-2020

Nedanstående redovisning utgör ett försök från min sida att utröna utvecklingen av den svenska prestationsbaserade resurstilldelningen mellan åren 2015 och 2020. Som enda källa har budgetpropositionerna för dessa år granskats. Sidhänvisningar som görs i anslutning till citat hör till respektive års propositionstext för utgiftsområde 16. Samtliga dokument finns tillgängliga via regeringens webplats.

I forskningspropositionen 2008/09:50 infördes den Svenska prestationsbaserade resurstilldelningsmodellen som innefattade omfördelning av 10 % och sena 20% av basanslagen för forskning, samt samtliga nya medel som tillfördes forskningen vid lärosätena. De två indikatorerna innefattade citeringar i WoS-indexerade tidskrifter och Externt erhållna medel (EU och VR, om jag inte minns fel). I budgetpropositionen för 2018 införde regeringen en samverkansindikator.

2015: PROP. 2014/15:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2015 föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s 192)

Dock beslutade riksdagen om oppositionens budget, som, förutom några viktiga lapsusar (bland annat saknades stiftelsehögskolorna omfördelningen) i stort sätt följde principen om att 20% av basmedlen, samt nya tillförda medel skulle fördelas baserat på den prestationsbaserade modellen

2016: PROP. 2015/16:1 UTGIFTSOMRÅDE 16

Regeringen föreslår att medlen fördelas baserat på de principer som redovisades i propositionen, men för att stärka forskningen vid alla lärosäten föreslår regeringen att alla lärosäten som ingår i resursfördelningsmodellen garanteras minst 5 miljoner kronor i ökade anslag till forskning och forskarutbildning när resultatet av omfördelning och fördelning av nya medel slås samman. (s 207)

Och:

I propositionen Forskning och innovation redovisade regeringen att en del av anslagen till forskning och forskarutbildningen årligen ska omfattas av en omfördelning för att skapa drivkrafter för högre kvalitet. I budgetpropositionen för 2015 ingick dock inget förslag till omfördelning. I den budget som riksdagen beslutade för 2015 ingår en omfördelning av anslagen, men i 2015 års omfördelning ingick inte Chalmers tekniska högskola och Högskolan i Jönköping. Beräkningssättet skilde sig också något från den omfördelning som föreslogs i budgetpropositionen för 2014. Den viktning av de använda indikatorer som görs för att inte missgynna bl.a. humaniora och samhällsvetenskap justerades för Sveriges lantbruksuniversitet, Blekinge tekniska högskola, Malmö högskola och Mälardalens högskola för att ge dem mer rättvisande värden i linje med hur andra lärosäten beräknats. Samtliga justeringar innebär att de berörda lärosätenas vikter ökar. Omfördelning för 2016 är beräknat  på samma sätt som omfördelningen för 2015 och inkluderar Chalmers tekniska högskola och Högskolan i Jönköping. Resultatet för dessa lärosäten omfattar därmed två år. (s 207-8)

2017: PROP. 2016/17:1 UTGIFTSOMRÅDE 16

Regeringen avser […] att återkomma om fördelningen av resurserna till forskning och utbildning på forskarnivå i kommande budgetpropositioner och i den forskningspolitiska propositionen. För att säkerställa långsiktigheten i forskningspolitiken kommer de ökade anslagen delvis att fördelas med hjälp av de utgångspunkter som presenterades i propositionen Ett lyft för forskning och innovation (prop. 2008/09:50). Regeringen avser dock att låta universitets och högskolors samverkan med det omgivande samhället i högre grad påverka för-delningen av medlen. (s. 207-8)

Men samtidigt:

I denna proposition föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s. 208)

2018: PROP. 2017/18:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2018 fördelades ökade resurser enligt den prestationsbaserade modellen. Därtill infördes en tredje indikator om samverkan som bygger på två pilotsudier utförda av Vinnova. Här förklaras dock vad den lite kryptiska formuleringen “föreslås inga förändringar i fördelningen av anslagen…”. I klarspråk verkar det betyda att omfördelningen av 20 % av de befintliga medlen som tidigare omfördelats, inte längre kommer att ske:

I 2017 års budgetproposition gjordes ingen omfördelning av befintliga anslag för forskning och utbildning på forskarnivå baserad på citeringar och publiceringar (s.k. bibliometri) och externa medel. Mot bakgrund av de principer som regeringen har infört för att stärka forskningsanknytningen i samtliga utbildningar och ge goda förutsättningar för att bedriva forskning vid alla lärosäten, kommer det inte att ske en omfördelning av befintliga anslag 2018. (s. 210)

Och, gällande samverkan :

Styr- och resursutredningen har bl.a. i uppdrag att föreslå på vilket sätt anslag för utbildning och forskning bör tilldelas så att lärosätena får förutsättningar att bedriva långsiktig verksamhet, kan nå målen för utbildning och forskning samt uppnå högsta möjliga kvalitet. Utredningen ska också bedöma om användningsområdena i dag för direkta forskningsanslag respektive externa forskningsmedel är ändamålsenliga, och föreslå hur samverkan med det omgivande samhället kan premieras ekonomiskt.

I avvaktan på utredningens förslag avser regeringen att använda Vinnovas bedömningar av samverkan med det omgivande samhället som grund för tilldelning av en del av de ökade resurserna. Vinnova fick 2013 i uppdrag av regeringen att årligen fördela medel till universitet och högskolor utifrån kvalitet och prestation i samverkan med det omgivande samhället. Resurstilldelning utifrån samverkan kommer därför att 2018 göras utifrån den bedömning som Vinnova har gjort av lärosätenas strategier för samverkan. (s 210)

2019: PROP. 2018/19:1 UTGIFTSOMRÅDE 16

Omfördelningen nämns inte omfördelningen över huvud taget och inte heller Vinnovas samverkansindikator. Däremot framgår det i Prop. 2019/20:1 (se nedan) att lärosätenas ökade tilldelning som meddelats i vårpropositionen 2019 nu ”permanentas”, varför det är möjligt att regeringen återinförde modellen för fördelning av ökade anslag när vårpropositionens budget togs av riksdagen. Jag kan inte utröna om det tillförts några ökade medel som skulle kunna fördelas enligt prestationsbaserade principer.

2020: PROP. 2019/20:1 UTGIFTSOMRÅDE 16

Nu är den prestationsbaserade modellen tillbaks i fördelningen av ökade medel. Däremot framgår det inte om omfördelningen av 20% av de befintliga medlen görs enligt samma princip (sannolikt inte):

Fördelning av ökningen av anslagen för forskning

I den forskningspolitiska propositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft (prop. 2016/17:50, bet. 2016/17:UbU12, rskr. 2016/17:208) aviserades en ökning av anslagen för forskning och utbildning på forskarnivå 2020. Tabell 5.15 visar hur ökningen fördelar sig mellan de lärosäten som ingår i den kvalitetsbaserade resursfördelningsmodellen. Medel fördelas dels utifrån kvalitetsindikatorerna citeringar och externa medel, dels utifrån samverkan i enlighet med de principer som be-skrevs i budgetpropositionen för 2018 (prop. 2017/18:1 utg.omr. 16, bet. 2017/18:UbU:1, rskr. 2017/18:125). Se vidare berörda universitets och högskolors anslag för forskning och utbildning på forskarnivå.” (s. 172)

Fördelningen av de ökade anslagen anges i tabell 5.15: ”Ökning av anslagen för forskning och utbildning på forskarnivå – fördelning utifrån bibliometri, externa medel och samverkan 2020” (s 173).

När man läser avsnitten som berör forskningsanslag till respektive lärosäte, så framgår att fördelning enligt prestationsbaserad modell införts i regeringens vårändringsbudget 2019 och att det är samma princip, meddelad i forskningspropositionen 2016/17-50 ”Kunskap i samverkan…” som skall gälla. Se exempelvis texten för Göteborgs universitet:

Anslaget beräknas öka med 34 210 000 kronor fr.o.m. 2020 till följd av fördelning av den ökning av universitets och högskolors anslag för forskning och utbildning på forskarnivå som aviserades i forskningspropositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft. Av samma anledning beräknas anslaget öka med 21 391 000 kronor fr.o.m. 2020 vilket medför att ökningen som föreslogs i propositionen Vårändringsbudget för 2019 överförs permanent. (s 180)

Slutsatser

Sammanfattningsvis: mellan 2010-14 använde regeringen en modell att omfördela en del av de befintliga medlen baserat på en prestationsbaserad modell. I budgetarna för 2015 och 2016 på avvikande sätt. I den förra på grund av att det var oppositionens budget som klubbades och i den andra eftersom regeringen tillsköt alla lärosäten medel att åtminstone få 5 miljoner i ökad tilldelning. 2017-2018 användes prestationsbaserad modell för ökade anslag, men inte för 20% av befintliga anslag. 2018 infördes samverkansindikatorn.

I 2019 års budget anges ingen prestationsbaserad tilldelning över huvud taget, men den verkar ha återkommit i vårbudgeten. Slutligen, i 2020 års budget finns de tre prestationsbaserade indikatorerna medtagna. De används för att fördela nya anslag, men inte för att omfördela 20% av forskningsanslagen till lärosätena.

Goofing around med JIF och brain scanning

Idag blev jag uppmärksammad av en kollega om en ny studie, publicerad i PloS ONE, som utges för att beskriva sambandet mellan uppfattad prestige i vetenskapliga journaler och belöningscentra i forskares hjärnor.

Goofy olympics - javelin throw

(CC Tom Simpson: https://www.flickr.com/photos/randar/)

Nu står det klart att Journal Impact Factor står i direkt kontakt med centra för belöningsförväntan i forskarhes hjärnor. Betyder det att ‘homo academicus bibliometrica’ som art äntligen har uppkommit?

http://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0142537

Att bibliometri fungerar som ett incitament på forskares publicerings- och refereringspraktiker är något som jag länge hävdat, men mer anekdotiskt och även om det börjat komma en del studier som påvisar samband, så finns det fortfarande många ser förändrade och likriktade traditioner som något oproblematiskt och/eller som ett steg mot en mer vetenskaplig forskarpraktik, eftersom det implicerar att forskare publicerar sig i sakkunniggranskade publiceringkanaler. I ett sådant ljus framhåller forskarna (som arbetar vid det Socialneurovetenskapliga labbet(!) vid instituionen för psykiatri och psykoterapi vid Lübecks universitet) följande:

”Thus, the JIF as a novel and powerful paradigm in academia has already shaped the neural architecture of reward processing in science.”

Säkert, men här påstås vi få vi en sällsynt inblick i hur processen ser ut ner på neuronnivå. Reduktionism in absurdum, skulle man kunna säga. Här är ett axplock av reonemang som forskarna framhåller som analys av de erhållna resultaten:

“Incorporation of the JIF into the reward system thus seems to be related to goal-directed behavior during the publication process. However, we are unable to decide whether publication in higher-impact journals is the cause or consequence of the reward signal in the NAcc.”

”On the one hand, it is possible that past experiences with publication in higher-impact journals shaped the sensitivity of the reward circuits to this measure. On the other hand, it might be the case that greater reward signaling of the NAcc, as a motivational force, led to more effort and persistence in order to achieve a higher JIF for one’s findings.”

”The results of this study show how scientists have adapted to the predominant reward structure in the environment and have incorporated the currently prevailing paradigm of the scientific community to ’publish [in high-impact journals] or perish’ in order to guider behavior.”

Det är klart att det är ett skämt, men det finns en allvarlig underton, inte minst i min tillspetsade tolkning att forskarhjärnor faktiskt har utvecklats evolutionsmässigt till att triggas av skillnader i JIF. Men man skall samtidigt beakta att studien är publicerad i PloS ONE och att den uppenbarligen håller för deras publiceringsstandarder. Så även om det är ett skämt, så kan man fundera över relevansen och vad som faktiskt är avsikten. Är det ett försök till en variant av Sokals uttjatade ”hoax’? I så fall undrar jag vem man vill dra ner byxorna på. Skämtet fastnar ju lite i vrångstrupen när man beaktar att studien skall vara utförd vid ett tyskt labb och att forskarna tydligen har scannat sina försökspersoner i en avancerad MRI-apparat i tiomiljonersklassen. De har sedan gjort sig omaket att skriva ihop artikeln med uppenbara jönserier:

”One participant was excluded from further analyses due to excessive sleepiness during the whole task. Notably, this was the only neuroscientist with a permanent position”

…och så vidare.

Sedan har de betalat PloS $1,495 USD för att få publicera den.

Ärligt talat, är inte skämtet på deras egen bekostnad (i dubbel bemärkelse)?

 

 

Självreferenser: missbruk av självcitering eller erkänd praktik att göra forskningsresultat kända

© Gustaf Nelhans 2012

Jag har gett mig in i en debatt om självrefererandets vara och inte vara, som förts på ett antal platser på internet. Då den skett på många ställen och ibland under refuserade former eller i direkt konversation med andra debattörer och kommentatorer, erbjuder jag mina inlägg, samt referat och länkar till andra författares bidrag i denna bloggpost.

Först skrev Phil Davis ett inlägg på bloggen Scholarly Kitchen i februari betitlat ”When Journal Editors Coerce Authors to Self-Cite”: http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/ där han diskuterade data från en studie där forskare hade tillfrågats om hur de såg på tidskriftsredaktörers näst intill praxisförfarande att föreslå eller till och med byta ut referenser i inskickade manuskript till referenser i den egna tidskriften. I kommentarsfältet framkom åsikter att detta var en ohederlig verksamhet, men också, från en redaktör kommentaren att det kanske finns ohederliga tidskrifter, men inte i ”våra tidskrifter”, författat av en redaktör för ett mellanstort förlag som utpekats i studien.

Kommentarerna innehöll alltså dels åsikten att det främst fanns anekdotiska indicier på att redaktörer tvingade författare att ta med självreferenser till tidskriften i sina manuskript och dels, att om det händer, så händer det åtminstone någon annan stans.

Då jag hade uppgifter som faktiskt motsade dessa båda ståndpunkter, publicerade jag följande kommentar:

”This is more than anecdotal! I have found an example were an editor-in-chief of an ISI-indexed journal in “health sciences” urges reviewers to make sure submitted manuscripts include self references to the same journal. In the instructions for reviewers, there is a numbered list describing requirements about the length of the manuscript, number of words in the title (a maximum of 12), number of keywords (max 10), and a comment that the keywords should reflect the words in the title and appear in the abstract. But what stands out in the list was the following passage:

“5. Manuscript should refer to at least one article published in ‘*** Journal of *** Sciences’ [the title of the same journal]”

One could assume that this is expected to be a reference to an article that has some bearing on the manuscript at hand, but it is not stated. On this issue, it seems like the question of self citations has been around for a long while and to me, the biggest concern seems to be how to distinguish whether a specific instance of journal self citation is a valid one or not. The question “What is appropriate self referencing” is not as clear cut as it could seem. Given that there could be a variety of reasons for citing a specific reference, it could very well be a grey zone here, where no clear answers could be given.

Nelhans, G, 2012-02-03 kommentar till bloggposten http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/

Till svar fick jag en fråga av Professor Barbara Fister (ibid.) varför jag hade valt att anonymisera tidskriften samt chefredaktörens namn då det ju ledde till att det både var omöjligt att kontrollera mina uppgifter och att sätta press på tidskriften att sluta med denna praktik.

När jag i min tur besvarade henne bredde jag ut texten om att jag var av uppfattningen att krav på självcitering inte alls var någon ovanlig praktik och att jag därför inte ansåg att det var viktigt att utsätta just denna tidskrift för press, då den knappast var ensam om sitt förfarande. Tyvrr refuserades detta inlägg av Scholarly Kitchens redaktörer, varför Fisters kommentar fick stå obemött. Dock svarade jag i ett e-postmeddelande som jag delger här:

“Thanks for your response, the reason is that I see no reason naming “one bad apple” not recognizing that this is part of what seems to be a larger issue in the “impact turn” within scholarly authorship judging by the study referred to above. One could argue that this is a pretty predictable response from researchers/editors/publishers wanting to maximize their impact (if stating it in common science policy terms) or maximizing the reach of the contribution to your peers (taking into account that most readers will have back issues of the same journal readily available while a reference to an obscure journal that is not electronically available (worst case scenario) will be harder to get by to). I think it is better to discuss this issue at a general level and my contribution was thought of as a specific example of how it could look that might interest someone.”

Nelhans, G, E-mail till Barbara Fister, 2012-02-04

I april togs frågan om självciteringar upp på bordet av Scholarly Kitchen igen: I bloggposten ”Emergence of a Citation Cartel”: http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ återgav Phil Davis hur han hade identifierat en tidskrift som på fyra år hade dubblerat sitt värde på Journal Impact Factor från ca 3 till 6 under väldigt speciella omständigheter. Det visade sig nämligen att två andra tidskrifter inom det medicinska området stod för en extremt hög andel av referenserna till den första. I ett fall rörde det sig om en artikel med 450 referenser till den specifika tidskriften, för vilken författarna till artikeln dessutom var chefredaktör, respektive medlemmar av den misstänkt olämpligt uppträdande tidskriftens vetenskapliga redaktionsråd. Således fanns det nu inte bara fakta som kunde bevisa att redaktörer faktiskt tvingade författare att referera den egna tidskriften, utan till och med fall där redaktörerna själva, var involverade i vad som brukar benämnas ”gaming the impact factor”!

I kommentarsfältet framstod åter igen kommentarer om att detta var ”outrageous”, tacksamhet över att detta fall hade blivit ”hunted down”, ”amazing” och andra kraftfulla uttryck. Men det framkommer också kommentarer från företrädare för Thomson Reuters som beskriver hur företaget utvecklar metoder att automatiskt identifiera denna typ av beteende, på såväl tidskriftsnivå gällande självciteringar eller kartellbeteenden.

(Senare har även en intressant diskussion utspelat sig där företrädare för en av de tidskrifter som stod för ett stort antal av de misstänkt olämpligt fabricerade referenserna har försökt bemöta kritiken efter att deras tidskrift avförts från Thomson Reuters Journal Citation Reports. Se även tidskriften  Medical Science Monitor i förteckning på följande länk: http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm.)

När denna bloggpost annonserades på e-postlistan SIGMETRICS-List, som är en ”Virtual Special Interest Group” of the American Society for Information Science and Technology kom den att diskuteras av Open Access Evangelisten Stevan Harnad i ett inlägg betitlat Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;aepqBA;20120410072602-0400

© Gustaf Nelhans 2012

Åter igen var diskussionen om att namnge och ställa syndare i skampålen i full gång, vilket kan utläsas i texten på länken ovan, men också att Open Access skulle vara lösningen på problemet. Om bara all publicerad forskning var tillänglig fritt för var och envar, skulle man kunna utveckla metoder att identifiera denna form av missbruk, men också att OA skulle vara ett medel för att exponera och straffa dem som utfört dem, var hans huvudsakliga argument.

Till detta anförde jag följande kommentar som postades till SIGMETRICS-List http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000:

Dear Professor Harnad,

    I believe that it is not always easy to identify the motives behind specific instances of self references (although in the case at hand, the number of mutual citations identified seem to speak for themselves…). The practice of self citation is (as you acknowledge) not in itself a bad thing, but the problem is how to distinguish its legitimate use from its abuse. This is equally valid on the individual level as in editor-suggested references. I would like to draw into attention an exchange about these matters from 1997, where Eugene Garfield stated:

“Recognising the reality of the Matthew effect, I believe that an editor is justified in reminding authors to cite equivalent references from the same journal, if only because readers of that journal presumably have ready access to it. To call this “manipulation” seems excessive unless the references chosen are irrelevant or mere window dressing.” (Garfield, Eugene. 1997. Editors are justified in asking authors to cite equivalent references from same journal. BMJ 314 (7096):1765. http://www.bmj.com/content/314/7096/1765.2.short )

My question is if there could exist any method of identifying “bad apples” that does not account for the specific context in the article in which the reference is placed. In my understanding of the problem, the proposed way of using statistical methods for identifying baselines for self citations in various fields could be one important step, but I wonder if it would suffice to make the identification process complete?

Best regards,

Gustaf Nelhans

University of Gothenburg, University of Borås,

Sweden

Nelhans, G: E-mail till SIGMETRICS-List, 2012-04-10 http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000

Av någon anledning valde Harnad att inte svara mig (med största sannolikhet missade han mitt inlägg) men nu, mitt i sommaren, när jag själv för första gången på flera veckor tog en titt i min e-postlistemapp innehållande över 1900 meddelanden, uppträdde plötsligt ett svar från Stevan Harnad. Re: Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400 Och så var diskussionen igång igen, nära fyra månader efter att jag skrivit min kommentar. Tydligen hade han blivit uppmärksammad på den nu och bestämt sig för att svara. I svaret, som till punkt och pricka följer på mina frågor och ståndpunkter erbjuder Harnad en intressant utblick över framtida möjligheter att med text analytiska, matematiska och statistiska metoder identifiera kandidater för missbruk som sedan kan analyseras manuellt genom mänsklig evaluering. Inte desto mindre fann jag följande uppsummering av Harnads ståndpunkt intressant:

Global OA not only provides the open database, but it provides the (continuous) open means of flagging anomalies in the population pattern, checking them, and naming and shaming the cases where there really has been willful misuse or abuse.

It’s yet another potential application for crowd-sourcing.

Harnad, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400

Roligt också att Eugene Garfield såg Harnads svar och (oturligt nog) felaktigt korrigerade honom för att ha gett en mindre lämplig länk till en kommentar som Garfield själv hade gett femton år tidigare och som jag hade använt som argument för att hävda att tidskriftsredaktörers förslag om referenser från den egna tidskriften inte per automatik måste betraktas som ett missbruk. Garfields uppfattning 2012 är därför intressant att referera här:

Unfortunately my comments have been distorted in some cases to justify deplorable excesses in the use of references to the same journal when I emphasized that such references should be relevant and not mere window dressing– a blatant attempt to increase the impact factor of the journal in question.

Garfield, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;S8L%2FlA;20120731214459%2B0000

Min slutkommentar, som jag valde att inte skicka till e-postlistan utan direkt till Harnad och Garfield innehöll följande text:

Dear Professors Garfield and Harnad, thank you both for commenting, (I decided to take my response off the Sigmetrics list so that it doesn’t get spammed with comments).

It was I who posted the link to the article back in April not checking if it was available outside the university networks. Thanks for sharing a more accessible way to get to it.

Its usage was simply to argue that individual self citations, as well as editor’s proposals of articles to cite within the same journal should not necessarily be seen as a bad thing per se. Instead, I argued that one would need to analyze the context (within the text) of the cited reference made to be able to judge its status, if indeed such a black-or-white scenario for judging self citations exists…

The question implied, to which Professor Harnad gave many interesting and valuable insights, was therefore if it would be possible to do this based on computations and statistics or if it would require skillful manual labor to make such evaluations. Maybe a combination is the best that could possibly be attained?

Gustaf Nelhans: E-mail till Eugene Garfield och Stevan Harnad,  2012-08-01.

Om detta är sista ordet eller om diskussionen kommer att fortsätta är oklart, men jag kommer att hålla bloggen uppdaterad.