Category Archives: theory of science

Prestationsbaserad tilldelning i regeringens budgetar 2015-2020

Posted on by

Nedanstående redovisning utgör ett försök från min sida att utröna utvecklingen av den svenska prestationsbaserade resurstilldelningen mellan åren 2015 och 2020. Som enda källa har budgetpropositionerna för dessa år granskats. Sidhänvisningar som görs i anslutning till citat hör till respektive års propositionstext för utgiftsområde 16. Samtliga dokument finns tillgängliga via regeringens webplats.

I forskningspropositionen 2008/09:50 infördes den Svenska prestationsbaserade resurstilldelningsmodellen som innefattade omfördelning av 10 % och sena 20% av basanslagen för forskning, samt samtliga nya medel som tillfördes forskningen vid lärosätena. De två indikatorerna innefattade citeringar i WoS-indexerade tidskrifter och Externt erhållna medel (EU och VR, om jag inte minns fel). I budgetpropositionen för 2018 införde regeringen en samverkansindikator.

2015: PROP. 2014/15:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2015 föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s 192)

Dock beslutade riksdagen om oppositionens budget, som, förutom några viktiga lapsusar (bland annat saknades stiftelsehögskolorna omfördelningen) i stort sätt följde principen om att 20% av basmedlen, samt nya tillförda medel skulle fördelas baserat på den prestationsbaserade modellen

2016: PROP. 2015/16:1 UTGIFTSOMRÅDE 16

Regeringen föreslår att medlen fördelas baserat på de principer som redovisades i propositionen, men för att stärka forskningen vid alla lärosäten föreslår regeringen att alla lärosäten som ingår i resursfördelningsmodellen garanteras minst 5 miljoner kronor i ökade anslag till forskning och forskarutbildning när resultatet av omfördelning och fördelning av nya medel slås samman. (s 207)

Och:

I propositionen Forskning och innovation redovisade regeringen att en del av anslagen till forskning och forskarutbildningen årligen ska omfattas av en omfördelning för att skapa drivkrafter för högre kvalitet. I budgetpropositionen för 2015 ingick dock inget förslag till omfördelning. I den budget som riksdagen beslutade för 2015 ingår en omfördelning av anslagen, men i 2015 års omfördelning ingick inte Chalmers tekniska högskola och Högskolan i Jönköping. Beräkningssättet skilde sig också något från den omfördelning som föreslogs i budgetpropositionen för 2014. Den viktning av de använda indikatorer som görs för att inte missgynna bl.a. humaniora och samhällsvetenskap justerades för Sveriges lantbruksuniversitet, Blekinge tekniska högskola, Malmö högskola och Mälardalens högskola för att ge dem mer rättvisande värden i linje med hur andra lärosäten beräknats. Samtliga justeringar innebär att de berörda lärosätenas vikter ökar. Omfördelning för 2016 är beräknat  på samma sätt som omfördelningen för 2015 och inkluderar Chalmers tekniska högskola och Högskolan i Jönköping. Resultatet för dessa lärosäten omfattar därmed två år. (s 207-8)

2017: PROP. 2016/17:1 UTGIFTSOMRÅDE 16

Regeringen avser […] att återkomma om fördelningen av resurserna till forskning och utbildning på forskarnivå i kommande budgetpropositioner och i den forskningspolitiska propositionen. För att säkerställa långsiktigheten i forskningspolitiken kommer de ökade anslagen delvis att fördelas med hjälp av de utgångspunkter som presenterades i propositionen Ett lyft för forskning och innovation (prop. 2008/09:50). Regeringen avser dock att låta universitets och högskolors samverkan med det omgivande samhället i högre grad påverka för-delningen av medlen. (s. 207-8)

Men samtidigt:

I denna proposition föreslås inga förändringar i fördelningen av anslagen till forskning och utbildning på forskarnivå. (s. 208)

2018: PROP. 2017/18:1 UTGIFTSOMRÅDE 16

I budgetpropositionen för 2018 fördelades ökade resurser enligt den prestationsbaserade modellen. Därtill infördes en tredje indikator om samverkan som bygger på två pilotsudier utförda av Vinnova. Här förklaras dock vad den lite kryptiska formuleringen “föreslås inga förändringar i fördelningen av anslagen…”. I klarspråk verkar det betyda att omfördelningen av 20 % av de befintliga medlen som tidigare omfördelats, inte längre kommer att ske:

I 2017 års budgetproposition gjordes ingen omfördelning av befintliga anslag för forskning och utbildning på forskarnivå baserad på citeringar och publiceringar (s.k. bibliometri) och externa medel. Mot bakgrund av de principer som regeringen har infört för att stärka forskningsanknytningen i samtliga utbildningar och ge goda förutsättningar för att bedriva forskning vid alla lärosäten, kommer det inte att ske en omfördelning av befintliga anslag 2018. (s. 210)

Och, gällande samverkan :

Styr- och resursutredningen har bl.a. i uppdrag att föreslå på vilket sätt anslag för utbildning och forskning bör tilldelas så att lärosätena får förutsättningar att bedriva långsiktig verksamhet, kan nå målen för utbildning och forskning samt uppnå högsta möjliga kvalitet. Utredningen ska också bedöma om användningsområdena i dag för direkta forskningsanslag respektive externa forskningsmedel är ändamålsenliga, och föreslå hur samverkan med det omgivande samhället kan premieras ekonomiskt.

I avvaktan på utredningens förslag avser regeringen att använda Vinnovas bedömningar av samverkan med det omgivande samhället som grund för tilldelning av en del av de ökade resurserna. Vinnova fick 2013 i uppdrag av regeringen att årligen fördela medel till universitet och högskolor utifrån kvalitet och prestation i samverkan med det omgivande samhället. Resurstilldelning utifrån samverkan kommer därför att 2018 göras utifrån den bedömning som Vinnova har gjort av lärosätenas strategier för samverkan. (s 210)

2019: PROP. 2018/19:1 UTGIFTSOMRÅDE 16

Omfördelningen nämns inte omfördelningen över huvud taget och inte heller Vinnovas samverkansindikator. Däremot framgår det i Prop. 2019/20:1 (se nedan) att lärosätenas ökade tilldelning som meddelats i vårpropositionen 2019 nu ”permanentas”, varför det är möjligt att regeringen återinförde modellen för fördelning av ökade anslag när vårpropositionens budget togs av riksdagen. Jag kan inte utröna om det tillförts några ökade medel som skulle kunna fördelas enligt prestationsbaserade principer.

2020: PROP. 2019/20:1 UTGIFTSOMRÅDE 16

Nu är den prestationsbaserade modellen tillbaks i fördelningen av ökade medel. Däremot framgår det inte om omfördelningen av 20% av de befintliga medlen görs enligt samma princip (sannolikt inte):

”Fördelning av ökningen av anslagen för forskning

I den forskningspolitiska propositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft (prop. 2016/17:50, bet. 2016/17:UbU12, rskr. 2016/17:208) aviserades en ökning av anslagen för forskning och utbildning på forskarnivå 2020. Tabell 5.15 visar hur ökningen fördelar sig mellan de lärosäten som ingår i den kvalitetsbaserade resursfördelningsmodellen. Medel fördelas dels utifrån kvalitetsindikatorerna citeringar och externa medel, dels utifrån samverkan i enlighet med de principer som be-skrevs i budgetpropositionen för 2018 (prop. 2017/18:1 utg.omr. 16, bet. 2017/18:UbU:1, rskr. 2017/18:125). Se vidare berörda universitets och högskolors anslag för forskning och utbildning på forskarnivå.” (s. 172)

Fördelningen av de ökade anslagen anges i tabell 5.15: ”Ökning av anslagen för forskning och utbildning på forskarnivå – fördelning utifrån bibliometri, externa medel och samverkan 2020” (s 173).

När man läser avsnitten som berör forskningsanslag till respektive lärosäte, så framgår att fördelning enligt prestationsbaserad modell införts i regeringens vårändringsbudget 2019 och att det är samma princip, meddelad i forskningspropositionen 2016/17-50 ”Kunskap i samverkan…” som skall gälla. Se exempelvis texten för Göteborgs universitet:

Anslaget beräknas öka med 34 210 000 kronor fr.o.m. 2020 till följd av fördelning av den ökning av universitets och högskolors anslag för forskning och utbildning på forskarnivå som aviserades i forskningspropositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft. Av samma anledning beräknas anslaget öka med 21 391 000 kronor fr.o.m. 2020 vilket medför att ökningen som föreslogs i propositionen Vårändringsbudget för 2019 överförs permanent. (s 180)

Slutsatser

Sammanfattningsvis: mellan 2010-14 använde regeringen en modell att omfördela en del av de befintliga medlen baserat på en prestationsbaserad modell. I budgetarna för 2015 och 2016 på avvikande sätt. I den förra på grund av att det var oppositionens budget som klubbades och i den andra eftersom regeringen tillsköt alla lärosäten medel att åtminstone få 5 miljoner i ökad tilldelning. 2017-2018 användes prestationsbaserad modell för ökade anslag, men inte för 20% av befintliga anslag. 2018 infördes samverkansindikatorn.

I 2019 års budget anges ingen prestationsbaserad tilldelning över huvud taget, men den verkar ha återkommit i vårbudgeten. Slutligen, i 2020 års budget finns de tre prestationsbaserade indikatorerna medtagna. De används för att fördela nya anslag, men inte för att omfördela 20% av forskningsanslagen till lärosätena.

Plan S och lärosätena – borde de vara mer aktiva och ta ansvar?

Posted on by

Vems ansvar är det att göra forskare medvetna om utvecklingen av publiceringssystemet? Jag menar att det är forskares eget ansvar att hålla sig à jour och att bidra till utvecklingen. För Plan S är är inte lärosätenas plan, utan finansiärers. Den är enligt min mening inte heller särskilt radikal, även om den ställer en del invanda, (men om sanningen skall fram, inte särskilt gamla, eller i alla ämnesområden särskilt etablerade) praktiker på ända. När det gäller att göra forskare medvetna om Plan S så har det genomförts såväl öppna hearings av finansiärer och flera lärosäten, som aktiviteter från biblioteken på de flesta lärosäten. Men då Plan S är finansiärernas plan och inte lärosätenas initiativ, så är det märkligt om inte frågorna lyfts upp i forskargrupper och av lokala forskarsamordnare vid institutioner, alltså av oss forskare själva.

Dubrovnik portal / eget foto

Vems ansvar är det att göra forskare medvetna om utvecklingen av publiceringssystemet? Jag menar att det är forskares eget ansvar att hålla sig à jour och att bidra till utvecklingen. För Plan S är är inte lärosätenas plan, utan finansiärers. Den är enligt min mening inte heller särskilt radikal, även om den ställer en del invanda, (men om sanningen skall fram, inte särskilt gamla, eller i alla ämnesområden särskilt etablerade) praktiker på ända. När det gäller att göra forskare medvetna om Plan S så har det genomförts såväl öppna hearings av finansiärer och flera lärosäten, som aktiviteter från biblioteken på de flesta lärosäten. Men då Plan S är finansiärernas plan och inte lärosätenas initiativ, så är det märkligt om inte frågorna lyfts upp i forskargrupper och av lokala forskarsamordnare vid institutioner, alltså av oss forskare själva.

I korthet formaliserar Plan S ett antal villkor för öppen tillgång som följer en lång tradition (med dagens mått mätt): Omedelbar öppen tillgång till minst sakkunniggranskat manuskript (alltså utan embargotider för åtkomsten), att publikationen skall vara maskinläsbar (alltså i någon form av xml) och en tydlig väg bort från så kallad hybridpublicering (”dubbeldippning”, där förlagen tar betalt både för prenumeration och för att köpa ut artikeln för ”öppen tillgång”.

I och med de reviderade implementeringsguiden så förtydligades att det finns många olika vägar till öppen tillgång, inklusive flip av tidskrifter till en fullt öppen modell, bekostad av antingen APC:er, transformativa ”read-and-publish-avtal” (likt det som Norge tecknat med Elsevier, även om det inte är klart att just det avtalet är Plan S tillämpligt) eller fullt öppna tidskrifter med extern finansiering av exempelvis forskningsråd eller andra aktörer. Men också att parallellpublicering i öppna arkiv (av minst sakkunniggranskat manuskript) och i specialfallet hybridtidskrifter med tydlig väg till fullt öppet tillgänglig modell.

Plan S driver alltså på övergången till öppen tillgång och om det är något jag tycker att man skall vara uppmärksam på är att det förstås finns vinstdrivande intressen som gärna vill sko sig på övergången och att koalitionen bakom Plan S inte mer aktivt sökt samordna initiativet med forskardrivna initiativ till öppen tillgång, inte minst preprintarkiv och andra infrastrukturlösningar som OpenAIRE och nationalla publiceringsdatabaser som svenska SwePub och DiVA. Om det skall gå att skapa alternativ till genomkommersialiserade publiceringslösningar så måste det också finnas alternativ som

För just nu så är det faktiskt endast (vissa/hur många?) forskare, som i det länkade brevet ovan, som är riktigt kritiska till den föreslagna vägen. Till och med de flesta kommersiella förlagen uttrycker att de antingen redan är kompatibla (se exv Springer Nature som lanserat sig som utförare av ”Transformative Publishing”) eller indikerar hur de kommer att fortsätta arbeta i relation till Plan S (se tex Wiley’s kommentar om att ”Building Bridges, Not Barriers” nu i veckan).

Jag menar att risken är att vi forskare står kvar själva och kräver att ”vi måste behålla våra värderade hybridtidskrifter”, när resterande aktörer genomför förändringen. Genom att Plan S också väldigt tydligt visar hur de vill minska fokus på forskningsevaluering genom att värdera vilken ”kanal” forskningen publicerats i (läs ’journal impact factor’ eller ’prestigefyllda tidskrifter/förlag’), utan istället värdera forskning för dess eget kvalitativa innehåll, så visar de att de följer sådana viktiga (och i allmänhet hos forskare väl förankrade) ansatser som den så kallade ”San Fransiscodeklarationen” (DORA) eller Leidenmanifestet för ’ansvarsfull bibliometrisk evaluering’.

Min uppfattning är att kritik är viktig, men att vi Plan S inte avviker särskilt mycket från den utstakade väg som behöver tas för att fortsätta och i bästa fall förbättra det vetenskapliga publiceringssystemet så att det gynnar att god forskning kan spridas och återfinnas på ett sätt som gagnar kunskapsbildning. Det nuvarande publieringssystemet har en mängd problem men det är också sant att de värsta scenariorna för Plan S skapar minst lika problematiska strukturer. Därför menar jag att det är viktigt att vi forskare därför gör vår röst hörd genom att med konstruktiv och med kunskaper om det nuvarande publiceringssystemets fördelar och nackdelar visa hur vi vill att ett fungerande och diversifierat system som passar olika former av forskning kan genomföras.

”’Mea culpa’, jag har uppbådat en chimera” var inte svaret vi fick…

Posted on by

Jag debatterar rätt ofta öppen tillgång och särskilt Plan S, efter att europeiska finansiärer gått ut och meddelat att de från och med januari 2020 inte kommer att finansiera vetenskaplig publicering som sker på ett ur deras (och många andras) perspektiv ohållbart sätt.

Jag upplever dock att det är svårt att faktiskt föra debatten eftersom man sällan får svar på sak och att det är faktiskt vanligare att inte få var på ett inlägg än att få det, vare sig det är på sociala medier eller på äldre medias debattsidor.

Det senaste exemplet var en diskussion kring innebörden i Plan S och huruvida den innebär en “låsning vid Gold OA” och att denna låsning skulle vara skriven i “det dokument parter ombads signera -Plan-S – inte reklamen på hemsidan. I detta dokument stod explicit att bara Gold OA skulle godtas.“* För den som tycker debatten är snårig med alla begrepp så vill jag förtydliga att Gold open access är en form av finansiering av öppen tillgång som misstros av vissa debattörer och som dras över en kan att betyda “låg kvalitet” eller tom “predatorisk forskning”. Detta trots att det finns minst lika många goda exempel på god publicering inom denna form som publicering underi andra finansieringsformer. Ett belägg kan man få genom att granska tidskrifter som indexeras av DOAJ, som enligt egen utsago “indexes and provides access to high quality, open access, peer-reviewed journals”. Om man accepterar deras påstående så är det värt att notera att 28 % av deras i dagsläget långt över 10.000 listade tidskrifter bekostas genom APC:er, alltså författaravgifter och därmed är att betrakta som “Gold OA”. Om alla dessa tidskrifter, eller ens en stor del faktiskt har låg kvalitet låter jag någon annan avgöra.

Jag skall inte föra diskussionen vidare här, utan i stället lyfta några reflektioner över debatten om Open access och Plan S så som den har varit fram till nu.

Det är mycket positivt att det vetenskapliga publiceringssystemet har kommit i blickpunkten och att gemene forskare börjat uppmärksamma dess förutsättningar i såväl positiva och negativa termer. Det är också positivt att det innebär ökade kunskaper om publiceringskulturens mångskiftande natur och att förutsättningar för publicering och tillgång till forskning skiftar enormt mellan såväl discipliner som olika aktörer i forskarsamhället. Mest tydligt är att oavsett om publicering är dyrt eller billigt i absoluta termer så är det tydligt att många aktörer menar att det nuvarande publiceringssystemet inte fungerar särskilt väl.

Här brukar man argumentera för att såväl kommersiella förlag som stora vetenskapssamfund gör mycket stora vinster på publiceringsverksamheten, som inte säkert (och i många fall säkert inte) kommer forskarsamhället till godo. Det är inte bara i den globala södern (och utanför väst) som forskare inte har tillgång till ens en bråkdel av den vetenskapliga litteraturen, utan även våra egna universitet och högskolor upplever problemen. För att ta två exempel, uppsägningarna av prenumerationsavtalen med ett viss förlag av såväl de svenska och tyska universitetskonsortierna, samt av University of California mfl amerikanska lärosäten talar sitt tydliga språk. T.o.m. Harvard klagar på kostnaderna och meddelar regelbundet att de väljer att dra in prenumerationer p.g.a. för höga kostnader.

Men det negativa med debatten kring Plan S är att frågan om öppen tillgång har kidnappats av ett svartvitt ”antingen/eller”. Och det värsta är: nästan samtliga som diskuterar Plan S, och i synnerhet ”kritikerna”, gör det baserat på magkänsla och hörsägen. Jag ser sällan källor eller underbyggd kritik som bygger på empiri. När det väl finns källhänvisningar så är det nästan alltid (ja det är nog en överdrift, säg ”förbluffande ofta”) till andra tyckanden, positionsdokument eller editorials som i sin tur bygger på åsikter hos författaren. En stor del av den kritik som lyfts bygger på en missläsning av den dokumentation som presenterats och förlöjligande av såväl positioner som faktiska fakta. Som exempel så kallar en de tio principerna för Plan S, ”reklam”, en annan högprofilerad forskare på sociala medier kallar Plan S en katastrof. En tredje har frågat om inte finansiärerna skall ställas till svars inför domstol för att de står bakom Plan S.

Och rektorerna i Uppsala använder på rektorsbloggen och i Biblioteksbladet uttrycket ”chockterapi” utan att anlägga andra belägg än tyckande och ofullständiga tolkningar situationen. De skriver t ex att rätten att välja publicerings_form_ är lagstadgad i Sverige. Men Högskolelagen anger endast att ”forskningsresultat får fritt publiceras” (alltså utan tillägget “-form”). Det är möjligt att deras läsning faktiskt är giltig, men jag är rädd att den skulle få konstiga effekter om den drogs till sin spets:

Jag kan upplysa** om att i proposition 2009/10:80, som utgör förarbete till att “forskningens frihet” gavs grundlagsskydd så anges i anslutning till detta att just finansiärer äger rätt att sätta ramar (för den akademiska friheten):

”Resurstilldelning och villkor som ställs av t.ex. forskningsfinansiärer, uppdragsgivare och samarbetspartner kan även i fortsättningen ange ramar för forskningen. Den föreslagna bestämmelsen innebär inte heller att det ställs krav på att all forskningsverksamhet som bedrivs i statlig, kommunal, landstingskommunal eller enskild regi måste omfattas av lagstiftning om skydd för forskningens frihet.”

Och hur skulle det annars vara: ”Jag har rätt att publicera i guldboksform: ro hit med en miljon”, skulle annars vara ett rimligt men självklart oansvarigt krav hos forskarsamhället.

Nåväl, lång ”rant”. Jag diskuterar gärna vidare, men prova att göra det på ett juste sätt. Till den som inte gillar planen, och jag kan gärna dela med mig om mina kritiska reflektioner med, men först när jag slipper försvara vad den faktiskt uttrycker, oavsett om jag håller med eller inte. Vidare föreslår jag att vi alla agerar konstruktivt och ger vårt strå till stacken för att bidra till att svara på hur ett hållbart publiceringslandskap skall uppnås.

___
* För mitt vidkommande och framför allt för min professionella gärning skulle det vara jätteintressant om ett sådant dokument finns, men tyvärr har det inte kunnat uppbådas (ping, om någon känner till det, så säg gärna till!).

** EDIT En tidigare version var väldigt oklar här. Jag städade lite i texten.

Ordsamförekomst (co-word analysis) med visualiseringar av Clinton vs. Trump-debatten.

Posted on by

Samförekomstanalys

clintonbinaryassociatstrtfidf80104

Clintons debattinlägg (n=104 fraser).

Dessa båda visualiseringar avbildar samförekomsten av substantivfraser vad gäller frekvens/intensitetoch klustring i den första presidentvalsdebatten mellan Hillary Clinton och Donald Trump, 26 september, 2016.

Jag har arbetar med här med VOSviewer (www.vosviewer.com), en programvara/verktyg utvecklat av scientometrikerna Nees Jan van Eck and Ludo Waltman på CWTS vid Leidens universitet. Det finns en mängd dokumentation på deras webplats, men nedan ger jag min uttolkning av programmets funktion.

Analys

trumpbinaryassociatstrtfidf80126

Trumps repliker (n=126 fraser).

Verktyget erbjuder (förutom dess huvudsakliga syfte, visualisering av aggregerad citeringsdata), att göra co-wordanalyser, en teknik utvecklad inom ANT på 80-talet, som säkerligen utvecklats av lingvister oberoende av dem mycket tidigare. Utöver enkel co-wordanalys är VOSviewer lite mer sofistikerat. Det lånar nämligen lingvistiska tekniker för att tagga ordklasser och identifierar sedan substantivfraser (subst-subst, eller adjektiv-substantiv) för att få mer meningsfulla saker att mäta. Det har också (en rätt dålig teknik) att ta borst plural-s men att döma av ”united state” som jag såg någonstans i bilderna, så trunkerar de bara alla ’s’. Sist erbjuder det en teknik för att välja bort vardagliga termer (TF-IDF) och jag valde på att behålla 80% av fraserna här.

Layout

Det var analysdelen, sedan har det en egen layoutteknik som heter ”Visualisation of Similarities” (VOS) som liknar den mer utvecklade layoutalgoritmen MDS, men till skillnad från den senare så säger sig forskarna ha löst problemet med att MDS har en ”hästskoform” så att ändarna på skänklarna så att säga ser ut att komma nära varandra i visualiseringen, trots att de borde vara så långt från varandra som möjligt. Klustringen är lite blackboxad, men man kan ställa in tröskelvärden för att få olika antal kluster och man har möjlighet att välja färgskalor osv. Sist, det finns både som command-line och som WYSIWYG och jag gillar det sistnämnda eftersom det erbjuder forskaren att interagera med de olika parametrarna.

Visualisering

När det gäller dessa visualiseringar så har jag tweakat lite grann. Det utgår från transkript från debatten i den 26:e september. Jag har skapat en fil för Clintons repliker, en per rad och en för Trumps. Eftersom VOSviewer jobbar med bibliografiska data har jag skapat en taggad fil där jag lurar systemet att varje replik är en titel på ett verk och därmed kan jag be den utföra analyserna på titel/repliknivå.

clintonbinaryassociatstrtfidf80104

Clintons debattinlägg (n=104 fraser). Klicka för fullskärm.

trumpbinaryassociatstrtfidf80126

Trumps repliker (n=126 fraser). Klicka för fullskärm.

Här avbildas de mest relevanta (TF-IDF=80%) substantivfraserna som använts åtminstone två gånger av respektive kandidat i debatten. Storlek på fras=frekvens och spatiell lokalisering=samförekomststyrka. Färgerna som getts till klustren visar endast skillnader mellan områden och har inte harmoniserats mellan visualiseringarna.

Beskrivande statistik:

  • Trump: 124 repliker (datafil)
  • Clinton: 87 repliker (datafil)
  • Holt: 97 repliker (ingen datafil tillgänglig)

Det bör noteras att Trump har många fler repliker än Clinton, vilket bottnar sig i att han har en tendens att avbryta som bland annat noteras här och här.

Källa

Presidential Candidates Debates: “Presidential Debate at Hofstra University in Hempstead, New York,” September 26, 2016. Online by Gerhard Peters and John T. Woolley, The American Presidency Project. http://www.presidency.ucsb.edu/ws/?pid=118971.

Hello?

Posted on by

Stockholms universitets rektor Astrid Söderbergh Widding bloggar om kvalitetssnurran och om hur känslig modellen är. En välciterad artikel i statsvetenskap har fallit utanför det fyraåriga citeringsfönstret och lärosätet skall därför ha tappat 5 procent i prestationsmodellen. Låter mycket men kan vara sant. En sak har hon dock fel om. Kvalitetssnurran togs visserligen bort av den nya regeringen – på oklara grunder – men den återinsattes efter att regeringens budget röstades ner av riksdagen. Om den trots allt inte skulle vara gällande så är det anmärkningsvärt! Lärosätena borde dock veta, för vad jag förstår skall det komma en check med posten varje månad. Någon som vet?

 

 

Peer Review!

Posted on by

I dag kl 14:30 kommer Björklund presentera den nya forskningsproppen och varken “prestationsbaserad” bibliometri via citeringsanalys eller en variant av den norska “resultatbaserade” modellen verkar finnas med som huvudsaklig modell för det konkurensutsatta anslaget. Även anslag baserade på erhållna medel verkar försvinna ur modellen. I stället kommer en fördubblad andel (20% av anslagen) fördelas baserat på en peer reviewbaserad modell som Vetenskapsrådet kommer att få i uppdrag att ta fram. Den nya modellen anges vara baserad på “kvalitetskriterier”.

En livesändning kommer att finnas på regeringens hemsida och förhandsmaterialet kom i morse i form av en debattartikel i DN.

Således verkar regeringen ha gått på VR:s modell som de presenterade i sitt remissvar till Anders Flodströms utredning från i vintras. En indikation på att så skulle bli fallet kom redan i budgeten där Flodström utredning inte ens nämndes vid namn.

 

Det var en intressant utveckling.

 

Uppdatering to em:

Men det är viktigt att notera att detta handlar om fem år fram i tiden. Den nuvarande modellen ligger kvar åtminstone fram till ingången av 2018:

En utgångspunkt för kollegial bedömning bör vara att all forskning regelbundet utvärderas med områdesvisa utvärderingar under en cykel som varar fyra till sex år. En fördelning av resurser utifrån sådan bedömning av forskningens kvalitet kan dock inte vara aktuell att införa förrän tidigast 2018.

http://www.regeringen.se/content/1/c6/20/13/68/ab3950ad.pdf s 63

DN debatt om forskningspolitik och citeringsräkning

Posted on by

Det har varit en ganska intressant forskningspolitisk debatt i DN där bland annat jag gått i svaromål mot ett inlägg av Bo Rothstein som hävdar att svensk humanistisk och samhällsvetenskaplig forskning är provinsiell, åtminstone vad gäller citeringstal i Google Scholar.

Det kan vara svårt att göra reda för debatten genom att endast söka efter den, varför jag gjort en liten översikt över debatten här:
Originalartikeln av Bo finns här:
http://www.dn.se/debatt/svensk-samhallsforskning-ar-alldeles-for-provinsiell (2012-08-15).

Replikerna företräds först av ett inlägg av Arne Jarrick på Vetenskapsrådet:
http://www.dn.se/debatt/ofta-citerad-forskning-ingen-garanti-for-kvalitet (2012-08-15).

Därefter publicerade såväl Björn Hammarfelt, nydisputerad vid institutionen för ABM i Uppsala som undertecknad var sin replik till Rothsteins utspel:

http://www.dn.se/debatt/forskning-ar-inget-100-meterslopp (Björns) (2012-08-16).

http://www.dn.se/debatt/citeringar-inget-matt-pa-kvalitet (mitt) (2012-08-16).

Sist kan man notera två redaktionella kommentarer, dels en från DN:s ledarredaktion som enligt mitt tycke är riktigt välbalanserad: http://www.dn.se/ledare/signerat/forskning-lite-provinsialism-skadar-inte (2012-08-16), samt en på GP:s ledarsida som i stort sett återger den förra:
http://www.gp.se/nyheter/ledare/1.1039746-hur-mater-vi-bra-forskning-?ref=fb (2012-08-19).

Nu har också Rothstein fått in sin slutreplik där han fört in en liten slutkläm om att historikerprofessorer i genomsnitt endast publicerar en artikel var 25 år och att där finns en forskningskultur där internationell publicering inte värderas alls:

http://www.dn.se/debatt/en-forskningskultur-dar-internationell-publicering-inte-alls-varderas (2012-08-20).

Inte nog med det, ett par dagar senare kommer i stort sett samma replik in i GP (2012-08-22), riktad mot den ovan nämnda ledaren i den tidningen, men inte på redaktionell plats utan under Fria Ord, en plats som vanligtvis tar in läsarnas inlägg.

Efterbörd

Debatten är därmed avslutad, men som den databasoholic jag är ville jag pröva dessa påståenden i en datakälla som uppenbarligen inte använts av Bo. Jag prövade vad jag skulle finna om jag sökte jag ut alla poster över refereegranskade tidskriftsartiklar som listats under HSV-klassificeringen “Historia” (notera att det inte nödvändigtvis innebär att författaren är historiker) i de svenska lärosätenas egna publikationsdatabaser. Av 518 artiklar var 304 (58,6 %) på engelska, 156 (30,1 %) på svenska och resten på 9 andra språk eller oklassificerade. Huruvida det är få eller många artiklar har inte undersökts men det motsvarar (till antalet) ganska väl siffran som erhålls vid motsvarande sökning på statsvetenskapliga refereegranskade tidskriftsartiklar (inkl offentlig förvaltning och globaliseringsstudier) (566 st), men här är andelen engelskspråkiga publikationer betydligt högre: 87 %. Siffrorna är inte representativa eftersom jag varken begränsat analysen till ett specifikt tidsintervall eller kontrollerat för antalet forskare i respektive ämne, eller ens till om alla artiklar faktiskt publicerats av företrädarna för respektive ämne.

Vad vill jag då visa med denna trubbiga redogörelse? Jo, att det plakatspråk som används för att helt desavouera ett godtyckligt ämnes trovärdighet främst tilltalar meningsfränder med redan förutfattade föreställningar om sakernas tillstånd (det räcker med att läsa kommentarerna på Rothsteins inlägg för att se vilka antiintellektuella krafter som uppbådas) döljer en mycket mer nyanserad empiri. Det är improduktivt för debatten och leder endast till kontroverser mellan företrädare för ämnen som hellre gräver ner sig i skyttegravar än att konstruktivt söka möten och kanske till och med samarbeten mellan ämnena. Historieämnet liksom andra humanistiska och samhällsvetenskapliga ämnen skulle säkert må bra av att öka sin internationella exponering, men det uppmuntras inte av denna typ av argumentation.

 

(redigerat 2012-08-23, språkliga korrigeringar)

Självreferenser: missbruk av självcitering eller erkänd praktik att göra forskningsresultat kända

Posted on by

© Gustaf Nelhans 2012

Jag har gett mig in i en debatt om självrefererandets vara och inte vara, som förts på ett antal platser på internet. Då den skett på många ställen och ibland under refuserade former eller i direkt konversation med andra debattörer och kommentatorer, erbjuder jag mina inlägg, samt referat och länkar till andra författares bidrag i denna bloggpost.

Först skrev Phil Davis ett inlägg på bloggen Scholarly Kitchen i februari betitlat ”When Journal Editors Coerce Authors to Self-Cite”: http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/ där han diskuterade data från en studie där forskare hade tillfrågats om hur de såg på tidskriftsredaktörers näst intill praxisförfarande att föreslå eller till och med byta ut referenser i inskickade manuskript till referenser i den egna tidskriften. I kommentarsfältet framkom åsikter att detta var en ohederlig verksamhet, men också, från en redaktör kommentaren att det kanske finns ohederliga tidskrifter, men inte i ”våra tidskrifter”, författat av en redaktör för ett mellanstort förlag som utpekats i studien.

Kommentarerna innehöll alltså dels åsikten att det främst fanns anekdotiska indicier på att redaktörer tvingade författare att ta med självreferenser till tidskriften i sina manuskript och dels, att om det händer, så händer det åtminstone någon annan stans.

Då jag hade uppgifter som faktiskt motsade dessa båda ståndpunkter, publicerade jag följande kommentar:

”This is more than anecdotal! I have found an example were an editor-in-chief of an ISI-indexed journal in “health sciences” urges reviewers to make sure submitted manuscripts include self references to the same journal. In the instructions for reviewers, there is a numbered list describing requirements about the length of the manuscript, number of words in the title (a maximum of 12), number of keywords (max 10), and a comment that the keywords should reflect the words in the title and appear in the abstract. But what stands out in the list was the following passage:

“5. Manuscript should refer to at least one article published in ‘*** Journal of *** Sciences’ [the title of the same journal]”

One could assume that this is expected to be a reference to an article that has some bearing on the manuscript at hand, but it is not stated. On this issue, it seems like the question of self citations has been around for a long while and to me, the biggest concern seems to be how to distinguish whether a specific instance of journal self citation is a valid one or not. The question “What is appropriate self referencing” is not as clear cut as it could seem. Given that there could be a variety of reasons for citing a specific reference, it could very well be a grey zone here, where no clear answers could be given.

Nelhans, G, 2012-02-03 kommentar till bloggposten http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/

Till svar fick jag en fråga av Professor Barbara Fister (ibid.) varför jag hade valt att anonymisera tidskriften samt chefredaktörens namn då det ju ledde till att det både var omöjligt att kontrollera mina uppgifter och att sätta press på tidskriften att sluta med denna praktik.

När jag i min tur besvarade henne bredde jag ut texten om att jag var av uppfattningen att krav på självcitering inte alls var någon ovanlig praktik och att jag därför inte ansåg att det var viktigt att utsätta just denna tidskrift för press, då den knappast var ensam om sitt förfarande. Tyvrr refuserades detta inlägg av Scholarly Kitchens redaktörer, varför Fisters kommentar fick stå obemött. Dock svarade jag i ett e-postmeddelande som jag delger här:

“Thanks for your response, the reason is that I see no reason naming “one bad apple” not recognizing that this is part of what seems to be a larger issue in the “impact turn” within scholarly authorship judging by the study referred to above. One could argue that this is a pretty predictable response from researchers/editors/publishers wanting to maximize their impact (if stating it in common science policy terms) or maximizing the reach of the contribution to your peers (taking into account that most readers will have back issues of the same journal readily available while a reference to an obscure journal that is not electronically available (worst case scenario) will be harder to get by to). I think it is better to discuss this issue at a general level and my contribution was thought of as a specific example of how it could look that might interest someone.”

Nelhans, G, E-mail till Barbara Fister, 2012-02-04

I april togs frågan om självciteringar upp på bordet av Scholarly Kitchen igen: I bloggposten ”Emergence of a Citation Cartel”: http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ återgav Phil Davis hur han hade identifierat en tidskrift som på fyra år hade dubblerat sitt värde på Journal Impact Factor från ca 3 till 6 under väldigt speciella omständigheter. Det visade sig nämligen att två andra tidskrifter inom det medicinska området stod för en extremt hög andel av referenserna till den första. I ett fall rörde det sig om en artikel med 450 referenser till den specifika tidskriften, för vilken författarna till artikeln dessutom var chefredaktör, respektive medlemmar av den misstänkt olämpligt uppträdande tidskriftens vetenskapliga redaktionsråd. Således fanns det nu inte bara fakta som kunde bevisa att redaktörer faktiskt tvingade författare att referera den egna tidskriften, utan till och med fall där redaktörerna själva, var involverade i vad som brukar benämnas ”gaming the impact factor”!

I kommentarsfältet framstod åter igen kommentarer om att detta var ”outrageous”, tacksamhet över att detta fall hade blivit ”hunted down”, ”amazing” och andra kraftfulla uttryck. Men det framkommer också kommentarer från företrädare för Thomson Reuters som beskriver hur företaget utvecklar metoder att automatiskt identifiera denna typ av beteende, på såväl tidskriftsnivå gällande självciteringar eller kartellbeteenden.

(Senare har även en intressant diskussion utspelat sig där företrädare för en av de tidskrifter som stod för ett stort antal av de misstänkt olämpligt fabricerade referenserna har försökt bemöta kritiken efter att deras tidskrift avförts från Thomson Reuters Journal Citation Reports. Se även tidskriften  Medical Science Monitor i förteckning på följande länk: http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm.)

När denna bloggpost annonserades på e-postlistan SIGMETRICS-List, som är en ”Virtual Special Interest Group” of the American Society for Information Science and Technology kom den att diskuteras av Open Access Evangelisten Stevan Harnad i ett inlägg betitlat Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;aepqBA;20120410072602-0400

© Gustaf Nelhans 2012

Åter igen var diskussionen om att namnge och ställa syndare i skampålen i full gång, vilket kan utläsas i texten på länken ovan, men också att Open Access skulle vara lösningen på problemet. Om bara all publicerad forskning var tillänglig fritt för var och envar, skulle man kunna utveckla metoder att identifiera denna form av missbruk, men också att OA skulle vara ett medel för att exponera och straffa dem som utfört dem, var hans huvudsakliga argument.

Till detta anförde jag följande kommentar som postades till SIGMETRICS-List http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000:

Dear Professor Harnad,

    I believe that it is not always easy to identify the motives behind specific instances of self references (although in the case at hand, the number of mutual citations identified seem to speak for themselves…). The practice of self citation is (as you acknowledge) not in itself a bad thing, but the problem is how to distinguish its legitimate use from its abuse. This is equally valid on the individual level as in editor-suggested references. I would like to draw into attention an exchange about these matters from 1997, where Eugene Garfield stated:

“Recognising the reality of the Matthew effect, I believe that an editor is justified in reminding authors to cite equivalent references from the same journal, if only because readers of that journal presumably have ready access to it. To call this “manipulation” seems excessive unless the references chosen are irrelevant or mere window dressing.” (Garfield, Eugene. 1997. Editors are justified in asking authors to cite equivalent references from same journal. BMJ 314 (7096):1765. http://www.bmj.com/content/314/7096/1765.2.short )

My question is if there could exist any method of identifying “bad apples” that does not account for the specific context in the article in which the reference is placed. In my understanding of the problem, the proposed way of using statistical methods for identifying baselines for self citations in various fields could be one important step, but I wonder if it would suffice to make the identification process complete?

Best regards,

Gustaf Nelhans

University of Gothenburg, University of Borås,

Sweden

Nelhans, G: E-mail till SIGMETRICS-List, 2012-04-10 http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000

Av någon anledning valde Harnad att inte svara mig (med största sannolikhet missade han mitt inlägg) men nu, mitt i sommaren, när jag själv för första gången på flera veckor tog en titt i min e-postlistemapp innehållande över 1900 meddelanden, uppträdde plötsligt ett svar från Stevan Harnad. Re: Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400 Och så var diskussionen igång igen, nära fyra månader efter att jag skrivit min kommentar. Tydligen hade han blivit uppmärksammad på den nu och bestämt sig för att svara. I svaret, som till punkt och pricka följer på mina frågor och ståndpunkter erbjuder Harnad en intressant utblick över framtida möjligheter att med text analytiska, matematiska och statistiska metoder identifiera kandidater för missbruk som sedan kan analyseras manuellt genom mänsklig evaluering. Inte desto mindre fann jag följande uppsummering av Harnads ståndpunkt intressant:

Global OA not only provides the open database, but it provides the (continuous) open means of flagging anomalies in the population pattern, checking them, and naming and shaming the cases where there really has been willful misuse or abuse.

It’s yet another potential application for crowd-sourcing.

Harnad, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400

Roligt också att Eugene Garfield såg Harnads svar och (oturligt nog) felaktigt korrigerade honom för att ha gett en mindre lämplig länk till en kommentar som Garfield själv hade gett femton år tidigare och som jag hade använt som argument för att hävda att tidskriftsredaktörers förslag om referenser från den egna tidskriften inte per automatik måste betraktas som ett missbruk. Garfields uppfattning 2012 är därför intressant att referera här:

Unfortunately my comments have been distorted in some cases to justify deplorable excesses in the use of references to the same journal when I emphasized that such references should be relevant and not mere window dressing– a blatant attempt to increase the impact factor of the journal in question.

Garfield, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;S8L%2FlA;20120731214459%2B0000

Min slutkommentar, som jag valde att inte skicka till e-postlistan utan direkt till Harnad och Garfield innehöll följande text:

Dear Professors Garfield and Harnad, thank you both for commenting, (I decided to take my response off the Sigmetrics list so that it doesn’t get spammed with comments).

It was I who posted the link to the article back in April not checking if it was available outside the university networks. Thanks for sharing a more accessible way to get to it.

Its usage was simply to argue that individual self citations, as well as editor’s proposals of articles to cite within the same journal should not necessarily be seen as a bad thing per se. Instead, I argued that one would need to analyze the context (within the text) of the cited reference made to be able to judge its status, if indeed such a black-or-white scenario for judging self citations exists…

The question implied, to which Professor Harnad gave many interesting and valuable insights, was therefore if it would be possible to do this based on computations and statistics or if it would require skillful manual labor to make such evaluations. Maybe a combination is the best that could possibly be attained?

Gustaf Nelhans: E-mail till Eugene Garfield och Stevan Harnad,  2012-08-01.

Om detta är sista ordet eller om diskussionen kommer att fortsätta är oklart, men jag kommer att hålla bloggen uppdaterad.

Bibliometrics at the crossroads- Follow up

Posted on by

There has been some buzz after the Chalmers Library / University of Borås co-hosted event “Bibliometrics at the cross roads”.

 

First, a couple of blogs have mentioned the event: Bibliometrics at the Crossroads at the Chalmers Library Biblogg and Bibliometri i vår och höst from the Masters program Digitala tjänster – kultur, information & kommunikation at University of Borås.

There is also a Flickr stream with photos from the event Bibliometrics at the Crossroads from the Chalmers Library’s photostream:

 

 

The Twitter hash tag #bibcross was also very active a couple of days around the event!