Category Archives: citeringskulturen

Teknologi är blott politik med andra medel

Posted on by

Övergripande evalueringar av det svenska forskningspolitiska systemet saknas nästan helt. Detta är lite förvånande, med tanke på alla inspel till regeringens kommande forskningsproposition som just nu duggar tätt. Några tidningar reproducerar idag en TT-nyhet (1, 2, 3) om en aktuell OECD-rapport som i brist på källhänvisning eller ens avgivande av titeln på rapporten kunde ha gått mig förbi (Insert: Rapporten är en uppföljning av en tidigare utförd evaluering från 2012 (1)). På högskoleläckan gavs dock en länk till ett Vinnovaseminarium Cameldär rapporten hade diskuterats idag. Jag har endast hunnit skumma rapporten, och förutom att den verkar vederhäftig och faktaspäckad i sin analys (trots att den helt saknar referenser till empiriska källdata eller till och med referenser!) så ger den flera ganska kritiska kommentarer till svensk forskningspolitik av idag. I TT-nyheten framställs kritiken vara riktad mot den tidigare Alliansregeringen och även om pekpinnar riktas i den riktningen, så står det klart att även det akademiska ledarskapet vid de svenska lärosätena förtjänar granskning.

Det är notabelt att rapporten genomgående lyfter fram Vinnovas roll i den svenska forskningspolitiken: De skall ansvara för att samhälleliga utmaningar möts, de prisas för sina satsningar på EU-initiativ och att VINNOVA skulle kunna erbjuda ett korrelat mot dominansen av akademiker bland forskningsrådens ledamöter[!] (s 22)

Till rapportens mer specifika bidrag vill jag lyfta följande:

Resonemanget om kraven på ökade basanslag, som nästan enhälligt lyfts av akademin idag är särskilt viktigt att skärskåda och reflektera över:

“While Swedish universities have for some decades made it clear that they want to receive a higher proportion of their research income in the form of institutional funding or GUF*, evidence from international experience or statistics does not show any clear way to connect the proportion of university income from this source with overall performance” (s 13),

och lite längre ner verkar rapporten snarare lägga ansvaret på lärosätenas ledningar:

“it appears that Sweden’s “good but not sufficiently excellent” scientific performance points to a failure by university management to be selective combined with sub-optimal mechanisms affecting the allocation of funds (whether from TPF with its medium-sized instruments or from the way the universities allocate GUF Internally).” (ibid.)

Kan det månne vara att de flesta lärosätena har försökt kopiera den nationella resurstilldelningsprincipen (bibliometri och externa anslag) ner på fakultets-, institutions- eller till och med individnivå? Detta utan evidens att sådana modeller fungerar på dessa lägre nivåer. Ytterligare en aspekt är att lärosätenas ledningar riskerar att frånsäga sig möjligheten till strategiska satsningar när de bakbinds av de mekanistiska systemen?

Så här skriver jag och Pieta Eklund i ett längre utdrag ur vår rapport om resurstilldelningsmodeller vid svenska lärosäten:

“(L)ärosätenas ledningar riskerar att förlora möjligheten att bedriva ett aktivt kvalitetsgrundande arbete när till synes neutrala och förment sakliga data tillåts utöva direkt avräkning mot forskarnas prestationer i en resursfördelningsmodell. För att utveckla detta resonemang vill vi argumentera för att en tilltro till en alltför standardiserad, och en för vetenskapen generellt utvecklad bibliometrisk indikatormodell riskerar att bli en hämsko för den ledning som aktivt vill styra forskningen mot att utveckla egna profilområden och satsningar på vad som vid lärosätet uppfattas som starka miljöer. Det är exempelvis tveksamt om en indikatormodell som endast ger incitament att publicera i specifika kanaler kan gynna forskningens kvalitet annat än att stärka lärosätets prestation i den nationella tilldelningen. En sådan instrumentell syn på det vetenskapliga publicerandet är problematisk av flera skäl. Förutom att det helt missar publicerandets aktiva roll i den vetenskapliga praktiken som en integrerad del av vad det innebär ”att forska”, riskerar man att förlora initiativet att leda den egna verksamheten. När man sätter sin tillit till externa processer eller till och med de automatiserade verktyg som indikatormodellerna erbjuder så tvingas man att underställa sig detta verktygs agens och betrakta detta som styrande för de egna kvalitetsgranskningssystemen. Slutligen är detta kortsiktigt, då såväl indexets tekniska funktion som politikens inriktning och nationella modell är i ständig omvandling. Vad som gynnar lärosätet och dess forskare vid en tidpunkt kan mycket väl vara negligerbart, eller i värsta fall verka negativt i den ekonomiska fördelningen fyra till fem år senare när utfallet av prestationer mäts och värderas.” (Nelhans och Eklund, 2015, s 51-52)

En mycket glädjande uppmaning är att OECD-rapporten föreslår att Sverige skall satsa mer på foresight och andra övningar för att bättre identifiera strategiska områden värda att satsa på. Mindre glädjande är avsaknaden av humaniora och samhällsvetenskaperna med sin kritiska förmåga att granska och ställa den implicita teknikdeterminismen i “innovationssystem” i strålkastarljuset. Det behövs mer än tekniskt “know-how” för att nå framgång i forskning och innovation; det krävs reflexiv förmåga att relatera kortsiktiga lösningar till långsiktiga samhälleliga och ekologiska problem. Informationsteknologins snabba utveckling reser många frågor om övervakning och kontroll. Och att mänsklig integritet kommer i skymundan är mer regel än undantag. För vem kan förvägra reglering eller underrättelsetjänsters möjlighet att lyssna av krypterade elektroniska nätverk som Skype, WhatsApp och Kik, när det avslöjas att terroristerna bakom de avskyvärda attackerna i Paris verkar ha begagnat sig av dessa kommunikationsmedel för att undvika att bli upptäckta? Teknologi är blott politik med andra medel.

Referenser:

Nelhans, G. & Eklund, P. (2015). Resursfördelningsmodeller på bibliometrisk grund vid ett urval svenska lärosäten. Vetenskap för profession Nr. 30, ISSN 1654-6520. Borås: Högskolan i Borås (1).

OECD Reviews of Innovation Policy: Sweden 2015. Overall Assessment and Recommendations Preliminary Version (1).

* Här är en kort förkortningsordlista: TPF: Third Party Funding = externa anslag; GUF: General University Funds = basanslag, om jag förstår rapporten rätt.

När professorer träter om citeringar (akademisk p*ckmätning)

Posted on by

Kan inte låta bli att kommentera en diskussion om citeringsmått som följd av Rothsteins säkra uttalande i GP om att ett bra citeringsmått i Google Scholar är 3000. Ett dåligt, däremot är 60. Terrorismforskaren Magnus Ranstorp utmanar då plötsligt statsvetaren Ulf Bjereld i citeringsmätning. Mina kommentarer (om än korta) är för långa för Twitter, så jag samlar dem här i stället:

Det finns flera studier som utvärderat Google Scholar (GS) som verktyg att evaluera forskning. Det stora flertalet kommer fram till att det inte passar för detta. GS indexerar inte peer reviewad litteratur per se, utan allsköns material som ser vetenskapligt ut. Referenserna kan lika väl komma från studentuppsatser, pressmeddelanden (OCH vetenskaplig litteratur).

De båda etablerade citeringsdatabaserna, Web of Science och Scopus, anses (på gott och ont) ha sådan kvalitetskontroll och öppenhet vad gäller urval och indexeringsmetod att de kan utnyttjas som komplement till evaluering, dock ej på individnivå. Täckningsgraden för samhällsvetenskap och humaniora är dock bristfällig, liksom för internationell litteratur (vilken litteratur är inte internationell?) som inte är publicerad i engelskspråkiga tidskrifter.

Om man trots allt, för att stilla ett aldrig sinande intresse att jämföra sig med andra (eller i det här fallet andra med andra), ändå gör jämförelsen mellan de båda professorerna i de etablerade citeringsdatabaserna får man följande resultat (idag):

Web of Science: Ranstorp: 17 citeringar på 4 publikationer: Bjereld 34 på 5 publikationer.

Nu bör man författarfraktionera och då har Bjereld 22 och Ranstorp  8,5.

Bjereld har en självcitering så kanske skulle vi säga 21. Ranstorp har ingen och landar på 8,5.

Nu bör vi också fältfraktionera citeringarna eftersom forskarna företräder något olika ämnen med olika förväntad citeringsgrad. Och så bör publiceringarna ämnesnormeras. (Men det är efter midnatt och hela uppgiften är ju egentligen ganska meningslös, så jag hoppar över det här. Vetenskapsrådet har uppdaterade värden för fältfraktionerade citeringar och mindre väl uppdaterade om publikationers ämnesnorm).

I databasen Scopus däremot är skillnaden till Ranstorps fördel:

Bjereld: 38 citeringar/6 publikationer vilket motsvarar 18,8 författarfraktionerade citeringar mot Ranstorp: 71/16 = 58 författarfraktionerade.

Found on the net

Summa summarum. Valet av databas är viktigt för utfallet och bibliometriska analyser bör göras med nogsamhet för såväl metodologiska problem som det svåra att utföra statistiska undersökningar på allt för små populationer.

DN debatt om forskningspolitik och citeringsräkning

Posted on by

Det har varit en ganska intressant forskningspolitisk debatt i DN där bland annat jag gått i svaromål mot ett inlägg av Bo Rothstein som hävdar att svensk humanistisk och samhällsvetenskaplig forskning är provinsiell, åtminstone vad gäller citeringstal i Google Scholar.

Det kan vara svårt att göra reda för debatten genom att endast söka efter den, varför jag gjort en liten översikt över debatten här:
Originalartikeln av Bo finns här:
http://www.dn.se/debatt/svensk-samhallsforskning-ar-alldeles-for-provinsiell (2012-08-15).

Replikerna företräds först av ett inlägg av Arne Jarrick på Vetenskapsrådet:
http://www.dn.se/debatt/ofta-citerad-forskning-ingen-garanti-for-kvalitet (2012-08-15).

Därefter publicerade såväl Björn Hammarfelt, nydisputerad vid institutionen för ABM i Uppsala som undertecknad var sin replik till Rothsteins utspel:

http://www.dn.se/debatt/forskning-ar-inget-100-meterslopp (Björns) (2012-08-16).

http://www.dn.se/debatt/citeringar-inget-matt-pa-kvalitet (mitt) (2012-08-16).

Sist kan man notera två redaktionella kommentarer, dels en från DN:s ledarredaktion som enligt mitt tycke är riktigt välbalanserad: http://www.dn.se/ledare/signerat/forskning-lite-provinsialism-skadar-inte (2012-08-16), samt en på GP:s ledarsida som i stort sett återger den förra:
http://www.gp.se/nyheter/ledare/1.1039746-hur-mater-vi-bra-forskning-?ref=fb (2012-08-19).

Nu har också Rothstein fått in sin slutreplik där han fört in en liten slutkläm om att historikerprofessorer i genomsnitt endast publicerar en artikel var 25 år och att där finns en forskningskultur där internationell publicering inte värderas alls:

http://www.dn.se/debatt/en-forskningskultur-dar-internationell-publicering-inte-alls-varderas (2012-08-20).

Inte nog med det, ett par dagar senare kommer i stort sett samma replik in i GP (2012-08-22), riktad mot den ovan nämnda ledaren i den tidningen, men inte på redaktionell plats utan under Fria Ord, en plats som vanligtvis tar in läsarnas inlägg.

Efterbörd

Debatten är därmed avslutad, men som den databasoholic jag är ville jag pröva dessa påståenden i en datakälla som uppenbarligen inte använts av Bo. Jag prövade vad jag skulle finna om jag sökte jag ut alla poster över refereegranskade tidskriftsartiklar som listats under HSV-klassificeringen “Historia” (notera att det inte nödvändigtvis innebär att författaren är historiker) i de svenska lärosätenas egna publikationsdatabaser. Av 518 artiklar var 304 (58,6 %) på engelska, 156 (30,1 %) på svenska och resten på 9 andra språk eller oklassificerade. Huruvida det är få eller många artiklar har inte undersökts men det motsvarar (till antalet) ganska väl siffran som erhålls vid motsvarande sökning på statsvetenskapliga refereegranskade tidskriftsartiklar (inkl offentlig förvaltning och globaliseringsstudier) (566 st), men här är andelen engelskspråkiga publikationer betydligt högre: 87 %. Siffrorna är inte representativa eftersom jag varken begränsat analysen till ett specifikt tidsintervall eller kontrollerat för antalet forskare i respektive ämne, eller ens till om alla artiklar faktiskt publicerats av företrädarna för respektive ämne.

Vad vill jag då visa med denna trubbiga redogörelse? Jo, att det plakatspråk som används för att helt desavouera ett godtyckligt ämnes trovärdighet främst tilltalar meningsfränder med redan förutfattade föreställningar om sakernas tillstånd (det räcker med att läsa kommentarerna på Rothsteins inlägg för att se vilka antiintellektuella krafter som uppbådas) döljer en mycket mer nyanserad empiri. Det är improduktivt för debatten och leder endast till kontroverser mellan företrädare för ämnen som hellre gräver ner sig i skyttegravar än att konstruktivt söka möten och kanske till och med samarbeten mellan ämnena. Historieämnet liksom andra humanistiska och samhällsvetenskapliga ämnen skulle säkert må bra av att öka sin internationella exponering, men det uppmuntras inte av denna typ av argumentation.

 

(redigerat 2012-08-23, språkliga korrigeringar)

Självreferenser: missbruk av självcitering eller erkänd praktik att göra forskningsresultat kända

Posted on by

© Gustaf Nelhans 2012

Jag har gett mig in i en debatt om självrefererandets vara och inte vara, som förts på ett antal platser på internet. Då den skett på många ställen och ibland under refuserade former eller i direkt konversation med andra debattörer och kommentatorer, erbjuder jag mina inlägg, samt referat och länkar till andra författares bidrag i denna bloggpost.

Först skrev Phil Davis ett inlägg på bloggen Scholarly Kitchen i februari betitlat ”When Journal Editors Coerce Authors to Self-Cite”: http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/ där han diskuterade data från en studie där forskare hade tillfrågats om hur de såg på tidskriftsredaktörers näst intill praxisförfarande att föreslå eller till och med byta ut referenser i inskickade manuskript till referenser i den egna tidskriften. I kommentarsfältet framkom åsikter att detta var en ohederlig verksamhet, men också, från en redaktör kommentaren att det kanske finns ohederliga tidskrifter, men inte i ”våra tidskrifter”, författat av en redaktör för ett mellanstort förlag som utpekats i studien.

Kommentarerna innehöll alltså dels åsikten att det främst fanns anekdotiska indicier på att redaktörer tvingade författare att ta med självreferenser till tidskriften i sina manuskript och dels, att om det händer, så händer det åtminstone någon annan stans.

Då jag hade uppgifter som faktiskt motsade dessa båda ståndpunkter, publicerade jag följande kommentar:

”This is more than anecdotal! I have found an example were an editor-in-chief of an ISI-indexed journal in “health sciences” urges reviewers to make sure submitted manuscripts include self references to the same journal. In the instructions for reviewers, there is a numbered list describing requirements about the length of the manuscript, number of words in the title (a maximum of 12), number of keywords (max 10), and a comment that the keywords should reflect the words in the title and appear in the abstract. But what stands out in the list was the following passage:

“5. Manuscript should refer to at least one article published in ‘*** Journal of *** Sciences’ [the title of the same journal]”

One could assume that this is expected to be a reference to an article that has some bearing on the manuscript at hand, but it is not stated. On this issue, it seems like the question of self citations has been around for a long while and to me, the biggest concern seems to be how to distinguish whether a specific instance of journal self citation is a valid one or not. The question “What is appropriate self referencing” is not as clear cut as it could seem. Given that there could be a variety of reasons for citing a specific reference, it could very well be a grey zone here, where no clear answers could be given.

Nelhans, G, 2012-02-03 kommentar till bloggposten http://scholarlykitchen.sspnet.org/2012/02/02/when-journal-editors-coerce-authors-to-self-cite/

Till svar fick jag en fråga av Professor Barbara Fister (ibid.) varför jag hade valt att anonymisera tidskriften samt chefredaktörens namn då det ju ledde till att det både var omöjligt att kontrollera mina uppgifter och att sätta press på tidskriften att sluta med denna praktik.

När jag i min tur besvarade henne bredde jag ut texten om att jag var av uppfattningen att krav på självcitering inte alls var någon ovanlig praktik och att jag därför inte ansåg att det var viktigt att utsätta just denna tidskrift för press, då den knappast var ensam om sitt förfarande. Tyvrr refuserades detta inlägg av Scholarly Kitchens redaktörer, varför Fisters kommentar fick stå obemött. Dock svarade jag i ett e-postmeddelande som jag delger här:

“Thanks for your response, the reason is that I see no reason naming “one bad apple” not recognizing that this is part of what seems to be a larger issue in the “impact turn” within scholarly authorship judging by the study referred to above. One could argue that this is a pretty predictable response from researchers/editors/publishers wanting to maximize their impact (if stating it in common science policy terms) or maximizing the reach of the contribution to your peers (taking into account that most readers will have back issues of the same journal readily available while a reference to an obscure journal that is not electronically available (worst case scenario) will be harder to get by to). I think it is better to discuss this issue at a general level and my contribution was thought of as a specific example of how it could look that might interest someone.”

Nelhans, G, E-mail till Barbara Fister, 2012-02-04

I april togs frågan om självciteringar upp på bordet av Scholarly Kitchen igen: I bloggposten ”Emergence of a Citation Cartel”: http://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/ återgav Phil Davis hur han hade identifierat en tidskrift som på fyra år hade dubblerat sitt värde på Journal Impact Factor från ca 3 till 6 under väldigt speciella omständigheter. Det visade sig nämligen att två andra tidskrifter inom det medicinska området stod för en extremt hög andel av referenserna till den första. I ett fall rörde det sig om en artikel med 450 referenser till den specifika tidskriften, för vilken författarna till artikeln dessutom var chefredaktör, respektive medlemmar av den misstänkt olämpligt uppträdande tidskriftens vetenskapliga redaktionsråd. Således fanns det nu inte bara fakta som kunde bevisa att redaktörer faktiskt tvingade författare att referera den egna tidskriften, utan till och med fall där redaktörerna själva, var involverade i vad som brukar benämnas ”gaming the impact factor”!

I kommentarsfältet framstod åter igen kommentarer om att detta var ”outrageous”, tacksamhet över att detta fall hade blivit ”hunted down”, ”amazing” och andra kraftfulla uttryck. Men det framkommer också kommentarer från företrädare för Thomson Reuters som beskriver hur företaget utvecklar metoder att automatiskt identifiera denna typ av beteende, på såväl tidskriftsnivå gällande självciteringar eller kartellbeteenden.

(Senare har även en intressant diskussion utspelat sig där företrädare för en av de tidskrifter som stod för ett stort antal av de misstänkt olämpligt fabricerade referenserna har försökt bemöta kritiken efter att deras tidskrift avförts från Thomson Reuters Journal Citation Reports. Se även tidskriften  Medical Science Monitor i förteckning på följande länk: http://admin-apps.webofknowledge.com/JCR/static_html/notices/notices.htm.)

När denna bloggpost annonserades på e-postlistan SIGMETRICS-List, som är en ”Virtual Special Interest Group” of the American Society for Information Science and Technology kom den att diskuteras av Open Access Evangelisten Stevan Harnad i ett inlägg betitlat Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;aepqBA;20120410072602-0400

© Gustaf Nelhans 2012

Åter igen var diskussionen om att namnge och ställa syndare i skampålen i full gång, vilket kan utläsas i texten på länken ovan, men också att Open Access skulle vara lösningen på problemet. Om bara all publicerad forskning var tillänglig fritt för var och envar, skulle man kunna utveckla metoder att identifiera denna form av missbruk, men också att OA skulle vara ett medel för att exponera och straffa dem som utfört dem, var hans huvudsakliga argument.

Till detta anförde jag följande kommentar som postades till SIGMETRICS-List http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000:

Dear Professor Harnad,

    I believe that it is not always easy to identify the motives behind specific instances of self references (although in the case at hand, the number of mutual citations identified seem to speak for themselves…). The practice of self citation is (as you acknowledge) not in itself a bad thing, but the problem is how to distinguish its legitimate use from its abuse. This is equally valid on the individual level as in editor-suggested references. I would like to draw into attention an exchange about these matters from 1997, where Eugene Garfield stated:

“Recognising the reality of the Matthew effect, I believe that an editor is justified in reminding authors to cite equivalent references from the same journal, if only because readers of that journal presumably have ready access to it. To call this “manipulation” seems excessive unless the references chosen are irrelevant or mere window dressing.” (Garfield, Eugene. 1997. Editors are justified in asking authors to cite equivalent references from same journal. BMJ 314 (7096):1765. http://www.bmj.com/content/314/7096/1765.2.short )

My question is if there could exist any method of identifying “bad apples” that does not account for the specific context in the article in which the reference is placed. In my understanding of the problem, the proposed way of using statistical methods for identifying baselines for self citations in various fields could be one important step, but I wonder if it would suffice to make the identification process complete?

Best regards,

Gustaf Nelhans

University of Gothenburg, University of Borås,

Sweden

Nelhans, G: E-mail till SIGMETRICS-List, 2012-04-10 http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;U8f76g;20120410144317%2B0000

Av någon anledning valde Harnad att inte svara mig (med största sannolikhet missade han mitt inlägg) men nu, mitt i sommaren, när jag själv för första gången på flera veckor tog en titt i min e-postlistemapp innehållande över 1900 meddelanden, uppträdde plötsligt ett svar från Stevan Harnad. Re: Online Academic Abuses and the Power of Openness: Naming & Shaming: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400 Och så var diskussionen igång igen, nära fyra månader efter att jag skrivit min kommentar. Tydligen hade han blivit uppmärksammad på den nu och bestämt sig för att svara. I svaret, som till punkt och pricka följer på mina frågor och ståndpunkter erbjuder Harnad en intressant utblick över framtida möjligheter att med text analytiska, matematiska och statistiska metoder identifiera kandidater för missbruk som sedan kan analyseras manuellt genom mänsklig evaluering. Inte desto mindre fann jag följande uppsummering av Harnads ståndpunkt intressant:

Global OA not only provides the open database, but it provides the (continuous) open means of flagging anomalies in the population pattern, checking them, and naming and shaming the cases where there really has been willful misuse or abuse.

It’s yet another potential application for crowd-sourcing.

Harnad, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;%2BOgAwQ;20120731100248-0400

Roligt också att Eugene Garfield såg Harnads svar och (oturligt nog) felaktigt korrigerade honom för att ha gett en mindre lämplig länk till en kommentar som Garfield själv hade gett femton år tidigare och som jag hade använt som argument för att hävda att tidskriftsredaktörers förslag om referenser från den egna tidskriften inte per automatik måste betraktas som ett missbruk. Garfields uppfattning 2012 är därför intressant att referera här:

Unfortunately my comments have been distorted in some cases to justify deplorable excesses in the use of references to the same journal when I emphasized that such references should be relevant and not mere window dressing– a blatant attempt to increase the impact factor of the journal in question.

Garfield, E-mail till SIGMETRICS-List, 2012-07-31: http://listserv.utk.edu/cgi-bin/wa?A2=sigmetrics;S8L%2FlA;20120731214459%2B0000

Min slutkommentar, som jag valde att inte skicka till e-postlistan utan direkt till Harnad och Garfield innehöll följande text:

Dear Professors Garfield and Harnad, thank you both for commenting, (I decided to take my response off the Sigmetrics list so that it doesn’t get spammed with comments).

It was I who posted the link to the article back in April not checking if it was available outside the university networks. Thanks for sharing a more accessible way to get to it.

Its usage was simply to argue that individual self citations, as well as editor’s proposals of articles to cite within the same journal should not necessarily be seen as a bad thing per se. Instead, I argued that one would need to analyze the context (within the text) of the cited reference made to be able to judge its status, if indeed such a black-or-white scenario for judging self citations exists…

The question implied, to which Professor Harnad gave many interesting and valuable insights, was therefore if it would be possible to do this based on computations and statistics or if it would require skillful manual labor to make such evaluations. Maybe a combination is the best that could possibly be attained?

Gustaf Nelhans: E-mail till Eugene Garfield och Stevan Harnad,  2012-08-01.

Om detta är sista ordet eller om diskussionen kommer att fortsätta är oklart, men jag kommer att hålla bloggen uppdaterad.

Bibliometrics at the crossroads- Follow up

Posted on by

There has been some buzz after the Chalmers Library / University of Borås co-hosted event “Bibliometrics at the cross roads”.

 

First, a couple of blogs have mentioned the event: Bibliometrics at the Crossroads at the Chalmers Library Biblogg and Bibliometri i vår och höst from the Masters program Digitala tjänster – kultur, information & kommunikation at University of Borås.

There is also a Flickr stream with photos from the event Bibliometrics at the Crossroads from the Chalmers Library’s photostream:

 

 

The Twitter hash tag #bibcross was also very active a couple of days around the event!

Bibliometrics at the Crossroads seminar

Posted on by

Yesterday I gave a seminar at the Bibliometrics at the crossroads half day seminar hosted by Chalmers Library and Borås University (#bibcross). First keynote speaker was Blaise Cronin, who gave a marvelously imaginative talk about his visions on scholarly publishing and bibliometric analysis in what could be described as a post academic setting where collaboration does not necessarily mean professor – to professor work, but a shared authorship roles between people both within and outside academia. He especially noted the quick changes and the fast uptake of research today and the demands it creates for publishers.

 

My own humble contribution was called: Inscribed and circumscribed by citations – Indicators, impact and quality in the humanities and social sciences. If anyone wants to summarize it, I would be most grateful…

 

CRISTIN och CRISSE

Posted on by

I Norge har ett övergripande forskningssystem införts, betitlat CRISTIN, där förledet i namnet är hämtat från det etablerade begreppet ”Current Research Information System” medan efterledet syftar till ”In Norway”. Förutom publikationer utgörs systemet av databaser över forskare, projekt och norska forskningsenheter. Dit har vi inte nått i Sverige ännu. Men det skulle kunna bli verklighet om den förändring som väntas föreslås i en snart publicerad utredning av forskningsmedelsfördelning i Sverige kommer till stånd. Av rapporter från SUHF:s Årskonferens (här, här och här) väntas det föreslås ett  byte av bibliometriskt system för fördelning av forskningsmedel från publikationer och citeringar i Thomson Reuters Web of Science till ett mer norskliknande system under Kungliga Bibliotekets SwePub. Den nya forskningspolitiska infrastrukturen skulle förslagsvis kunna benämnas CRISSE (där de två sista bokstäverna står för Sveriges nationsbeteckning ‘SE’).

Det finns inte mycket information om utredningen på regeringens webbplats, annat än i förbifarten i ett pressmeddelandet som meddelade att utredaren, Anders Flodström, lämnade uppdraget som universitetskansler vid Högskoleverket 2010.

När rektorerna i Lund bloggade om innehållet i den nya utredningen blev det dock lite otydligt, tycker jag. Där anges att den nya modellen väljer impact factor i stället för citeringar som mått, men det är ju endast hälften korrekt att säga “i stället” eftersom impact factor är ett direkt derivat av citeringsmått i just Thomson Reuters Web of Science. Bättre i så fall att säga att man väljer att belöna publikation i vissa specifika kanaler (nämligen tidskrifter med hög journal impact factor) i stället för att fördela baserat på mått som jämför varje enskild publikations förhållande till förväntad citeringsgrad för en genomsnittlig publikation i samma ämnesområde, som den nu etablerade modellen gör. Det gör att den föreslagna modellen i allt väsentligt är en citeringsanalysbaserad modell den med. En debatt om detta kommer säkert följa snart efter utredningens publicering.

I den norska modellen (som är förebild för de strömningar som väntas föreslås) erbjuds dock “mjukare vetenskaper” som samhällsvetenskap och humaniora, vilka inte täcks särskilt väl i Web of Science möjlighet att registreras bibliometriskt genom att även publikationskanaler som inte finns med i Thomson Reuters tidskrifts- och konferensdatabaser kan registreras. Dock kan man notera att Thomson Reuters nyligen lanserat två nya databaser, innefattande bokpublikation i naturvetenskap, respektive samhällsvetenskap:

Book Citation Index– Science (BKCI-S) –2005-present

Book Citation Index– Social Sciences & Humanities (BKCI-SSH) –2005-present

Det skall bli intressant att studera vad dessa databaser innehåller och i vilken mån den svenska humanistiska och samhällsvetenskapliga forskningen tar sig ut där.

Man kan ha olika åsikter om system som belönar kanal i stället för publikationens aktuella impact, men det är tydligt att man bör hålla samma distans till Impact Factor-baserade mått som till direkta citeringsmått. Thomson Reuters avråder själva från användning av Impact Factor utan “wise” peer review:

USING THE IMPACT FACTOR WISELY Thomson Reuters does not depend on the impact factor alone in assessing the usefulness of a journal, and neither should anyone else. The impact factor should not be used without careful attention to the many phenomena that influence citation rates, as for example the average number of references cited in the average article. The impact factor should be used with informed peer review. In the case of academic evaluation for tenure it is sometimes inappropriate to use the impact of the source journal to estimate the expected frequency of a recently published article. Again, the impact factor should be used with informed peer review. Citation frequencies for individual articles are quite varied.

Källa: The Thomson Reuters Impact Factor

Med anledning av Times Higher Education’s list of the world’s top universities for 2011-2012.

Posted on by

Times Higher Education’s list of the world’s top universities for 2011-2012.

Times Higher Education (THE) har levererat sin årliga ranking över världens lärosäten.  Den globala listan är inte så förvånande: toppuniversitet i USA och Storbritannien slåss om topp 10 och några få universitet utanför den anglofona världen finns med bland de femtio främsta i världen. Karolinska institutet når en hedrande 32:a plats (upp från plats 43 i förra årets ranking, men annars är det glest med Svenska lärosäten fram till plats 80 (Lunds universitet) och 87 Uppsala universitet. Mitt eget universitet, GU hamnar i intervallet 201-225, tillsammans med lärosäten som Colorado School of Mines (USA), Nagoya university (JP) och Universität Ulm (De).

Men det finns mycket att säga om sådana rankingmodeller och jag vill särskilt rikta blicken mot de bibliometriska mått som används, eftersom dessa ingår i mina intresseområden. Vad som är viktigt att notera är i vilken grad olika rankingmodeller ger fundamentala skillnader i utkomst. Ta t ex THE:s citeringsmått jämfört med VR:s medelciteringsmått för lärosätena. Båda är normerade utifrån varje artikels ämnesområdes förväntade citeringsgrad men skiljer sig åt i flera avseenden.

Nedanstående tabell jämför de tio svenska lärosäten som THE rankat baserat på kategorin citeringar i denna lista med måttet på fältnormerad medelcitering för samma lärosäte baserat på VR:s (egentligen Högskoleverkets) modell.

 

VR medel-citering* THE Citations THE Rank** THE citrank VR rank THE rank (sv)***
Stockholms universitet 1,32 90,2 131 1 1 4
Karolinska institutet 1,25 73,1 32 2 2 1
Lunds universitet 1,15 72,8 80 3 4 2
Umeå universitet 1,08 59,4 225 4 9 7
Göteborgs universitet 1,11 55,7 225 5 5 6
Uppsala universitet 1,1 53,3 87 6 8 3
Sveriges lantbruksuniv. 1,25 49,8 250 7 3 9
Linköpings universitet 1,06 42,8 350 8 10 10
Chalmers tekniska högskola 1,11 36,3 250 9 6 8
Kungliga tekniska högskolan 1,11 34,1 187 10 7 5
__
*VR:s fältnormerad citeringsgrad
** THE-rank i den globala listan
*** Rankordning bland svenska universitet i THE.

1:an och 2:an är ioch för sig samma: SU följt av KI och THE har Lund och Umeå som trea resp fyra med GU som nr 5. Baserat på VR:s mått på fältnormerad medelciteringsgrad rankas däremot Sveriges Lantbruksuniversitet som 3:a (7:a i THE) och Lund som 4:a och GU åter som 5:a. Den nedre halvan bjuder på fler skilnader mellan utfallen av beräkningsmåtten som kan utläsas ur tabellen ovan.

Summa summarum: Trots samma datamaterial (ISI Web of Science) och likartade citeringsmått (fältnormerade citeringar) skiljer sig rankingen mellan olika lärosäten åt på ett betydande vis mellan olika rankingar baserade på likartade sätt att beräkna mått. Den vetenskapsteoretiska tolkningen lutar åt att detta tyder på att bibliometri som måttstock på vetenskaplig prestation fortfarande är underutvecklad och att mått att beräkna prestationsindikatorer ännu inte stabiliserat sig utan att det finns ett stort utvecklingsarbete kvar.

Källor:

Times Higher Education’s list of the world’s top universities for 2011-2012.

Vetenskapsrådet: Svar på fördelningsunderlag 2011