måndag, maj 28

Peer review ingen garanti för kvalitet och saklighet

Ofta hänvisas det till att en artikel har genomgått peer review och därmed ska vara sann och ha hög vetenskaplig kvalitet. Robert Higgs, forskare med stor erfarenhet av peer review, berättar om hur det egentligen fungerar [länk]. Inte så smickrande för forskare, tidningar med flera. Nedan följer några utdrag från Higgs artikel. Meningarna är inte ordagrant översatta utan ibland förkortade.

Robert Higgs har 39 års professionell erfarenhet, varav 26 som professor på universitet och 13 som forskare. Higgs har också fungerat som granskare "peer reviewer" för ett trettiotal professionella tidskrifter.

"Det fungerar inte som utomstående tror"

Peer review kan vara allting från en viktig kontroll till en komplett fars. Oftast ligger det någonstans mittemellan. Vilken redaktör som så önskar kan lätt få en inlämnad artikel refuserad och ordna det genom att välja granskare som han vet kommer slå sönder artikeln. Då jag alltid har biträtt unga personer som fått sina artiklar refuserade, till synes av otillräckliga skäl, är hela systemet slumpmässigt. Personliga vendettor, ideologiska konflikter, avundsjuka, oenighet om metoder, eget gynnande, en hel del ren inkompetens och brist på ansvar är inte främmande i den vetenskapliga världen. I alla händelser kan inte peer review garantera att forksningen är korrekt eller drar korrekta slutsatser. Varje vetenskaps historia är en krönika av det ena misstaget efter det andra.

Forskare som förespråkar okonventionella metoder och teorier har stora svårigheter att få sina alster publicerade i de "bästa" tidskrifterna.... vetenskapen är underlig: alla strävar efter att göra nästa genombrott men när någon gör det blir han hälsad på som om han bär på Ebolaviruset. Viktigast är att för att komma någon vart i forskarvärlden måste du följa med strömmen.

I de högsta nivåerna av forskarvärlden är världen liten. Ledande fórskare känner alla viktiga spelare och vad alla andra gör. De deltar i samma konferenser, tillhör samma grupper o.s.v. Om du inte tillhör denna täta krets så kommer det att bli mycket, mycket svårt publicera i "topp" tidskrifter, få forskningsstöd från staten, få inbjudningar att delta i vetenskapliga paneldiskussioner.

..om du inte får anslag kan du inte producera publicerbart material, om du inte publicerar bra artiklar får du inga nya anslag.

Higgs tycker också att man måste klargöra vad en klimatolog kan uttala sig om. De kan uttala sig om vetenskapen om klimatet men INTE säga saker som att "vi måste handla nu" för att tvinga på statliga lösningar av något påhittat slag.
-----------------------------------------------------------------
Min kommentar: Peer review måste tas med en nypa salt. Det är viktigt att veta vilka som varit granskarna. Men i brist på något bättre fyller ändå peer review ett syfte. En artikel som publicerats efter peer review kan mycket väl senare visa sig vara vetenskapligt felaktig och ha dragit felaktiga slutsatser. Publiceringen kan vara riktig ändå. När osäkerheten om vetenskapen är stor behöver många olika teorier få föras fram.

Higgs beskrivning av hur det går till i forskarvärlden visar att det fungerar som i andra delar av samhället. Man håller ihop, det gäller att ha bra kontakter, mycket mygel och spel bakom ryggen, de rätta åsikterna är mycket viktiga, oliktänkande trycks ner o.s.v. Kunde lika gärna kunna vara den politiska världen eller toppen inom näringslivet.

Andra bloggar om: , intressant.se

3 Comments:

At 28 maj, 2007 21:03, Blogger Den siste mohikanen said...

Jag tycker möjligen att peer review visserligen underlättar det dagliga arbetet i forskningen men att det också begränsar inflödet av nya idéer. Huruvida peer review är bra, totalt sett vågar jag inte säga.

Vad som däremot garanterat vore bättre, är ett system där forskare får anslag till att försöka falsifiera andras forskning. Vårt nuvarande system ger väldigt lite pengar till de som försöker bekräfta eller vederlägga andras forskning (utom matematiken tycks det, där finns fortfarande sådana resurser). Ett sådant system accepterar vi idag, trots att forskningens framsteg är lika beroende av vederläggningarna som av de stora upptäckterna.

 
At 29 maj, 2007 16:30, Anonymous Anonym said...

För en tid sedan ställde jag en fråga om hur forskningspengar kan tänkas fördelas. Mohikanen gav ett delvis svar och jag tycker att denna redogörelse för hur Peer Review fungerar i praktiken också ger ett delvis svar. Visst önskar man att vetenskapen ska vara enbart ett sökande efter sanningar men som sagt, människan är som hon är. Vill man göra t.ex. en mobiltelefon finns det inga kompromisser, allt måste vara rätt men inom klimatforskningen visar sig kanske svaret efter 30 år och då har de nu forskningsansvariga antagligen gått i pension och slipper stå till svars. Vad bra!

Jag undrar en annan sak:
Klimatforskningen måste väl vara mycket beroende av framsteg inom annan forskning, tex. åldersbestämningar som utförs på olika lab. Dessa externa grenar borde ju ha en del inflytande och kan larma om de som begärt analysen inte använder resultaten rätt? Kosmologin som nu fört fram teorin om den kosmiska strålningens inverkan på molnbildningen är ett sådant exempel där en forskning som är i utkanten av huvudämnet kan ta initiativet när huvudämnets forskare inte själva reagerar.
Geologin har väl också en del att säga om klimatutvecklingen.

Om peer review inte tar upp nydanande idéer är det väl mer spännande att följa den forskning som inte gått igenom denna process, i alla fall ibland.

Inge

 
At 30 maj, 2007 01:00, Blogger Magnus Andersson said...

anonym: Nir Shaviv fick publicera en rapport i en vetenskaplig tidskrift om just det du beskriver, nämligen kosmisk strålning och jordens klimat med avseende på jordens position i vintergatan; du känner säkert till det där.

Likaså fick Svensmark -- efter mycken möda -- en rapport publicerad efter SKY-experimentet, och det i en mycket prestigefull brittisk vetenskaplig tidskrift. Så även om det är lite trögt så är det inte omöjligt ens när man har teorier som ännu inte slagit igenom inom klimatforskningen. Men många söker nog undvika bli kättare, så det gäller nog att vara noga...

(Vill minnas jag läste om att Nir Shaviv inte kunde nämna, parentetiskt, att resultatet kan ha implikationer för klimatforskningen...)

 

Skicka en kommentar

<< Home