Den omöjliga universitetsrankningen

Vid ett par tillfällen (här och här) har jag framfört kritik mot olika versioner av rankning av svenska lärosäten. Vill man läsa en fördjupad och kvalificerad kritik av rankning av lärosäten rekommenderas Högskoleverkets rapport Rankning av universitet och högskolor som studentinformation?(pdf).

Rapporten har utförts på regeringens uppdrag att utreda, granska och kartlägga fenomenet rankning. Rapportens slutsats är entydig: Alldeles oberoende av vilken av de flertaliga metoder för rankning av högre utbildning som tillämpas, fungerar rankning synnerligen dåligt som information till presumtiva studenter som överväger sina utbildningsval.

Skälen är flera och jag går bara in på ett fåtal av dem här. Ett skäl är olika betydande metodproblem som riskerar generera stora brister i datakvalitet, vilket innebär att resultatet, själva rankningen, är osann och irrelevant.

Ett annat skäl är att de flesta modeller för rankning använder en så kallad input-outputmodell, det vill säga konstruerar indikatorer för input till utbildningen (t ex studenters kompetens vid utbildningens start) och output (t ex genomströmning). I de allra flesta rankningsmetoder finns inga eller få indikatorer som säger något om själva undervisnings-/lärandeprocessen, det vill säga kvaliteten i det som sker under utbildningen.

Ett tredje skäl är att studier visar att universitetsrankning har relativt liten betydelse för studenternas val av lärosäte. De relativt få studenter som nyttjar rankningslistor är vanligtvis studenter från akademikerfamiljer och/eller höginkomstfamiljer samt högpresterande studenter i allmänhet.

Ett fjärde och sista skäl är att de flesta rankningar sammanväger indikatorer för hela lärosäten och jämför därmed på en hög aggregerad nivå. För den enskilde studenten som vill få mer information om ett visst utbildningsprogram, säger en sammanvägning inte särskilt mycket om det enskilda utbildningsprogrammet.

En tolkning av rapporten är att de som rankar lärosäten gör det alltför lätt för sig, så lätt att resultatet säger inget särskilt om kvalitet i utbildning. För att citera rapporten: ”… många rankningar bygger på indikatorer som redan finns uppmätta och därmed är enkelt tillgängliga snarare än på indikatorer som konstruktörerna gjort sig ansträngningen att definiera och faktiskt försökt fånga. Kvalitet blir alltså till det som lätt kan mätas" (sid 109).

För att förbättra informationen om högre utbildning till studenter pläderar Högskoleverket snarare för ett interaktivt informationssystem som är mångdimensionellt, med stor variation beträffande indikatorer, så att studenterna själva kan styra såväl urval som värdering av indikatorer. Studenterna ges makt att definiera kvalitet och eventuella jämförelser görs inte genom generella sammanvägningar, utan av varje användare.

Man pläderar också för att utveckla processindikatorer och inte enbart produktindikatorer – att tränga in i den svarta lådan mellan input och output. Att värdera företeelser i undervisningen. Att värdera kvalitetsarbete i processen. Att värdera hur resurser används i utbildningsprocessen. Att använda pedagogiska arbetsformer som kvalitetsindikator för studenter som står inför ett utbildningsval.