Den svåra konsten att mäta kunskap

Elever skriver ett flertal nationella prov i olika årskurser, en del elever genomför dessutom ytterligare prov för att vi vill veta hur Sverige ligger till i vissa ämnen i jämförelse med andra länder. Proven ger viktig information men man bör ständigt reflektera över hur skoltiden används, till exempel innebär fler prov att tiden för att erhålla kunskap minskar.

Jag har arbetat under större delen av mitt yrkesliv med kunskapsprov och att utveckla statistiska metoder som kan användas i samband med standardiserade kunskapsprov. Exempel på kunskapsprov som jag arbetat med i min forskning inkluderar både nationella prov som körkortsprovet och högskoleprovet, men även internationella kunskapsmätningar som TIMSS (Trends in International Mathematics and Science Study) och PISA (Programme for International Student Assessment).

Att använda kunskapsprov är ett sätt att mäta individers kunskap. Det kan verka enkelt men jag hävdar att det är en svår konst att mäta kunskap. För det första så har prov olika syften. Det kan finnas en önskan att jämföra individer med varandra (till exempel högskoleprovet) eller att relatera en individs kunskap till tydligt uppsatta kriterier (exempelvis körkortsprovet), eller att undersöka hur en grupp individer presterar i jämförelse med andra grupper (till exempel TIMSS och PISA).

När man har bestämt syftet med provet så är nästa steg att konstruera lämpliga provuppgifter. Att skapa en bra provuppgift är dock ofta en utmaning eftersom vi aldrig vet exakt hur uppgiften fungerar innan provet har getts. Det viktigaste är att uppgiften verkligen mäter det den avser att mäta. Om man vill mäta kunskap i exempelvis matematik så är det möjligt att en lång inledande text försvårar uppgiften för en individ som har brister i språket.

En annan utmaning är att välja vilken typ av uppgifter ett prov ska bestå av. Uppgifter med öppna svarsalternativ, det vill säga uppgifter där provtagaren måste skriva sitt svar, kan fungera bra inom vissa områden men kan vara en utmaning att bedöma på ett rättvist sätt. Flervalsuppgifter kan underlätta en rättvis bedömning men ställer istället höga krav på att de olika svarsalternativen är väl genomarbetade.

När man tar fram ett standardiserat prov är det en lång process att konstruera uppgifter eftersom man oftast först konstruerar uppgiften, granskar uppgiften, prövar uppgiften i en mindre grupp och sedan granskar den igen. När man väl har konstruerat provet gäller det att administrera provet under likvärdiga förhållanden så att alla har samma möjligheter. Förutsatt att vi lyckats i alla dessa steg så bör vi sedan reflektera över om provet kan användas igen eller hur vi skapar likvärdiga prov vid andra provtillfällen – mer om det berättar jag nästa gång…

Internationella kunskapsmätningar:

Trends in International Mathematics and Science Study, TIMSS (English)

Programme for International Student Assessment, PISA (English)