Därför är det svårt att utvärdera effekter av utvecklingsprojekt

Regeringen har gett Sida i uppdrag att redovisa hur utformningen av biståndsinsatser i större utsträckning kan bygga på evidens. Biståndsminister Benjamin Dousa menar att Sidas hantering av evidens är ett massivt misslyckande som kostat miljarder (1).

Som exempel på detta lyfter han fram ett projekt som för flera år sen köpte in tusentals skolböcker till barn i fattiga länder, trots att det finns studier som visat att skolgång inte påverkats av tillhandahållande av skolböcker. Han nämner också en randomiserad kontrollstudie, en så kallad RCT-studie, som visade att avmaskning av skolbarn hade stora effekter på skolgång.

Att ignorera denna typ av evidens kostar enligt Benjamin Dousa miljarder och Sida bör därför använda sig mer av RCT–studier. Sådana studier belägger effekter med hjälp av en kontrollgrupp baserad på slumpmässigt urval, ungefär som vid test av medicinska behandlingar.

Att ignorera denna typ av evidens kostar enligt Benjamin Dousa miljarder ...

Att efterlysa mer evidens är i sig välkommet. Riksrevisionen har påpekat att Sida lägger stor vikt vid att sammanställa resultat, men för lite vikt vid effektutvärderingar. (2) Regeringens uppdrag till Sida att stärka evidensarbetet är inte omotiverat.

Men Dousas påstående om ett ”massivt misslyckande” och ”tiotals miljarder som kan ha lagts på saker utan effekt” präglas inte riktigt av den ödmjukhet som krävs av den som tar evidens på allvar. De exempel han återkommer till, avmaskning och skolböcker, illustrerar i själva verket flera begränsningar med RCT-studier som grund för breda policyrekommendationer.

Den kenyanska avmaskningsstudien han refererar till genomfördes på 1990-talet och fick starkt genomslag. Den bidrog till WHO:s rekommendation om regelbunden avmaskning i endemiska miljöer. Men senare studier gav motstridiga resultat. En systematisk översikt från Cochrane 2015, baserad på ett 50-tal studier som uppfyllde kvalitetskraven, menade att evidens saknades för WHO:s rekommendation. Den kenyanska studien beskrevs som ett undantag. Cochrane-studien gav upphov till vad som benämnts ”maskkriget” med mängder av studier och inlagor för och emot (dokumenterat här Worms Wars - The Anthology (3).

... regelbunden avmaskning förbättrar varken hälsa, skolgång eller kognition på ett övertygande sätt.

Som svar på kritiken gjorde Cochrane en uppdaterad översikt 2019 som dock höll fast vid den tidigare slutsatsen: regelbunden avmaskning förbättrar varken hälsa, skolgång eller kognition på ett övertygande sätt (4). Därefter har ytterligare en systematiska översikt gjorts som påvisar hälsoeffekter, men den uttalar sig inte om inverkan på skolnärvaro (5). WHO har valt att stå fast vid sin rekommendation. Maskkriget visar ändå hur svår vägen till säker evidens för generella policyrekommendationer kan vara.

Några svårigheter med effektutvärdering av utvecklingsprojekt:

1. Generella slutsatser av resultaten är de randomiserade kontrollstudiernas akilleshäl. Utvecklingsprojekts effekter beror ofta på lokala institutionella och sociala faktorer. Systematiska översikter kan öka generaliserbarheten men tyvärr pekar inte sällan resultaten åt olika håll, ofta oklart varför. Det är inte nödvändigtvis för att studierna har brister, utan för att effekter är kontextberoende. Det är lättare att RCT-utvärdera huvudvärkstabletter, vars effekter är tämligen lika oavsett plats på jorden.
2. Icke-linjära effekter och jämviktslösningar. Den kenyanska studien jämförde skolor med och utan behandling. Randomisering på individnivå fungerade inte eftersom behandlingen behöver nå en kritisk massa för att förhindra fortsatt smittspridning. Många utvecklingsproblem kännetecknas just av sådana tröskelnivåer. När studierna sker på samhällsnivå snarare än på skolnivå kan randomisering också omöjliggöras eftersom det inte går att experimentera med länder. Exempelvis kan goda institutioner och sociala normer vara en slags jämviktlösningar som förutsätter ömsesidiga förväntningar på en kritisk nivå, som när korruption ogillas men ändå accepteras eftersom alla andra i samhället verkar delta i den.
3. Symptom eller grundorsak? Flera av de interventioner som marknadsförs som exceptionellt kostnadseffektiva baserat på RCT-evidens, exempelvis avmaskning och vitamin- och mineraltillskott, åtgärdar uppenbara symptom. Men grundproblemet handlar om rent vatten, hygien och matsäkerhet. Det ligger en fara i att åtgärda symptom om de blir ett substitut för att åtgärda grundproblem. Stirrar man sig då blind på enskilda RCT-studier och rankning utifrån kortsiktig kostnadseffektivitet kan man lätt hamna fel. I WHO:s rekommendationer framhålls nu avmaskning som något temporärt som måste kombineras med åtgärder för rent vatten och sanitet (6).
4. Ägarskap och bärkraft är svårfångat. Pilotprojekt under kontrollerade förhållanden säger inte hur åtgärder fungerar när ordinarie institutioner genomför dem. Inte heller om de är långsiktigt bärkraftiga. En återkommande observation i Sidas omfattande utvärderingsverksamhet är att just bärkraft och ägarskap brister, det vill säga att projekten inte är tillräckligt förankrade bland dem de berör. Här krävs alternativa utvärderingsansatser som exempelvis tar sikte på hur genomförandet möjliggör ägarskap.
5. När det krävs en kombination av åtgärder. Det finns, precis som ministern säger, ett antal RCT-studier av skolboksinsatser där inga effekter konstaterats (7 och 8). Men det finns även RCT-studier som visat att skolböcker tillsammans med lärarhandledning fått goda effekter, men inte var och en för sig (9). Komplementaritet spelar roll. Många biståndsinsatser bygger just på en kombination av åtgärder som kan involvera flera samhällsnivåer. Då fungerar sällan randomiserade kontrollstudier.
   
   

Många biståndsinsatser bygger just på en kombination av åtgärder som kan involvera flera samhällsnivåer. Då fungerar sällan randomiserade kontrollstudier.

Sida ska nu redovisa hur arbetet med evidens ska stärkas. Det blir en intressant läsning. Säkert finns mer att lära från RCT-studier. För mer generella policyrekommendationer torde den billigaste och snabbaste vägen vara att ta vara på redan genomförda systematiska översikter, snarare än att finansiera mängder av egna RCT-studier som brukar kosta flera miljoner kronor styck. Enligt utvärderingsorganisationen 3iE finns det cirka 1600 registrerade systematiska översikter (10). Man får också hoppas att Sidas förhållningssätt blir öppet för bidrag från olika metoder och akademiska traditioner, med tanke på de randomiserade kontrollstudiernas begränsningar.

En av de viktigaste faktorerna för att evidensen ska spela roll handlar om incitament: evidensen måste efterfrågas och kunna leda till omprövning. Här har regeringen en roll. Dess styrning är ibland så detaljerad – som när enskilda projekt eller samarbetsparter pekas ut i instruktionerna till Sida – att incitamenten för att evidenspröva undergrävs. Varför lägga resurser på något som ändå redan bestämts högre upp?

Göran Holmqvist, affilierad forskare vid Institutet för Framtidsstudier och tidigare avdelningschef på Sida

1. Dousa om biståndsslöseri: ”Massivt misslyckande” (Dagens industri) Länk till annan webbplats.
2. Sveriges internationella bistånd – uppföljning, utvärdering och rapportering (Riksrevisionen) Länk till annan webbplats.
3. Worm Wars: The Anthology (World bank blogs) Länk till annan webbplats.
4. Public health deworming programmes for soil‐transmitted helminths in children living in endemic areas (Cochrane) Länk till annan webbplats.
5. Meta-analysis and public policy: Reconciling the evidence on deworming (National Library of Medicine) Länk till annan webbplats.
6. Helminth infections in at-risk population groups guideline: preventive chemotherapy to control soli-transmitted (WHO) Länk till annan webbplats.
7. The permanent input hypothesis : the case of textbooks and (no) student learning in Sierra Leone (Ideas) Länk till annan webbplats.
8. Many Children Left Behind? Textbooks and Test Scores in Kenya (American Economic Journal) Länk till annan webbplats.
9. When do in-service teacher training and books improve student achievement ? Experimental evidence from Mongolia (Ideas) Länk till annan webbplats.
10. 3ie Development Evidence Portal Länk till annan webbplats.