Kommentarer till Svenskt Näringslivs och PWC:s studie ”Nationell benchmarkingstudie om effektiviteten inom svensk grundskola”

Tomas Korpi/2017-11-26

Sammanfattning
Studien sker enligt ett två-stegsförfarande, där en statistisk modell för kommunal ”skoleffektivitet” beräknas och där sedan några kommuner med hög ”relativ effektivitet” studeras närmare. I den första fasen beräknas ett effektivitetsvärde som en summa av kommunala ”skolkostnader” och kommunala ”skolresultat”. I den senare fasen studeras kommunernas arbetssätt för att identifiera gemensamheter som skulle kunna utgöra förklaringar till kommunernas relativt goda utfall.
Studien är ambitiöst men felslaget försök att studera organisatoriska framgångsfaktorer i grundskolan. Det första steget baseras dels på ett substantiellt felkonstruerat mått på kvalitet, och ett mer rimligt mått hade antagligen lett fram till att andra kommuner bedömts som framgångsrika.
Det andra steget borde alltså antagligen utgå från andra kommuner. Bortsett från detta är dock det andra steget felkoncipierat eftersom man endast studerar hur framgångsrika kommuner arbetar, utan att man vet något om vilket arbete som bedrivs i misslyckade kommuner. Det kan m.a.o. vara så att både framgångsrika och misslyckade kommuner använder sig av de arbetssätt som man hittat i de förra, och att det istället är något annat som förklarar skillnaderna. Eftersom man inte frågat har man inte heller fått något svar.
Studien baseras m.a.o. på ett två-stegsförfarande där allvarliga fel gjorts i båda stegen, fel som gör att studien inte säger något om effektiviten i skolan.
Problem med steg 1
Studiens steg 1 är utgörs av kvantitativa analyser av kostnader och resultat i olika kommuner. Det kvantitativa består i att man räknar fram ett effektivitetsmått, en summa av ett kvalitets- och ett kostnadsmått.
Kvalitetsmåttet
Studiens kvalitetsmått är en sammanvägning av fyra indikatorer på studieresultat; genomsnittligt meritvärde, andel godkända, predicerade meritvärden samt predicerad andel godkända. De predicerade måtten är framräknade på basis av en statistisk modell där hänsyn tagits till elevernas socioekonomiska bakgrund. PWC betonar här att ”Det är därför viktigt att modellen tar hänsyn till elevernas socioekonomiska bakgrund för att kunna göra rättvisa jämförelser mellan kommunerna” (s. 10).
Trots att PWC argumentar för att det är viktigt att ta hänsyn till socioekonomisk bakgrund ingår de ursprungliga, ej predicerade, måtten i indexet. Om det är så viktigt att ta hänsyn till bakgrundsfaktorer, varför utgör indikatorer där man gjort det bara hälften av indexet? Inga argument för varför båda typerna av indikatorer ingår anges. Om man enbart hade baserat kvalitetsmåttet på de predicerade indikatorerna hade antagligen inte Täby, Österåker och Kävlinge ingått i steg 2, se tabell ”2” och ”3” på s. 42 där de uppvisar negativa avvikelser i förhållande till det förväntade värdet på en eller båda predicerade indikatorer.
Progressivitetsmåttet
Efter en diskussion av hur kommunerna i dagsläget rangordnas utifrån effektivitetsmåttet, går rapporten över till att diskutera förändring. Det är ingen central del i studien, men det kan ändå vara värt att notera att i motsats till vad som sägs i rapporten bör det progressivitetsmått man här tar fram inte ses som ett mått på skolutveckling ”över tid” (s. 11). Anledningen är att måttet är ett genomsnitt på fem olika mått på förändring från en rullande tre-årsperiod till nästa, ett genomsnitt som inte tar hänsyn till riktningen på förändringen. Problemet är att ett positivt värde på progressivitetsmåttet kan erhållas om en stor positiv förändring följs av fyra mindre negativa förändringar, något som snarast skulle ses som en försämring över tid. Rapportförfattarna noterar visserligen att måttet inte säger något om när progressionen inträffat (s. 11), men diskuterar det ändå som om positiva värden indikerar en förbättring över tid.
Problem med steg 2
Ett grundläggande problem med studien är den så kallade utfallsavhängighet som finns inbyggd i det andra steget. Endast framgångsrika kommuner studeras, och sedan sägs slutsatserna vara generaliserbara till alla kommuner. Problemet är dock att mindre framgångsrika kommuner inte alls analyserats. Det är alltså i princip möjligt att de använder sig av samma arbetssätt som de framgångsrika, det finns helt enkelt ingen information om hur de arbetar.
Det vore som att studera vilken behandling som hjälper mot cancer genom att bara intervjua patienter som överlevt om vilken behandling de fått. För att kunna uttala sig om effektiviteten i en behandlingsmetod måste man emellertid även analysera vilken behandling som getts till patienter som inte överlevt. Om fler har dött än överlevt en viss behandling är behandlingen nog inte att rekommendera.
Alla slutsatser om arbetssättets betydelse är m.a.o. rena gissningar. Det vet rapportförfattarna också om. De skriver:
Inom ramen för denna studie har vi inte intervjuat eller analyserat kommuner som utmärkt sig med en relativt låg effektivitet eller dålig utveckling över tid. Vi är medvetna om detta eventuella metodproblem. Vi sätter ändå tilltro till de intervjuade kommunernas analysarbete av sina framgångsfaktorer och att de framgångsfaktorer som identifierats och lyfts fram i denna rapport faktiskt har en positiv inverkan på effektiviteten. (s. 6, mina kursiveringar)
De väljer alltså att tro på sina resultat, utan att ha några som helst belägg för att de är korrekta.
Belysningen av ”friskoleperspektivet” (s. 6), där åtta kommuner jämförs med en friskolekoncern, är också mycket märklig. Det är som sagt oklart hur de åtta kommunernas arbete förhåller sig till andra kommuners, och här är det dessutom oklart hur den utvalda koncernen förhåller sig till andra friskolor.

Jämförelsen mellan kommuner och friskolor blir därför meningslös.

facebook Twitter Email