«Kommunebørsen»: Dagbladet prøver seg på vitenskap uten å overbevise helt, kanskje

Dagbladet rangerer kommuner etter hvor mye de satser på skole. Skepsis og statistikk avslører at Dagbladets grunnlag for skåring og kåring er heller tynt.

Dagbladets troverdighet når det gjelder å videreformidle ting som krever tenkning har vel aldri fått et så stygt skudd for baugen som da de kom med en sensasjonsopplysning om at nå er det bevist at mobilstråling er farlig, mens de lenket til en rapport, riktignok på engelsk, som sa det stikk motsatte. Nå i agurktida har Dagbladet funnet på å drive vitenskap selv. De har laget en oversikt over skolekvalitet i kommunenen, og rangert kommunene etter sine egne kvalitetskriterier. Så er spørsmålet: I dette forsøket på å drive vitenskap, hvor godt lykkes de? Og kunne de spart seg for å plage den stakkars ordføreren i Hattfjelldal som Dagbladet mener er den dårligste skolekommunen i Norge?

Jo, Dagbladet lister opp alle kommunene i Norge etter skoleprestasjoner. Som kriterier bruker de dels skår på Nasjonale prøver, dels sin egen vekting av hvor mye ressurser kommunene bruker på skole (driftsutgifter, gjennomsnittlig gruppestørrelse, andel lærere med høyere utdanning, etc.). Jeg velger å kalle denne rangeringen for Dagbladet-skårer.

Her er tabellen: Beste skolekommune

Det første jeg stusser på, er dette: Hvordan vet de at disse faktorene faktisk spiller noen rolle for skoleprestasjoner? Det greieste må da være å se om det er sammenheng mellom Dagbladet-prestasjonene og prestasjonene på nasjonale prøver. Veldig enkelt spørsmål. Er det det?

Vel, ikke så enkelt. Vi må korrelere skår på Nasjonale prøver mot Dagbladets egne indikatorer. Og det er ikke så lett, fordi … Dagbladet har rangert kommunene etter plassering. 1, 2, 3, … ca 400. Både hva angår skår på Nasjonale prøver og Dagbladet-skårer. Da kan vi ikke være sikker på normalfordeling. Så vi bruker en metode å korrelere som ikke er den du er vant med – Pearsons r, det er den som er r i vitenskapelige rapporter – men Spearmans ρ, som ikke krever normalfordeling. Og hva finner vi?

ρ = 0.227

Jeg antar at leseren har en vag anelse om hva normalfordering er. Det meste som varierer i naturen er normalfordelt eller kan normalfordels, i den forstand at det varierer rundt et gjennomsnitt. Korrelasjoner er mellom -1 og 1. -1 betyr full negativ sammenheng – er den ene der, er helt sikkert ikke den andre der. 0 betyr ingen sammenheng – er den ende der, kan man ikke vite om den andre er der. 1 betyr full positiv sammenheng – er den ene der, er også den andre der.

Dagbladet-skåren – den totale altså – forklarer altså ρ²% ≈ 5.1% av variansen i resultatene på Nasjonale prøver. I utgangspunktet virker ikke dette helt som noe solid grunnlag for å plage en ordfører.

Men la oss nå se litt på tallene Dagbladet har brukt, og hvor langt det er mulig å komme med dem. Og håpe, kanskje, at noen i Dagbladet leser dette og skjønner at det er ikke så enkelt som å bare slå masse tall sammen dersom man vil vite et eller annet. Alle snakker om Mark Twain som fortalte oss at det finnes tre slags løgn: Lies, damn lies and statistics, men det har skjedd ting med statistikk siden 1885, og det er nettopp slik statistikk ble brukt på Mark Twains tid (enkel tabulering av data) Dagbladet har brukt tallene sine.

Noe av det rare Dagbladet har gjort, f.eks., er å liste rådata. Det første problemet er at dataene ikke er tilrettelagt for å behandles statistisk. Det går mye informasjon bort når de to kriteriene – skår på Nasjonale prøver og Dagbladet-poeng – bare er rangert etter plassering. Vi vet ikke hvor stor forskjellen er mellom 1., 2., 3., … 404. plass. Så Det er det første det er lurt å se på.

Skårene på Nasjonale prøver er enklest, sånn sett. Dagbladet har listet opp skårer for matte, norsk og engelsk for alle kommunene. Så det er bare å bruke dem, eller rettere, snittet av dem. Tallene er her: Nasjonale Prøver, og de er normalfordelt. De kan altså brukes direkte. Korrelasjonen mellom gjennomsnittlig skår på nasjonale prøver og Dagbladets rangering er 0.981. Lite informasjon er altså gått tapt i Dagbladets måte å rangere på, men vi kan trygt bruke gjennomsnittlig skår på Nasjonale prøver fra Dagbladets tabell.

Her er Dagbaldets tabell over de faktorene som Dagbladet mener indikerer god skolesatsing: Ressurser, resultater og mobbing.

Dette sier ikke så himla mye. Det som er viktig å vite, er hvor stor variasjonen er. Hvis variasjonen er lav, er det et dårlig mål på forskjeller. Det er store forskjeller som har betydning dersom man skal sammeligne. Men fra hofta: Snittet i Andel elever med direkte overgang fra grunnskole til videregående opplæring og Andel lærere med universitets- høgskoleutdanning og pedagogisk utdanning er omtrent det samme. Men spredningen (standardavviket) i Andel lærere med universitets- høgskoleutdanning og pedagogisk utdanning er mye større. Kan det tenkes at så mange lærere har det, at det ikke er noe stort poeng i å bruke det som noe mål? La oss f.eks se på korrelasjonen mellom hvert mål og skår på Nasjonale prøver:

Dette sier vel ganske klart at målene Dagbladet har funnet fram til, ikke henger sammen med skår på Nasjonale prøver på noen fornuftig måte. Dette er jo spesielt. Det er bare grunnskolepoeng som har noen betydelig sammenheng (altså i størrelse), og sammenhengen er endatil negagiv. Kan vi ha gjort noe galt? Vel, la oss se først på korrelasjonen mellom Dagbladet rangering og Dagbladets måletall fra tabellen. Vi tar gjennomsnittet av de standardiserte skårene for Dagbladets måletall, og korrelerer dem med skårer på Nasjonale prøver. Da får vi se om Dagbladet er inne på noe i det hele tatt.

r= -0.188

Så, hvis vi bare korrelerer gjennomsnittlig Dagbladet-skår (normalfordelt gjennomsnitt av normalfordelte skårer), viser det seg at Dagbladets indikatorer predikerer dårligere enn ikkeno. Det virker jo snålt. Så vi prøver en regresjonsanalyse. Kan Dagbladets variable predikere skårer på Nasjonale prøver? Det ville jo alltid vært noe.

Her er β korrelasjonen mellom predikatorene (altså Dagbladets antatte mål på skolesatsing i kommunen) og skår på Nasjonale prøver. Og mens hvert mål ser ut til å bidra lite (Ingen sammenheng mellom skoleresultater og mobbing, f.eks.), så har gjennomsnittlig gruppestørrelse litt å si (men altså bedre resultater hvis gruppene er store … og jo færre grunnskolepoeng, desto bedre. Det virker jo litt rart!

De store og små talls lov

Når Dagbladet gjør ei rangering som dette, så har de gjort noen forutsetninger. Blant disse forutsetningene er muligens at man ikke trenger noen teori for hvordan man velger ut variable: Man velger ut dem man synes bør spille en rolle, og rangerer ut fra dem. Det største problemet er naturligvis størrelsen de har aggregert på: De har sett på hver kommune. Hvis vi vil vite om variablene Dagbladet har valgt som indikatorer er gode, må vi se på skolenivå eller kanskje tilmed på klassenivå: Det kan være at det f.eks. er mange gode lærere i en kommune, men alle jobber i samme skole, fordi flinke folk søker sammen. Så det er én god skole og to dårlige. For eksempel. Det som virkelig roter det til, er jo de store kommunene med mange skoler. Så hva skjer om vi tar analysen på nytt og fjerner de største kommunene? Her er et forsøk hvor vi fjerner kommuner med innbyggertall over 2.7 standardavvik:

Hva er det vi har gjort nå? Jo, den jobben Dagbladet burde ha gjort – laget en modell som kan brukes til å si noe om hva som faktisk må til for å få gode skårer på Nasjonale prøver. Det viser seg f.eks. at driftsutgifter ikke spiller noen rolle, mobbing er ikke interresant, lærernes utdannelse eller andel elever med direkte overgang fra grunnskole til videregående opplæring heller ikke. Gjennomsnittlig gruppestørrelse spiller en positiv rolle, og det er fint med lavt folketall. Det som virkelig er morsomt er gjennomsnittlige grunnskolepoeng.

Grunnskolepoeng regnes ut ved at alle avsluttende karakterer som føres på vitnemålet, legges sammen og deles på antall karakterer slik at en får et gjennomsnitt. Deretter ganges gjennomsnittet med 10. Enten de store kommunene er med eller ei, er korrelasjonen mellom grunnskolepoeng og skårer på Nasjonale Prøver i kommunen ikke lav, men negativ.

Det tyder på at karakterer, som mål på prestasjoner, i hvert fall i grunnskolen, er verre enn ikkeno.

Det burde slå den oppvakte leser, at hver gang det presenteres at en skole gjør det veldig bra eller veldig dårlig på på Nasjonale prøver, så er det en liten klasse. Dette kaller vi de små talls lov. De store kommunene samler seg på midten.

Sånn er det her også, som figuren viser: De minste kommunene går ut til siden på begge sider, de største trekker seg mot midten. Dette skyldes ikke normalfordeling av data ute i verden. De små kommunene burde vektes pga. den relative størrelsen i forhold til de større.

Dagbladet kan alltid unnskylde seg med at de har andre, uavhengige kilder på at predikatorene de har brukt er viktige. Og det har de iofs rett i – kvaliteten på lærere skal være viktig. Men når f.eks. kvaliteten på lærere ikke får noen utslag i det hele tatt, er det tydelig at de ikke har valgt et mål på lærerkvalitet som faktisk måler lærerkvalitet. Det gjør rangeringen deres svært problematisk.

Så hva har vi?

• Dagbladet burde begynt med å lage en regresjonsformel hvor hver variabel var empirisk dokumentert å ha positiv effekt på skår på Nasjonale prøver.
• Dagbladet burde ha sett på hver skole for seg – muligens hver klasse for seg – for å finne ut hvilke variable som faktisk spilte noen rolle.
• Dagbladet burde ha visst at små skoler automatisk får mer ekstreme utfall enn store skoler.
• Dagbladet kunne ha spart seg for å plage den stakkars ordføreren i Hattfjelldal. Det er ingen grunn til å tro, ut fra Dagbladets kriterier, at hans kommune satser spesielt lite på skole.