Nasjonale prøver satt på kartet

Jeg har akkurat sparket igang skoleporten.bengler.no. Der kan du undersøke hvordan skolene gjør det på de nasjonale prøvene. Det er bare resultatene fra 2008 som er tilgjengelig, men jeg jobber med å skaffe til veie settene fra de siste to årene.

Sammen med nye tenner, soverutiner og mulige fall i boligmarkedet er skolekvaliteten et vanlig samtaletema blant foreldre i Oslo Øst. En kveld forsøkte jeg å finne noen tall på det, men kom bare tilbake fra Google med et excel-ark fra Dagbladet og minner om et lite behjelpelig utdanningsdirektorat. Jeg tenkte derfor at det hadde vært en fin liten øvelse å gjøre denne informasjonen mer tilgjengelig.

Så hvorfor sitte oppe om natten for å gjøre disse resultatene tilgjengelige? De nasjonale prøvene brukes allerede av utdanningsdisrektoratet til å belønne skolene. Så viktig har det blitt for skolene at de holder svake elever hjemme. De eneste som ikke har god tilgang til tallene er vi som ikke har skolen som arbeidsplass. Jeg synes man burde se lenge og hardt på hvorvidt man skal måle skolene på denne måten, men når informasjonen først eksisterer kan jeg ikke se noen grunn til at den ikke skulle være allment tilgjengelig på en god måte.

Man skal være forsiktig med hva man måler ettersom måling ofte endrer adferd på utilsiktede måter. Incentivene du trodde skulle effektivisere og forenkle, perverterer prosessene du forsøkte å styre. I USA har de senket nasjonale krav for læreplaner samtidig som de har lagt vekt på nasjonale prøver. Den angrende Diane Ravitch som innførte dette systemet har skrevet om hvordan det gikk i The Death and Life of the Great American School System: How Testing and Choice Are Undermining Education.

Om noen har forslag til forbedringer kan hvem som helst sjekke ut kildekoden og datagrunnlaget fra Github.

Vist 2443 ganger. Følges av 19 personer.

Kommentarer

Bra tiltak, Even. Godt å se noen ofre nattesøvnen for fellesskapet :)

Har ingen forslag til forbedringer, men vil likevel overbringe et aldri så lite “Hurra” for en pen og nyttig visualisering. En ganske slående kontrast til hva man (ikke) serveres i Utdanningsdirektoratets skoleport :-)

Krysser fingrene for at du også får tilgang til datagrunnlaget for siste og kommende år. Så har dette potensialet til å bli en institusjon :-)

(pst: ser forresten at Grefsen skole har tatt seg en skoletur til Lysaker i visualiseringen:-)

Takk! Sendte akkurat avgårde denne til direktoratet:

Med hjemmel i offentlighetslovens paragraf § 9, rett til å kreve innsyn i en sammenstilling fra databaser, ber jeg med dette om innsyn i følgende sammenstillinger:

- Samtlige barneskoler og ungdomsskoler

- For hver skole ber jeg om fylke, kommune, skolenavn, adresse, eier, eierform, elevtall i 2010, lærertall i 2010

- Samtlige resultater fra de nasjonale prøvene i 2008, 2009 og 2010

- For hver prøve ber jeg om fylke, kommune, skolenavn, prøvetype (eksempelvis ‘NPREG08’), resultat, frafallsprosent

Dokumentene overleveres til undertegnedes e-postadresse i et allment lesbart format (f.eks CSV, XML eller excel regneark). Om det av en eller annen grunn er vanskelig å gjøre de avgrensningene jeg ber om kan jeg godt motta større snitt av databasen.

Minner om at det etter offentlighetslovens § 9 ligger et forbud mot forskjellsbehandling, selv mellom offentlige og private aktører, og at det etter § 8 er en hovedregel om gratis innsyn.

Så får vi se hva de svarer. Når man sitter og ser på disse tallene får man jo en distinkt følelse av at de knapt er mål på skoler, men heller demografi og andre sosiale forhold. Noe å muligens gjøre her kunne være å se på kovarians av forskjellige andre parametere opp mot de nasjonale prøvene. Kanskje det er noen skoler som gjør det særs bra til tross for eventuell motgang.

Kjempejobb Even. Hvorfor bor ikke du i Bergen, slik at vi kunne brukt deg som ressursperson i MediArenas satsning på åpne data? Kanskje vi uansett bør invitere deg over til vår planlagte Hack Day. Jeg har selv tenkt tanken i å teste disse skoleresultatene opp mot andre faktorer. En interessant kobling kunne vært aggregerte skattetall knyttet til hver skolekrets (da hadde kanskje et vektordata for skolekretser vært nyttig?). Eller kommunale gjennomsnittstall mot kommunale skolebevilgninger per elev.

Ja til gode visualiseringer av data! Gratulerer med et solid innlegg i en viktig debatt.

Når man sitter og ser på disse tallene får man jo en distinkt følelse av at de knapt er mål på skoler, men heller demografi og andre sosiale forhold.

Touché.

Even har gjort en strålende jobb med resultatkartet for de nasjonale prøvene, og jeg anbefaler alle å ta en kikk på den herlige (og geekete) prosjektdagboka Even har skrevet underveis.

Evens idé har allerede spredt seg utenfor Norges grenser. I går skrev en god bloggvenn av meg, Jon Worth, en bloggpost om hvordan Evens kart kunne være inspirasjon for Labours nye leder, Ed Miliband, særlig i forhold til hvordan de økonomise kuttene påvirker det britiske samfunnet.

How a little Norwegian school results map could give Ed Miliband some ideas

På Twitter fikk jeg tips fra nederlandske Lex Slaghuis om at det ikke finnes noe tilsvarende kart i Nederland, men de har en "søkemotor for å finne skoler. ":http://www.schoolvinder.nl/

Bare et tips for å bygge mer journalistikk rundt dette: KOSTRA-databasen (kommune-stat rapportering) tilgjengeliggjør statistikk om kommuneregnskap. Her kan man se bevilgninger til grunnskole per innbygger i kommuner.

Sjekk www.kostra.no eller gå direkte inn i aktuelt datasett:

http://statbank.ssb.no/statistikkbanken/Default_FR.asp?PXSid=0&nvl=true&PLanguage=0&tilside=selectvarval/define.asp&Tabellid=04684

Bente, angående England, så antar jeg at Even er lettere inspirert av Berg sitt prosjekt Schooloscope som går steget lenger i visualisering og fortolkning, riktignok med et temmelig mye bedre og mer tilgjengelig datasett.

Jeg tok like godt en telefon til utdanningsdirektoratet. Nettsidene deres insisterer hardt på at prøveresultatene ikke er offentlige og man trenger et passord, men kanskje menneskene der har en annen historie.

Etter først å ha snakket med en litt knirkete saksbehandler som insisterte på at jeg som privatperson var diskvalifisert og at jeg måtte ha dette passordet for å se enkeltresultater forsøkte jeg infoavdelingen. Der var de superhjelpsomme og så ikke noe problem med å gi fra seg tallene for i år. Spørringene jeg ville ha på enkeltskoler var heller ikke noe problem, men ville ta litt lengre tid. Det er bare lesning som er ute nå og det spørs om jeg kommer til å ha tid til å oppdatere med årets tall før resultatene i engelsk og regning begge har blitt publisert den 14.12.2010.

Nå trenger de bare å oppdatere nettsidene sine med noen excelfiler vi kan laste ned. Da slipper de å motta krav med hjemmel i offentligsloven og en egen person som sitter og sender ut resultatsettene. :)

@anders – KOSTRA-tallene er storveis. Tenkte på det her om kvelden. Har lekt med de før her. Tenker også at det muligens er noe å hente i levekårsundersøkelsene til SSB.

Der kom svaret, gitt. Svært raskt levert! Fortsatt ikke adresser og elevtall, men prøveresultater på lesning for 2008, 2009 og 2010 sammen med fritakstall. Har purret på regning og engelsk. That would be: NPREG05, NPREG08, NPENG05, NPENG08 for oss som er in the know.

RE: Krav om innsyn i database

Vedlagt følger excelfiler med resultatene fordelt på mestringsnivåer for nasjonale prøver i lesing 5. og 8. trinn 2009 og 5., 8. og 9. trinn fordelt på fylker, kommuner og skoler. I tillegg sender vi deg oversikt over fritatt og ikke deltatt for 2008, 2009 og 2010.
Resultatene vises som gjennomsnitt og prosentvis fordeling på mestringsnivåer. For mer informasjon og hjelp til tolkning: http://skoleporten.utdanningsdirektoratet.no/rapportvisning.aspx?enhetsid=00&vurderingsomrade=88e13531-a5b6-4c33-ad87-b0ceb59b26b1&underomrade=84a8d573-72fc-4c7c-ba82-ff996c4a80ce&skoletype=0
Med bakgrunn i Utdanningsdirektoratets taushetsplikt etter forvaltningsloven § 13 første ledd nr. 1, se offentleglova § 13 første ledd, vil noen av skolene ikke være med i listene. Eventuell klage kan rettes til Utdanningsdirektoratet innen 3 uker, jf. offentleglova § 32 og forvaltningsloven § 29 første ledd.
Du har bedt om informasjon utover dette. Vi vil behandle denne forespørselen og vurdere dette i forhold hvor arbeidskrevende det vil være.

Stas. Der kom resten!

Det var vennlig av Utdanningsdirektoratet, de fortjener vel kanskje en link til resultatkartet?

Veldig bra eksperiment Even! Data to the people!

Veldig bra eksperiment Even! Data to the people!

Hei Even, fantastisk bra jobbet og dokumentert. Ser at løsningen viser 431 kommuner når du zoomer ut på Europa. Antar det er Svalbard som legger på den ene ekstra? 430 er jo korrekt tall.

Hei Roger, de klarte å slå sammen Kristiansund og Frei i 2008, så akkurat det stemmer nok. Men det er nok en del feil siden datagrunnlaget til dels skrapt ut av sidene til Utdanningsdirektoratet og all likhet er basert på matching av tekststrenger. Dette ble i går kveld et problem da jeg forsøkte å massere inn tallene fra 2009. Det viste seg svært arbeidskrevende siden man manuelt må forsone alle endringer i skolenavn og kommunenavn.

Jeg forsøker å adressere dette nå med en ny forespørsel til direktoratet. De var veldig smidige og raske i går så vi får se hva de sier til dette:

Takk for rask tilbakemelding i går.

Det er imildertid et problem med utdraget jeg fikk fra dere. Noe naivt trodde jeg det ville være mulig å nøkle sammen informasjonen på tvers av år ved å bruke skolenavn, fylke og kommune. Imidlertid er dette vanskelig siden det kan se ut som det er flere hundre skoler som har skiftet navn mellom 2008 og 2009. Jeg har forsøkt å bruke http://www.wis.no/gsi/tallene til å forsone dette, men dere har heller ingen historisk kunnskap om navnene på skolene, eller om dere har det er den ihvertfall ikke eksponert der (“Drøbak Montessori skole AS” er oppgitt som “Drøbak Montessori skole AS” for alle år selv om den skiftet navn i fjor).

For å gjøre en robust fortolkning av informasjonen må jeg derfor be om å få det samme datasettet nøklet på en primærnøkkel for skolene.
I Grunnskolens Informasjonssystem finnes det et felt som går under GSI-id (uCustomID). Om denne er konsistent på tvers av år og utdrag så er det sikkert et godt utgangspunkt. Jeg får imildertid ikke som uinnlogget tilgang til dette feltet så det er vanskelig for meg å vurdere.

Det jeg da gjerne skulle hatt er:

Skoler

For årene 2008-2010

GSI-Id / uCustomId
Institusjonstype / uInstitutionType
Enhetens navn / uName
Kommune / u2
Kommune / eu2
Fylke / u1
Fylke / eu1
Besøksadresse / u11
Postnummer/sted / u5
Postnummer/sted / eu5
Epost / u12
Hjemmeside / u13
Telefon / u14
Sum elever ved skolen / d57

Merk: Jeg er ute etter postnummer og sted tilhørerende besøksadressen.

Om dette ikke er:

Postnummer/sted / u5
Postnummer/sted / eu5

så vil jeg heller ha:

Postnummer/sted / u4
Postnummer/sted / eu4

Prøveresultater og fritakstall

Alle resultater 2007-2008 og 2008-2009 oppgitt med tilsvarende nøkkel som lar meg knytte de til skolene. Gjerne GSI-id (uCustomID) om denne er egnet.

Det er da altså snakk om:

NPREG05, NPREG08, NPENG05 og NPENG08, NPLES05, NPLES08

samt fritakstallene for disse prøvene med samme identifikator.

Det vil komme et tilsvarende krav om 2010-tallene når disse klare er.

Så får vi se hva de svarer.

Ny utfordring 1.1.2012.

Veldig lekkert. Et lite ønske pva de angivelig 7,1 prosent av den mannlige befolkning som deler mit handikap: Alternativer til grønt vs rødt vil gjøre det mulig å se forskjell på skolene. :-)

Ai, beklager Helge. Det var jo ikke helt heldig. Jeg ser at deuteranomalier biter mange menn, men at det bare skal mildly affect red-green hue discrimination. Er det slik at det er vanskelig å se det presist eller helt umulig skjelne forskjellene? I neste revisjon kan jeg se om jeg får lagt til en gul – blå mapping også ettersom det ser ut som den er robust for mange fargeblindheter.

@Even: Et tips ang. fargesvakhet/fargeblindhet er å øke kontrasten mellom fargene du bruker. Et husmorstriks for å prøve om fargene dine fungerer for fargeblinde er å skrive ut visualiseringen i svart/hvitt. Du bør da kunne skille mellom de ulike fargene brukt til fargekoder. Lykke til :-)

Fint tips på Twitter fra Aslak Raanes om fargeblindhets-sim for OS X.

Tydelig at dette ikke er helt greit for Helge og at Asbjørn har et slags poeng i å gjøre det robust ved å holde seg til luminans.

Og der kom avslaget:

Hei,

Vi har til nå sendt deg oversikt over resultater for nasjonale prøver i regning, lesing og engelsk for 2009 og 2010 (både resultater og fritakstall), samt fritakstall for 2008.

Vedlagt følger i tillegg oversikt over resultater for nasjonale prøver i regning, lesing og engelsk for 2007 (inkludert fritakstall) og 2008. Filen for 2007 er kun tilgjengelig i pdf.
En sammenstilling av de resterende forespurte opplysningene vil medføre betydelig manuelt arbeid for Utdanningsdirektoratet, og kravet avslås derfor, jf. offentleglova § 9. Eventuell klage kan rettes til Utdanningsdirektoratet innen 3 uker, jf. offentleglova § 32 og forvaltningsloven § 29 første ledd.

Tydelig at diskusjonen at diskusjonen som foregår på bloggen til data.norge.no ikke er helt malplassert. Sikkert greit å forberede seg på å kna testseriene for skolene sammen for hånd.

Den største faktoren for elevenes resultater på skolen er foreldrenes inntekt. Det hadde vært moro med en kryssjekk mellom gjennomsnittlig inntekt(jf skattelistene) og resultatene i skolekretsene…

vel så viktig som inntekt er det å sjekke om barn som har foreldre som jobber på skolen får hjelp til å oppnå bedre resultater på skolen som følge av at det er ens egne barn det handler om.I tillegg holdes de svakeste elevene systematisk borte fra de nasjonale prøvene slik at ikke skolen og kommunen skal kunne knyttes til dårlige lærere eller dårlig læremiljø i skolen.Man vet også at de svakeste elevene som skulle hatt null eller 1 på vitnemålet ved eksamen får “Pyntet” på karakteren til 2 eller bedre for at ikke skolen skal framstå med lærere som ikke er egnet i skolen. Og så har jo eleven krav på vitnemål for fullført 10 årig grunnskole selv om han/henne knapt kan skrive navnet sitt,så da så….

Pål: Det er tåpelige påstander du kommer med. Hvis man virkelig ønsket å jukse er det jo bare å legge inn for gode resultater, det er jo lærerne selv som legger inn resultatene.

Samtalen er stengt for nye kommentarer.