Introduktion og initiativ

Undervisningsministeriet har i de senere år iværksat en række kvalitetsudviklingsprojekter. "Kvalitet der kan ses" er ministeriets udspil til en kvalitetsmåling af det danske uddannelsessystem, og det er blevet til ud fra ønsket om at skabe et overblik over kvaliteten i uddannelserne. Målet er, at denne kvalitetsmåling skal indgå i grundlaget for den fortsatte udvikling af uddannelserne.

Dette er den første konkretiserede udgave af "Kvalitet der kan ses" med analyser og indikatorer. Det er hensigten med projektet, at der løbende skal udkomme publikationer, der beskriver kvaliteten i det danske uddannelsessystem.

Denne udgave af "Kvalitet der kan ses" er dermed det første bidrag til at give en dækkende beskrivelse af kvaliteten i uddannelsessystemet, og forhåbentlig kan den inspirere til kvalitetsudvikling både centralt og lokalt.

Måling af kvalitet

Det er vanskeligt at måle kvalitet i et uddannelsessystem. Kvalitet i uddannelsessystemet er ikke en entydig størrelse, og det er ikke umiddelbart muligt at foretage kvalitetsmålinger, der både er enkle og dækkende.

Resultatet af uddannelse og undervisning kan ikke bestemmes uafhængigt af processen og de faktorer, der indgår heri. Der er stor forskel på at arbejde med kvalitet i en fremstillingsvirksomhed, der leverer en nøje defineret vare, og kvalitet i uddannelse, som omfatter meget andet end konkrete, målbare faktorer.

I undervisning er produktet og processen ofte vanskelige at adskille, og undervisningsforløbene er, ligesom deltagerne, forskellige. Desuden udvikles krav og muligheder inden for uddannelse i takt med samfundets generelle udvikling. Grundlæggende er kvaliteten af undervisning afhængig af læringsprocessen og ikke mindst af samspillet mellem lærer og elev/studerende.

En dækkende kvalitetsevaluering bør bestå af såvel målbare indikatorer som af mere kvalitative - og ofte komplekse - størrelser. Imidlertid er det mest håndgribeligt at beskæftige sig med kvantitative størrelser. Der er derfor en reel fare for, at arbejdet med de målbare størrelser sker på bekostning af de mere kvalitative, ikke-målbare processer i undervisningen.

Kvalitet kan fx opgøres i forhold til, i hvor høj grad opstillede målsætninger er blevet opfyldt. Målene i undervisning er imidlertid mangfoldige og afhænger bl.a. af uddannelsestype og niveau - og af tiden. Målene ændres således løbende.

Det er afgørende at være opmærksom på, hvilke områder man lægger vægt på. Hvis man vælger at betragte få og enkle faktorer, får man et måske urealistisk indtryk af forholdene. De områder, der udvælges, kan ikke undgå at få betydning, når kvaliteten skal evalueres.

Et led i kvalitetsmålinger er evalueringer. Evalueringer giver en status for, hvordan tingene har været. En vigtig opgave består derfor i at skabe et grundlag for at understøtte en udvikling, hvor kvaliteten i uddannelsessystemet fortsat forbedres.

Projektet "Kvalitet der kan ses"

Projektet "Kvalitet der kan ses" forsøger at skabe en fælles systematisk tilgang til at evaluere kvalitet i undervisning og i uddannelser. Metoden er tidligere beskrevet i "Kvalitet der kan ses. Mål og rammevilkår som grundlag for kvalitetsudvikling i uddannelsessystemet", udgivet i 1998.

Hensigten med kvalitetssystematikken er, at den skal være et redskab til at evaluere og ikke mindst udvikle kvaliteten i uddannelserne. Herunder skal den videregive informationer, der kan bidrage til at vurdere, hvor en fremtidig indsats giver størst kvalitetsløft i forhold til de anvendte ressourcer. Kvalitetssystematikken skal endvidere tjene som inspiration til udvikling og dynamik på den enkelte institution/uddannelse.

"Kvalitet der kan ses" er et projekt, der søger at lægge grunden til en fælles metode og en fælles terminologi for kvalitetsprojekter i uddannelsessektoren. Således er det et mål med "Kvalitet der kan ses", at det skal være et redskab til at skabe en fælles metode til at øge mulighederne for at koordinere og sammenligne vurderinger af kvalitet på tværs af uddannelsesområderne. I denne første version af projektet fokuseres imidlertid fortrinsvis på det samlede uddannelsessystem.

Som udgangspunkt skal projektet bygge på allerede eksisterende information, så institutionerne ikke belastes med at skulle levere oplysninger. På længere sigt er det imidlertid ønskeligt at få udviklet flere og ikke mindst bedre kvalitative indikatorer.

Metode

At kortlægge kvaliteten i uddannelsessystemet – dets processer og resultater - er som nævnt en særdeles kompleks opgave. Ikke mindst hvis man sammenligner "Kvalitet der kan ses" med at undersøge kvaliteten i en almindelig produktionsvirksomhed. Den anvendte metode til at vurdere kvalitet i uddannelsessystemet bliver derfor kompleks og mindre entydig.

Et udtryk for kvaliteten er bl.a., i hvilket omfang de fastsatte mål nås. Denne målopfyldelse afhænger til en vis grad af de midler, der er til rådighed. En entydig sammenhæng mellem mål og midler er dog ikke givet på forhånd. Udbyttet af undervisningen beror i høj grad på en vekselvirkning mellem elever/studerende og lærere under indflydelse af faktorer som fx de fysiske rammer, undervisningsmidlerne og studiemiljøet.

De mange faktorer, der har indflydelse på undervisningens resultat, betyder, at en mål-middelanalyse heller ikke bliver enkel og entydig. Mål og midler udgør i undervisning en helhed - en dynamisk helhed. En faktor kan i én relation ses som et mål, mens den i en anden relation betragtes som et middel (fx undervisningsmetoder).

Metoden i "Kvalitet der kan ses" bygger på to hovedkategorier af mål for resultatvurderingen:

• Målsætninger for uddannelsessektorens præstationer/resultater
• Forudsætninger/rammevilkår, det vil sige forudsætninger for at tilvejebringe kvalitet i undervisningen og i uddannelserne generelt.

Systematikken kan illustreres ved hjælp af følgende figur:

Målsætningerne er et udtryk for nogle alment accepterede overordnede mål for uddannelsessystemet. Målsætningerne har tilknyttet én eller flere (kvalitative og/eller kvantitative) indikatorer.

Målsætninger angiver hensigten: Hvor vil man hen? Alt efter hvorledes målsætningerne formuleres, skal det kunne beskrives, om de opfyldes i større eller mindre grad. Målsætninger, der anvendes i kvalitetssystematikken, skal være konkrete og operationelle i den forstand, at der skal kunne peges på indikatorer, som kan bruges til at vurdere, i hvor høj grad målsætningen opfyldes.

Forudsætninger/rammevilkår indeholder ikke noget budskab om kvalitet i sig selv. De siger noget om, hvorvidt grundlaget for at opfylde kvalitetsmålsætningerne er til stede. Til forudsætninger/rammevilkår er der tilknyttet indikatorer, der typisk beskriver tilstande, fx nøgletal. Men de kan også være af kvalitativ karakter, fx normer og værdier hos ledelse og lærere. Til disse indikatorer vil der ikke nødvendigvis være tilknyttet et egentligt kriterium for den gode kvalitet, men de er med til at beskrive forudsætningernes tilstand.

Som et eksempel på en forudsætning kan nævnes "Kvalificerede og motiverede undervisere og ledere". Det er ikke nødvendigvis ensbetydende med god kvalitet i undervisningen, at underviserne og lederne er motiverede og har de rette faglige og pædagogiske kvalifikationer. Men det er et rammevilkår, der giver et godt udgangspunkt for kvalitet i undervisningen. Forudsætningen/rammevilkåret kan tilknyttes indikatorer om grunduddannelse og pædagogiske kvalifikationer, omfanget af efter- og videreuddannelse mv.

Det kan godt være et mål i sig selv at sørge for gode forudsætninger og rammevilkår, men det er ikke tilstrækkeligt til at skabe en høj kvalitet i uddannelserne. Det er fx ikke entydigt, om højere eller lavere enhedsomkostninger er udtryk for højere eller lavere kvalitet. Forudsætninger/rammevilkår beskriver derfor, hvordan udgangspunktet for at realisere den overordnede målsætning om høj kvalitet ser ud.

Indikatorer viser noget om, i hvor høj grad målet opfyldes. Med nogle måltyper kan det, der skal nås, måles direkte. Ved andre typer af mål må der gås mere indirekte til værks. Der vælges én eller flere indikatorer til at beskrive, om den ønskede kvalitet er opnået. Typisk skal der flere indikatorer til for at give en tilfredsstillende indsigt i graden af målopfyldelse. Hver enkelt indikator siger ikke nødvendigvis noget i sig selv om kvaliteten. Men når man sammenholder indikatorerne for en given målsætning, er det hensigten, at de skal give en fyldestgørende beskrivelse.

Det er vigtigt, at de indikatorer, der er knyttet til målsætningerne, giver en så entydig beskrivelse af målopfyldelsen som mulig. Er dette tilfældet, kan man sige, at indikatorerne "tager temperaturen" på kvaliteten i de udvalgte målsætninger, og at indikatorerne tilsammen giver et billede af tilstanden inden for de udvalgte målsætninger.

Kriterier angiver acceptable eller ønskelige niveauer for indikatorerne. Kriterierne angiver, på hvilket niveau målsætningen er nået på tilfredsstillende måde. Kriterier kan være beskrivende eller kvantitative, men de anvendes kun på indikatorer, hvortil der er knyttet en målsætning.

En indikator kan godt ligge fast, mens kriteriet varierer afhængig af tid og sted. For indikatorer tilknyttet målsætninger vil der i nogle tilfælde være kriterieværdier, så det kan vurderes, om målsætningerne er opfyldt tilfredsstillende. Der er kun fastsat kriterier for få indikatorer i denne udgave af "Kvalitet der kan ses".

Anvendelse af metoden

Det første led i metoden er, at målsætninger og forudsætninger/rammevilkår defineres, så grundlaget for den videre brug af kvalitetssystematikken ligger fast. Idéen i metoden er herefter, at man først evaluerer målsætningerne ved at beskrive "tilstanden" hos de fastlagte indikatorer og eventuelt holder dem op mod de tilhørende kriterier.

Hvis indikatoren er kvantitativ og har en værdi, der vurderes at være for ringe, bør det overvejes, hvorledes kvaliteten kan forbedres på det pågældende område. Hvis indikatoren er kvalitativ, skal det vurderes, hvorvidt beskrivelsen lever op til det ønskede. Hvis noget ikke er tilfredsstillende, kan det fx give anledning til at overveje, om forudsætningerne/rammevilkårene i tilstrækkelig grad understøtter god uddannelseskvalitet.

Undervisningsministeriets forslag til kvalitetssystematikken indeholder syv målsætninger og fem forudsætninger/rammevilkår.

1. Uddannelse til alle
2. Højt fagligt niveau i undervisningen
3. Sammenhæng i uddannelsessystemet
4. Højt uddannelsesniveau
5. Vækst og udvikling
6. Ressourcerne skal udnyttes effektivt
7. Motivation for fortsat uddannelse

De overordnede forudsætninger/rammevilkår:

8. Kvalificerede og motiverede lærere og ledere
9. Kvalificerede og motiverede elever og studerende
10. Udviklingsorientering
11. Økonomiske og fysiske rammer
12. Støttefunktioner

Måden at måle kvalitet på skal indrettes og tilrettelægges i overensstemmelse med krav for kvalitetsevaluering og kvalitetsudvikling inden for de enkelte uddannelsesområder. Systematikken er koordineret med ministeriets øvrige initiativer og igangværende projekter, og den er udarbejdet med henblik på at understøtte disse aktiviteter og inspirere til nye.

Som nævnt forsøger Undervisningsministeriet med denne publikation for første gang at konkretisere systematikken i "Kvalitet der kan ses". I løbet af arbejdsprocessen er der sket tilpasninger med hensyn til indikatorerne for de enkelte målsætninger og rammevilkår – nogle er sorteret fra og andre kommet til.

På nogle områder er der bedre statistisk materiale, undersøgelser, evalueringer og lignende end på andre. Derfor er der forskel på, hvor entydige kvalitetsvurderingerne er i de forskellige afsnit. Det skal også nævnes, at metoden i "Kvalitet der kan ses" fører til, at mange forskellige forhold undersøges. Det er et led i metoden, at det er afgørende at udvælge forskelligartede faktorer. Dette medfører i visse tilfælde, at afsnittene kan forekomme uensartede.

I forhold til senere versioner af "Kvalitet der kan ses" vil de erfaringer, som projektet måtte høste, føre til løbende ændringer i fx de valgte indikatorer samt i vægtningen af forskellige typer data.

Denne side indgår i publikationen "Kvalitet der kan ses" som kapitel 2 af 17
© Undervisningsministeriet 2000