Kapitel 1 Sammenfatning INTERESSE FOR KVALITET Evaluering og udvikling af kvalitet i uddannelserne er et lokalt såvel som et nationalt anliggende. Undervisningsministeriet har i de senere år iværksat en række kvalitetsud-viklingsprojekter. Projektet "Kvalitet der kan ses" forsøger at skabe en fælles systematisk tilgang til kvalitet. Projektet er en løbende proces, hvor metoden skal udvikles så den modsvarer de skiftende krav og behov der stilles og således, at den løbende forbedres. Projektet ventes at resultere i publikationer, der udkommer løbende og bidrage til en overordnet indsigt i det danske uddannelsessystem, som kan skabe et grundlag for udvikling af uddannelserne. Kvalitet i uddannelse er ikke en entydig størrelse. Resultatet af uddannelse og undervisning er ikke et produkt, som kan bestemmes uafhængigt af processen og de faktorer, der indgår heri. Der er således forskel på at arbejde med kvalitet i en fremstillingsvirksomhed, der leverer en nøje defineret vare, og kvalitet i uddannelse, som omfatter meget andet end konkrete, målbare faktorer. I undervisning er produkt og proces ofte vanskelige at adskille, og undervisningsforløbene er, ligesom deltagerne, forskellige. Samtidig udvikles krav og muligheder inden for uddannelse i takt med samfundets generelle udvikling. Grundlæggende er kvaliteten af undervisning afhængig af indlæringsprocessen og interaktionen mellem lærer og elev. Den er derfor svær at belyse overordnet; det er ikke umiddelbart muligt at foretage kvalitetsmålinger, der både er enkle og dækkende. Kvalitet kan fx opgøres som omfanget af opfyldelse af de opstillede målsætninger. Målene i undervisning er mangfoldige og afhænger bl.a. af uddannelsestype og niveau samtidig med, at de løbende ændres. For ensidig fokus på få, enkle faktorer kan give forholdsmæssigt for stor satsning på disse områder, og efterfølgende måske et urealistisk indtryk af forholdene. De områder, der udvælges kan ikke undgå at blive pejlemærker, når kvaliteten skal evalueres ("man får det man måler"). Udvælgelsen af de faktorer, der vurderes ud fra, er derfor en meget vigtig opgave, da fokus på forkerte eller irrelevante størrelser i værste fald vil kan bidrage til en forringelse af kvaliteten. Det er mest håndgribeligt og enkelt at beskæftige sig med numeriske størrelser. Der er derfor en reel fare for, at arbejdet på at forbedre disse målbare størrelser sker på bekostning af mere kvalitative, ikke-målbare processer i undervisningen. En uddannelsesevaluering bør derfor bestå af både enkle, målbare indikatorer, der er let tilgængelige og af mere kvalitative, komplekse størrelser. Evalueringer er hovedsagelig retrospektive, således at de giver en status for tingenes tilstand. En vigtig opgave består i at skabe et grundlag for at udvikle kvaliteten af undervisning og uddannelse, således at det fremadrettede perspektiv tilgodeses. DETTE PROJEKT Udfra ønsket om at danne sig et overordnet indtryk af kvaliteten i uddannelserne er Undervisningsministeriets udspil til et kvalitetssystem på nationalt niveau "Kvalitet der kan ses" blevet til. Hensigten med kvalitetssystematikken er, at den skal være et redskab til at evaluere og - først og fremmest udvikle kvaliteten, ligesom den skal videregive informationer, der kan bidrage til at vurdere, hvor en fremtidig indsats giver bedst kvalitet i forhold til de givne ressourcer. Kvalitetssystematikken skal endvidere tjene som inspiration til udvikling og dynamik på den enkelte institution/uddannelse. Projektet er et paraplyprojekt, der lægger grunden til en fælles metodologi og terminologi for kvalitetsprojekter i uddannelsessektoren. Således skal det være et redskab til at skabe en fælles metode for at øge koordinationen og sammenligneligheden i kvalitetsvurderinger mellem uddannelsesområderne. I denne fase af projektet fokuseres der fortrinsvis på uddannelsessystem- og sektorniveau. Som udgangspunkt skal systemet bygge på allerede eksisterende information, således at institutionerne ikke belastes yderligere. På sigt er det dog ønskeligt at få udviklet flere, og især bedre, kvalitative indikatorer. METODE Uddannelsessystemet er mere komplekst at analysere end en produktionsvirksomhed med et konkret produkt. Den anvendte metode til resultatvurdering og kvalitetsudvikling må derfor også blive kompleks og mindre entydig. Et udtryk for kvaliteten er bl.a. i hvilket omfang, de fastsatte mål nås. Målopfyldelsen afhænger i betydelig grad af de midler, der er til rådighed. En entydig sammenhæng mellem mål og midler kan dog ikke antages på forhånd. Undervisning beror i høj grad på en vekselvirkning mellem elever og lærere, under indflydelse af faktorer som fx de fysiske rammer, undervisningsmidlerne og studiemiljøet. De mange faktorer, der har indflydelse på undervisningens resultat, er omstændigheder, der betyder, at en mål-middel-analyse ikke bliver enkel og entydig, eftersom mål og midler udgør en dynamisk helhed. Mål og midler optræder i en hierarkisk sammenhæng, hvor den samme faktor i én relation ses som et mål, i en anden som et middel (fx undervisningsmetoder). Ministeriets metode bygger på to hovedkategorier af mål for resultatvurderingen: Målsætninger for uddannelsessektorens præstationer/resultater og Forudsætninger/rammevilkår. Det vil sige forudsætninger for tilvejebringelse af kvalitet i undervisningen og uddannelserne. Systematikken kan illustreres ved hjælp af følgende figur: Målsætningerne, er et udtryk for nogle konkret formulerede og alment accepterede overordnede mål for uddannelsessystemet. Målsætningerne har tilknyttet én eller flere (kvalitative eller kvantitative) indikatorer, som kan have et eller flere kriterier for, om kvaliteten er god. Datagrundlag og specifikation af indikatorerne udfra et verifikationsgrundlag. Graden af målopfyldelse kan dermed vurderes ud fra indikatorerne og på de tilhørende kriterier. Målsætninger angiver hensigt og intention: Hvor vil man hen? De kan udtrykkes ved en retning eller en kurs for bevægelsen. Alt efter hvorledes målsætningerne formuleres, skal det kunne beskrives om de opfyldes i større eller mindre grad. Målsætninger, der anvendes i kvalitetssystematikken, skal være konkrete og anvendelige i den forstand, at der kan peges på indikatorer, kriterier mv., som kan bruges til at vurdere graden af målopfyldelse. Et eksempel på en målsætning er, at "Ressourcerne skal udnyttes effektivt" (jf. målsætning F nedenfor). Det er et overordnet mål, der skal sikre bedst mulig kvalitet for de ressourcer, der er til rådighed. Indikatorer viser noget om målopfyldelsen. Med nogle måltyper kan det, der skal nås, måles direkte. Ved andre typer af mål må der gås indirekte tilværks. Der vælges én eller flere indikatorer til at beskrive, om den ønskede kvalitet er opnået. Typisk skal der flere indikatorer til at give en fyldigt indsigt i graden af målopfyldelse. Hver enkelt indikator siger ikke nødvendigvis noget i sig selv om kvaliteten, men når man sammenholder indikatorerne til en given målsætning er hensigten, at de giver en fyldestgørende beskrivelse. Det er vigtigt, at de til målsætningerne tilknyttede indikatorer er operationaliserbare og konkrete således, at de giver en entydig beskrivelse af målopfyldelsen. En indikator for målsætningen "ressourcerne skal udnyttes effektivt" kan fx være fuldførelses- og frafaldsprocenter. Disse beskrives ved nogle kvantitative størrelser og det kan således vurderes, om de ligger på et tilfredsstillende niveau, afhængig af uddannelse. Et andet eksempel på en mere beskrivende (ikke-kvantitativ) indikator kan gives inden for målsætningen om, at "Befolkningen skal have et højt uddannelsesniveau med gode faglige, almene og personlige kvalifikationer" (jf. målsætning D nedenfor). Inden for de enkelte uddannelser kan det beskrives ved hjælp af evalueringer af bl.a. fagligt og per-sonligt udbytte gennem spørgeskemaundersøgelser og lignende. Kriterier er angivelsen af, hvilket indikatorniveau, som angiver det acceptable eller ønskelige. Kriteriet er en fastsættelse af det niveau af indikatoren, som præciserer, hvornår målopfyldelsen er tilfredsstillende. Kriterier kan både være af beskrivende karakter eller kvantitative, men anvendes kun på de indikatorer, der er tilknyttet en målsætning. Man kan godt forestille sig, at indikatoren kan ligge fast, mens kriteriet kan variere over tid og sted. For indikatorer tilknyttet målsætninger vil der i nogle tilfælde være krite-rieværdier, således at det kan vurderes, om målsætningerne er opfyldt tilfredsstillende. Hvis kriterieværdien for fuldførelsesprocenter, fx er sat til mindst 75 pct. på en given uddannelse vil en faktisk fuldførelsesprocent på 63 pct. være tegn på, at målsætningen om at "ressourcerne skal udnyttes effektivt" ikke er opfyldt i tilfredsstillende grad. Verifikationsgrundlag. For at kunne beskrive indikatorerne, må der indsamles data/udsagn ol., som kan benyttes til at fastlægge og specificere indikatorerne. En præcis definition af, hvordan en given indikator beskrives eller beregnes samt præcis kildeangivelse, er en forudsætning for at indikatoren har en anvendelsesværdi. Eksempelvis er det vigtigt, at beregningsprocedurerne for fuldførelses- og frafaldsprocenter er klart fastlagte og målelige og er i overensstemmelse med tilsvarende definitioner, der anvendes i andre dele af uddannelsessystemet. Forudsætninger/rammevilkår indeholder ikke noget budskab om kvalitet i sig selv, men beskriver, om grundlaget for en realisering af kvalitetsmålene er tilstede. Til forudsætninger/rammevilkår er der også tilknyttet indikatorer, der typisk er tilstandsbeskrivende fx som nøgletal, men også kan være af kvalitativ karakter, fx normer og værdier hos ledelse og lærere. Til disse indikatorer vil der ikke nødvendigvis altid være en egentlig kvalitetsmålsætning med et kriterium for den gode kvalitet, men de er med til at beskrive forudsætningernes tilstand. Som et eksempel på en forudsætning/et rammevilkår kan nævnes "Fagligt og pædagogisk kvalificerede og motiverede lærere og ledere". Det er ikke nødvendigvis ensbetydende med god kvalitet i undervisningen, at underviserne og lederne er motiverede og har faglige og pædagogiske kvalifikationer, men det er et rammevilkår, som giver et godt udgangspunkt for kvalitet i undervisningen. Forudsætningen/rammevilkåret kan tilknyttes indikatorer om grunduddannelse og pædagogiske kvalifikationer, omfanget af efter- og videreuddannelse mv. Det kan godt være et mål i sig selv at sørge for gode forudsætninger og rammevilkår, men det er ikke tilstrækkeligt til at skabe en høj kvalitet i uddannelserne. Det er fx ikke entydigt, om højere eller lavere enhedsomkostninger er udtryk for højere eller lavere kvalitet. Forudsætninger/rammevilkår skal således beskrive, hvordan udgangspunktet for realisering af den overordnede målsætning om høj kvalitet ser ud. ANVENDELSE AF METODEN Idéen i metoden er, at man først evaluerer målsætningerne ved at holde de fastlagte indikatorer op mod de tilhørende kriterier eller vurdere dem i de tilfælde, hvor der ikke er kriterier. Hvis indikatoren er kvantitativ og har en værdi der ligger uden for den fastlagte kriterieværdi eller i øvrigt vurderes at være for ringe, bør det overvejes, hvorledes kvaliteten forbedres på det pågældende område. Hvis indikatoren er kvalitativ, skal det vurderes hvorvidt beskrivelsen lever op til det ønskede. Hvis noget ikke er tilfredsstillende, kan det fx give anledning til overvejelser, om forudsætningerne/rammevilkårene giver tilstrækkelig basis for god kvalitet i undervisningen. Undervisningsministeriets forslag til kvalitetssystematikken indeholder syv målsætninger og fem forudsætninger/rammevilkår, som er beskrevet nedenfor. Den første, konkrete del af systematikken skal tages i anvendelse i løbet af 1999. MÅLSÆTNINGER OG FORUDSÆTNINGER/RAMMEVILKÅR Det centrale i kvalitetssystematikken er definitionen af målsætninger og forudsætninger/rammevilkår. De overordnede målsætninger er: A. Systemet skal sikre uddannelsestilbud til alle B. Højt fagligt niveau i undervisningen i hele sektoren C. Der skal være sammenhæng i uddannelsessystemet D. Befolkningen skal have et højt uddannelsesniveau med gode faglige, almene og personlige kvalifikationer. E. Uddannelsessystemet bidrager til samfundets ud vikling og økonomiske vækst ved at føre til relevant beskæftigelse/videreuddannelse og modsvare arbejdsmarkedets behov F. Ressourcerne skal udnyttes effektivt G. Motivation for fortsat uddannelse H. Fagligt og pædagogisk kvalificerede og motiverede lærere og ledere I. Kvalificerede og motiverede elever/studerende J. Udviklingsorientering K. Økonomiske og fysiske rammer L. Støttefunktioner Kvalitetssystematikken skal indrettes og tilrettelægges i overensstemmelse med planerne for kvalitetsevaluering og -udvikling inden for de enkelte uddannelsesområder. Systematikken er koordineret med ministeriets øvrige initiativer og igangværende projekter, jf. bilag 1, og er udarbejdet med henblik på at understøtte disse aktiviteter og inspirere til nye. Resultatet af projektet skal være en dækkende beskrivelse af kvaliteten i uddannelsessystemet og på de forskellige uddannelsesområder, samt at inspirere til udvikling centralt såvel som lokalt. FAGLIG MÅL FORMULERING Sidst i rapporten fokuseres der på problemstillinger omkring højt fagligt niveau i uddannelserne. En central problemstilling i forbindelse med kortlægningen af kvaliteten i uddannelsessystemet er, hvordan den faglige kvalitet i uddannelsen udvikles. Det er i denne sammenhæng primært hensigten at forsøge at kortlægge og vurdere de komplekse relationer mellem det centrale og det lokale niveau. Med andre ord gives der et bud på, hvorledes de overordnede målsætninger i uddannelsessystemet formidles ud til lærerne og de enkelte undervisningssituationer. Det er endvidere afgørende, at de mål der fastsættes for de enkelte uddannelsesniveauer formuleres, så der er faglig sammenhæng i de enkelte fag ved overgangene i uddannelsessystemet. CENTRALE OMRÅDER FOR UDVIKLING AF KVALITETEN Rapporten peger på fem centrale områder, som alle har vital betydning for styrkelse og udvikling af det faglige niveau. Fælles for de valgte områder er, at kompetencen er centralt forankret, og at de alle indgår med vekslende vægt i forskellige dele af uddannelsessystemet. Områderne er: Mål og rammer for uddannelsen/faget, herunder pensum, undervisningsmetoder/-midler og læseplaner Eksamens-/prøvesystemet Lærernes kvalifikationer, herunder deres efter- og videreuddannelse Elevers og studerendes kvalifikationer ved optagelsen Øvrige områder af betydning for den faglige kvalitet, herunder skole-/institutionsledelsens rolle og ansvar Nedenfor beskrives hvert område kort. En mere uddybende beskrivelse findes i kapitel 5. MÅL OG RAMMER FOR UDDANNELSEN/FAGET, HERUNDER PENSUM, UNDERVISNINGSMETODER/-MIDLER OG LÆSEPLANER Tilrettelæggelsen af mål og rammer i uddannelserne/fagene udgør en vigtig faktor. Det centrale niveau vil på den ene side trække i retning af større harmonisering, større detaljeringsgrad og eksplicitte kravformuleringer. På den anden side er der fare for, at en høj detaljeringsgrad vil være i modstrid med den faglighed og det selvstændige ansvar, der er en forudsætning for, at læreren kan levere den bedst mulige kvalitet i undervisningen. EKSAMENS/PRØVESYSTEMET Eksamens-/prøvesystemet udfylder to funktioner. Dels dokumenteres, at elever og studerende, der optages på baggrund af deres eksamen, har et nærmere bestemt minimum af kvalifikationer, dels kan prøverne bruges af lærerne til at vurdere resultatet af læringsprocessen og dermed fungere som et vigtigt led i den tilbagekoblingsprocedure, der skal sikre videreudviklingen af kvaliteten i undervisningen. LÆRERNES KVALIFIKATIONER, HERUNDER DERES EFTER- OG VIDEREUDDANNELSE Lærernes kvalifikationer er naturligvis en afgørende forudsætning for høj faglig kvalitet i undervisningen. Lærererne skal være veluddannede og kunne bruge deres faglige færdigheder, og beherske pædagogiske metoder og midler i formidlingen af denne faglige viden. Derfor er der for langt de fleste områder fastsat specifikke krav til lærernes uddannelseskvalifikationer. ELEVER OG STUDERENDES KVALIFIKATIONER VED OPTAGELSEN Som en forudsætning for, at der sikres kontinuitet i uddannelsessystemet, må der på alle niveauer stilles krav til elever og studerendes kvalifikationer ved optagelsen. Den præcise formulering af dette krav varierer fra et alderskrav i grundskolen til fagsammensætning og karakterniveau på visse videregående uddannelser. ØVRIGE OMRÅDER AF BETYDNING FOR DEN FAGLIGE KVALITET, HERUNDER SKOLEINSTITUTIONSLEDELSENS ROLLE OG ANSVAR Til de øvrige kvalitetsudviklende områder, der i større eller mindre grad er underlagt central kontrol, hører opgaver, der er pålagt forskellige rådgivende organer og tilsynsførende funktioner. Konkret hvilke og hvordan varierer på de forskellige uddannelsesområder. Det drejer sig blandt andet om den tilsyns- og vejledningsfunktion, som udøves af Undervisningsministeriet, bl.a. ved hjælp af fagkonsulenter på folkeskoleområdet, på det gymnasiale område og på erhvervsskoleområdet. DE FAGLIGE MÅLBESKRIVELSER MÅ FORMULERES SÅ DE ER EVALUERBARE I de dele af uddannelsessystemet, hvor der er centralt fastsatte målformuleringer for fagene, er disse oftest formuleret i meget generelle vendinger, som kun i de færreste tilfælde er direkte evaluerbare. Hertil kommer, at sammenhængen mellem målformuleringer op gennem systemet ikke altid er god. Ved evaluerbare målbeskrivelser forstås tydelig angivelse af, at elever/studerende skal kunne nogle bestemte ting på bestemte tidspunkter i et skole-/uddannelsesforløb. Det skal gøres med hensyn til problemer, der kan opstå ved at arbejde med høj detaljeringsgrad i målbestemmelserne, som fx begrænsning af institutionernes og underviserernes muligheder for at tilrettelægge undervisningen fleksibelt. Udover sammenhæng i beskrivelserne af de evaluerbare mål, bør man også forlange løbende kontakt mellem de afgivende og de modtagende systemer/institutioner. Forsiden | Forord | Kapitel 2