Barrierer i evalueringskulturen på erhvervsskoler

Optakt
Meget kan evalueres – og der er mange måder at evaluere på!

Der er mange forskelle på erhvervsskolerne, og det gælder også evalueringskulturen. Forskellen kan være til stede mellem skoler, men også typisk mellem afdelinger på større skoler, der huser forskellige uddannelser.

Forskelligheden kommer eksempelvis til udtryk i, hvad man har fokus på i evalueringerne, metoder og procedurer, brug af resultaterne, samarbejdet mellem lærere og mellem lærere og ledelse, elevernes involvering og eksamenssystemets rolle. Det er en forskellighed, der blandt andet afspejler forskelle i skoletraditioner, ledelse, lærerkultur, uddannelser, faglige traditioner og niveauer, skolestørrelse og meget mere.

Der er samtidig mange fællestræk. På både skole- og lærerniveau er det de summative (kontrolorienterede) evalueringer, der dominerer. Det modsvares af, at evaluering på mange skoler primært opfattes som et værktøj til kontrol og kvalitetssikring – og ikke samtidigt som et udviklingsværktøj.

Ved hjælp af kvantitative målinger på udvalgte områder gennemfører de fleste skoler undersøgelser på både afdelings- og skoleniveau. Målingerne udføres oftest på områder, der umiddelbart er synlige og tilgængelige, for eksempel elevernes adfærd og resultater (karakterer, frafald, fravær mv.) – eller i forhold til brugernes holdninger og oplevelse af kvalitet, for eksempel spørgsmål om graden af tilfredshed med undervisningen, kantineforhold, udbud mv. Ofte gennemføres der endvidere benchmarking – enten mellem skolens afdelinger eller i relation til andre skolers resultater.

Resultatet eller produktet af denne form for evalueringer er oftest kvantitative opgørelser over de synlige resultater af skolens ydelser eller af brugernes holdninger til kvaliteten af samme. Brugertilfredshed bliver således det væsentligste parameter for skolens kvalitet, og udviklingsaktiviteter vil, hvis og når de tænkes sammen med evaluering, oftest være rettet mod områder, hvor der er konstateret utilfredshed.

Lærernes evaluering af undervisningen og af den enkelte elevs læreprocesser og kompetencer betragtes og fungerer typisk som et anliggende for den enkelte lærer. For mange lærere samler evalueringsindsatsen sig om vurderinger af elevernes kompetencer i forbindelse med standpunktskarakterer og eksamen, mens den løbende eller formative evaluering af undervisningen og eleverne er lavere prioriteret og mindre synlig og dokumenteret.

I det følgende beskrives praksis med fokus på en række barrierer i evalueringskulturen på erhvervsskolerne. Vi taler om tendenser for at understrege, at det er en beskrivelse af de indtryk, vi har fået af evalueringskulturen på de seks skoler, vi har besøgt, og som toner frem gennem interview med ledere og lærere. Tendenserne repræsenterer således træk i evalueringskulturen, der opleves som gennemgående eller karakteristiske.

Den rolle, som de enkelte barrierer spiller, kan variere fra skole til skole og fra afdeling til afdeling på den enkelte skole.

Barriererne angives først med overskrifter i en samlet og overskuelig oplistning; dernæst følger en uddybende, men kortfattet beskrivelse af de enkelte tendenser. Rækkefølgen er vilkårlig. De anvendte citater (i kursiv) stammer alle fra interview i skoleundersøgelsen.

Beskrivelserne kan naturligvis bruges til at danne sig indtryk af den evalueringskultur, de er udtryk for, og til at diskutere kriterier og vilkår for god og dårlig praksis. Det er samtidig hensigten, at de kan fungere som spejl og udgangspunkt for at kigge kritisk og konstruktivt på egen praksis:

Hvilke barrierer er fremherskende i evalueringskulturen på vores egen skole/afdeling eller i vores eget team/egen faggruppe? Hvad er vores stærke og svage sider? Hvad kan vi arbejde på at blive bedre til?

Barrierer i oversigtsform

1. Skolernes fokus, prioritering og handleplaner i forhold til evaluering præges af ministerielle krav, udefrakommende dagsordener og strømninger i tiden.
2. Spørgsmål og arbejdsopgaver vedrørende evaluering opleves som noget, der både kræver megen tid og opmærksomhed.
3. Der er ikke nødvendigvis overensstemmelse mellem den enkelte skoles pædagogiske værdigrundlag og den tænkning, som ligger til grund for en given evaluering.
4. Evaluering af elever og undervisning fungerer ofte som den enkelte lærers opgave og ansvar og ikke som et fælles anliggende for lærere og ledelse.
5. Det er ikke tydeligt, om lærerne anvender evalueringer til udvikling af undervisningen.
6. Hos ledelse og lærere kan der være forskelligt syn på evalueringens formål og fokus.
7. Evalueringsmetoder er ikke nødvendigvis afpasset efter, hvad man vil evaluere på, og hvad evalueringen skal bruges til.
8. Hos mange lærere og uddannelsesledere skaber evaluering, der rettes mod deres eget felt, usikkerhed og angst på grund af mulig kritik og eventuelle konsekvenser.
9. Det summative og kontrolorienterede aspekt i evalueringen af elever og undervisning er dominerende på bekostning af det formative og udviklingsorienterede.
10. Bestræbelserne på at omsætte evaluering til forandring foregår på basis af enkeltresultater snarere end “helhedsbilleder”.

Barrierer – beskrivelse af ti tendenser
1. tendens: Fokus og prioritering præges af ministerielle krav og udefrakommende dagsordener
Mange evalueringer udspringer af krav, skolen bliver pålagt!

“Vi måler også for eksempel på gennemførelse – det er jo et lovkrav, og i den ny resultatkontrakt er det blevet et krav, at vi arbejder med selvevaluering”. (leder)

Centrale evalueringer er præget af krav, der løbende stilles til skolerne gennem lovgivning og bekendtgørelser, og af initiativer på områder, hvor der aktuelt er politisk fokus. Mange evalueringer har derfor som hovedformål at opfylde de krav, som ministeriet stiller med henblik på at udarbejde handleplaner i forhold til på forhånd udvalgte fokusområder. Dette kan føre til en tendens til at gå efter de hurtige og synlige resultater og medvirke til at fjerne fokus fra områder, som ledelse og medarbejdere måtte finde mere relevante. De gennemgående evalueringstemaer er således initieret “udefra”, hvilket opleves som frustrerende af både ledere og lærere.

2. tendens: Der er ikke altid overensstemmelse mellem tidsforbrug og oplevelsen af udbyttet
Evalueringer kræver stadig mere opmærksomhed og tid! I takt med at de eksterne krav til skolernes selvevaluering og dokumentation øges, anvender skolerne stadig flere ressourcer på evalueringer. Kravene til skolernes indsatsplaner har stor bevågenhed hos ledelserne, og evalueringer anvendes i øget omfang til at dokumentere skolernes kvalitet over for eksterne og/eller indirekte brugere. Der bruges mange ressourcer på dataindsamling og registrering og på at udvikle metoder, der egner sig til at dokumentere resultater i en kvantificeret form, så de let kan læses og sammenlignes. Flere skoler har ansat en fuldtidsmedarbejder, der både arbejder med evaluering, kvalitetsstyring og dokumentation.

“Hvordan får vi arbejdet med at dokumentere kvalitet i forhold til lovkrav til at spille sammen med intern udvikling af organisationen? Den tid, der bruges på evaluering, skulle gerne vindes ind igen i form af udvikling. Den kabale går endnu ikke op” (leder)

Mange ledere giver udtryk for, at det kan være vanskeligt at få de eksterne krav til at spille sammen med skolens egne prioriteringer og mål. Der kan være en tendens til, at skolerne fokuserer på de eksterne krav, og at opmærksomheden hermed fjernes fra det, der kunne være særligt relevant eller presserende på den enkelte skole. Når sammenhængen mellem evaluering og prioriterede udviklingsmål ikke er til stede, opleves evaluering som en tidsrøver. Det samme gælder, når der ikke følges op på resultaterne af en evaluering.

“Nogle siger, de ikke har tid til at evaluere – jeg mener ikke, at jeg har tid til at lade være, fordi jeg ellers som lærer kan risikere at ryge ud ad et forkert spor”. (lærer)

Både lærere og ledere giver udtryk for, at den tid, der bruges på evaluering, kan være givet godt ud, men de oplever samtidig, at tidsforbruget til evaluering fylder meget, og at evalueringerne kunne være mere fokuserede. Flere ledere og lærere rejser spørgsmålet, om der ikke evalueres så meget, at vi bliver mætte og ikke længere gider deltage?

3. tendens: Evalueringsmetoder og pædagogisk værdigrundlag stemmer ikke altid overens
Evalueringer kan være kilde til værdikonflikter!

De evalueringsmetoder, der anvendes, afspejler et værdisyn, som ikke altid er foreneligt med skolernes generelle værdigrundlag. Af en skoles pædagogiske grundlag kan det for eksempel fremgå, at man ønsker at fremme dialog, medindflydelse og samarbejde, men samtidig observere, at evalueringer planlægges, gennemføres og følges op uden nævneværdig inddragelse af hverken elever eller lærere.

“Vi synes, at elevernes kommentarer på undersøgelserne siger langt mere end røde tal og abstrakte konklusioner”. (lærer)

Nogle lærere finder det vanskeligt overhovedet at gennemskue det egentlige formål med mange evalueringer. Andre har vanskeligt ved at genfinde de humanistiske værdier i den evalueringskultur, de møder (måle og veje), og de har svært ved at se sammenhængen mellem de pædagogiske mål og den tænkning, som mange evalueringer bygger på.
Ofte opstår der værdikonflikter mellem de pædagogiske mål og evalueringsmålene, og der efterspørges mere dialog og en tydeligere sammenhæng mellem disse. Mange lærere ønsker et bedre samarbejde og mere indflydelse på både form og indhold i evalueringerne og en debat om forskellige værktøjers anvendelsesværdi i forhold til forskellige mål og målgrupper.

4. tendens: Evaluering af elever og undervisning er ofte overladt til den enkelte lærer
Undervisningslokalerne bemandes af privatpraktiserende evaluatorer!

Alle lærere evaluerer løbende både deres undervisning og deres elever – men det er helt tydeligt, at spørgsmålet om den konkrete evaluering er noget, der er overladt til den enkelte lærer. Det er heller ikke altid klart, hvad det er, der konkret gøres til genstand for evaluering, hvilke metoder læreren anvender, eller hvordan resultater fra evalueringerne omsættes til praksis.

“Det er et individuelt anliggende for lærerne at evaluere, og hvordan de tolker og reagerer på resultater”. (leder)

Lærerne taler sjældent sammen om de evalueringer, de gennemfører af deres undervisning, og der savnes synlige kriterier for denne del af evalueringerne og for evalueringen af eleverne i forhold til kompetencemål. Derfor er det ofte uklart, hvilke parametre der måles på, og hvilke værktøjer læreren anvender i evalueringsprocessen. Dette gør det vanskeligt at udveksle erfaringer om og følge op på resultaterne af evaluering af elever og undervisning på afdelings- eller skoleniveau.

Lærerens selvbestemmelse og råderum i forhold til evalueringspraksis kan have som konsekvens, at bedømmelse og evaluering bliver praktiseret på et diskutabelt grundlag.

De uformelle og uregistrerede evalueringer, som lærerne foretager af undervisningen og eleverne, opleves som værdifulde, fordi de kan anvendes umiddelbart i forhold til den konkrete undervisning. Evalueringerne gennemføres dog ofte uden synlige præmisser og kriterier og med afsæt i lærerens personlige vurdering.

Evaluering og bedømmelse af eleverne kan derfor komme til at fremstå som tilfældig, og det bliver måske uklart for eleven, hvad denne bliver evalueret og bedømt på. Mange elever mener ikke, de får den personlige feedback, som de reelt ønsker, og de oplever heller ikke, at der i tilstrækkelig grad bliver fulgt op på deres evalueringer af skolen eller i undervisningen.

“Det er en svaghed ved vores evalueringer, at vi ikke kommer tæt nok på læreren, ikke tæt nok på en undervisningssituation...”. (leder)

Flere ledere giver dog udtryk for betænkelighed ved at lade de centrale evalueringer gå tættere på den enkelte lærers undervisning, og mange lærere er ikke interesserede i, at lederne eller andre skal blande sig i deres arbejde.

5. tendens: Evaluering udnyttes ikke tilstrækkeligt til udvikling af undervisningen
Koblingen mellem evaluering og udvikling er svær at spotte!

Der er ikke særlig megen fokus på den betydning og det potentiale, som resultatet af de løbende eller formative evalueringer kan have for udviklingen af undervisningen og dermed for elevernes læring og udbytte.

Forandret undervisningspraksis forekommer derfor snarere at være et resultat af den almindelige lærerudvikling end af gennemførte evalueringer.

Mange lærere fremhæver deres egne mere uformelle evalueringer som særligt vedkommende, fordi de her får en direkte og aktuel respons fra eleverne. På baggrund af den direkte feedback kan den enkelte lærer ændre på sin praksis, der hvor det skønnes nødvendigt.

“Problemet med det uformelle er, at det er svært at samle op på det...”. (lærer)

Både læreres og lederes vurderinger af aktuelle udviklingsbehov afhænger ofte af deres subjektive eller tilfældige observationer. Disse kan den enkelte så vælge at handle – eller undlade at handle – ud fra.

6. tendens: Ledelse og lærere har ofte forskelligt syn på formål og relevans
Man kan godt være tilfreds – uden at have lært noget!

Flere lærere mener ikke, at “tilfredshedsmålingerne” omhandler noget, der er vedkommende i forhold til deres undervisning. Lærerne anfører samtidig, at det typisk er ret banale ting (som for eksempel antallet af stole, forhold i kantinen eller lignende, der bliver fulgt op på som resultat af evalueringerne.

“Der er to niveauer. Et er det strategiske – og et andet er der, hvor du kommer ned i det pædagogiske materiale. Det er vidt forskellige ting, som de to niveauer gerne vil have at vide”. (leder)

Lederne ønsker at bruge evaluering som et strategisk værktøj, der kan anvendes direkte som input til deres beslutningsgrundlag, men oplever også, at de bliver pålagt evalueringsopgaver “udefra”, som ikke altid opleves som meningsfulde. Lærernes fokus er ofte det tætte og nære forhold til eleverne og deres læreprocesser, og de har helt andre forestillinger om, hvad der bør være genstand for evaluering.

“Vi diskuterer ikke skoleevalueringen. Den bliver lagt på lærerværelset, og så ligger den der...”. (lærer)

Ofte vægtes skolens evaluering ikke særlig højt hos lærerne, der tillægger egne evalueringer større værdi. Skolens tilfredshedsundersøgelser er fokuseret på at afdække holdninger på afdelings- og skoleniveau, men mange mellemledere og lærere efterspørger mere lokalt tilpassede evalueringsmetoder og evalueringsspørgsmål.

Andre fremhæver, at evalueringer, der initieres af det strategiske niveau, af lærerne ofte opleves som en kontrolforanstaltning. Derfor kan udvælgelse af evalueringsmål blive et konfliktemne, og der kan opstå problemer i forhold til at engagere og motivere lærerne til at deltage.

7. tendens: Der råder usikkerhed om metoder og om mål og midler
Der er ikke altid sammenhæng mellem mål og midler!

Evaluering opleves som en meget stor og kompetencekrævende opgave, og hos såvel lærere som pædagogisk ledelse råder der usikkerhed om metode og praksis. Det betyder, at evalueringsmetoderne ikke nødvendigvis er afpasset efter, hvad man vil evaluere på, og hvad evalueringen skal bruges til. Det er heller ikke tydeligt, hvad det indebærer at være en god evaluator.

“Det formative har vi ikke den store erfaring med på skoleniveau, men også de summative evalueringer kan vi blive bedre til... for eksempel stille nogle bedre spørgsmål, der stimulerer refleksion”. (leder)

Uoverensstemmelse mellem mål og midler kan komme til udtryk i konkrete evalueringer af eleverne, som når faktuelle videnstest bliver anvendt som grundlag for vurdering af elevernes forståelse eller deres kompetence til at udføre bestemte faglige processer.

På skolerne er der samtidig forskellige forventninger til, hvad evalueringer skal bruges til. For eksempel har mange ledere en forventning om, at evalueringer skal kunne bruges til problemafdækning og forbedring. Lærernes fokus, derimod, er ofte på den enkelte elev og dennes faglige eller personlige udvikling. For eksempel mener flere lærere, at der ikke bliver stillet tilstrækkeligt skarpt på det pædagogiske, selvom lederne mener, at evalueringer også skal bidrage til at forbedre undervisningen,

“Elevtilfredshedsmålinger (med central spørgeramme) er baseret på meget generelle spørgsmål møntet på det strategiske niveau – det er ikke noget, elev og lærer kan bruge til særlig meget”. (lærer)

Ofte bliver evalueringsværktøjer til i et miks af forskellige ønsker, hensigter og formål, og de sender derfor uklare signaler om, hvad det egentlig er, der er genstand for evaluering.

Både ledere og lærere giver udtryk for, at der mangler en dialog om, hvilke evalueringsformer der egner sig til at belyse forskellige aspekter af skolens virksomhed.

8. tendens: Evaluering skaber usikkerhed og angst
Evaluering er en tillidssag – mener både ledere og medarbejdere!

Usikkerhed om, hvad resultatet af evalueringer kan eller skal bruges til, opleves som en væsentlig barriere for udvikling af en god evalueringskultur. Samtidig kan opfølgning på evalueringer i form af sanktioner over for de involverede skabe frygt eller direkte modstand mod evaluering.

“Den kontrol, der ligger i evalueringer, er der mange, der er nervøse for… – det, at det kan bruges imod mig, skaber frygt for ikke at slå til, frygt for dårlige “anmeldelser””. (lærer)

Endvidere har nogle et ønske om at gøre, som de altid har gjort, hvilket i sig selv både kan skabe modstand mod at blive evalueret og mod at ændre praksis. Andre er mere åbne over for at “lukke evalueringerne indenfor” i læringsrummet, men er samtidig bevidste om, at dette kan medføre et psykisk hårdt arbejdsmiljø, fordi mange frygter kontrolaspektet.

Kontrol- og registreringsaspektet kommer ifølge både lærere og ledere til at fylde meget – og i mange evalueringer på bekostning af opfølgningen på resultaterne. Samtidig skygger det fokus, som mange evalueringer har på afdækning af problemer og mangler, ofte for blikket for det positive, det man gør godt og kan være tilfreds med. Lærere og ledere peger på, at det også er vigtigt at tilgodese dette, herunder den betydning, som “det gode eksempel” kan have for motivationen, samarbejdet og arbejdet med udvikling.

9. tendens: Det summative og kontrolorienterede dominerer
Læringsperspektivet drukner i det, der måles og vejes!

Skolernes evalueringsmetoder afspejler et udbredt ønske om at kvantificere og sammenligne, og resultatet bliver ofte en række statistikker, som mange kan have vanskeligt ved at forholde sig til. Der udarbejdes for eksempel talmæssige opgørelser over elevstandpunkter, frafald og karakterer, som der ikke kan gives entydige forklaringer på.

“Det er ikke så meget evalueringerne, der bidrager til elevernes personlige og faglige udvikling – det er mere de løbende samtaler, som den enkelte lærer har med eleven”. (lærer)

Elektroniske værktøjer tenderer at stimulere udviklingen af summative evalueringer, selvom de kvantitative målinger oftest opleves som uegnede til at evaluere på den enkelte elevs faglige progression, læreproces eller udviklingspotentiale.

Flere lærere peger på, at nærheden er forsvundet, ved at man ikke længere sidder sammen med eleven – og at muligheden for at anvende evalueringer til at forbedre elevens læring hermed forringes. Endelig nævner både lærere og ledere, at skolerne savner kompetencer til at gennemføre formative evalueringer, og man er derfor tilbøjelig til at ty til det nemme, det summative.

10. tendens: Forandring foregår på basis af enkeltresultater snarere end “helhedsbilleder“ Brugen af evalueringsresultater savner helhed og overblik!

På den enkelte skole kan der forekomme mange forskellige former for evaluering, der hver især søger at afdække specifikke områder. Ledere kan for eksempel være optaget af at få afdækket forhold af betydning for budgetlægning, for eksempel frafald og gennemførelse. Lærerne kan være mere optaget af forhold, der kan stimulere læring, for eksempel skolens læringstilbud, undervisningens tilrettelæggelse mv.

“Målet hos mig er at højne indlæringen hos eleverne – alle ting spiller ind, for eksempel læreren, undervisningen, elevens arbejdsindsats, skolens fysiske rammer osv. ..”. (lærer)

Der er opmærksomhed på, at den enkelte elevs læring potentielt kan afhænge af mange forskellige og sammenfaldende faktorer, men det kan være vanskeligt at få kædet resultaterne af forskellige evalueringer sammen til et helhedsbillede. Flere lærere og ledere giver udtryk for, at man ofte savner et bredere og mere nuanceret perspektiv på resultatet af en bestemt evaluering, et helhedsbillede der kunne give et bedre grundlag for handling.

Denne side indgår i publikationen "Evalueringskultur på erhvervsskolerne"
© Undervisningsministeriet 2006