Teser om god evalueringskultur

Indledning
Evaluering er over os, vi bruger megen tid og mange kræfter på det – ikke mindst i skole og undervisning. Spørgsmålet om evalueringskultur handler om, hvordan vi kan kultivere den brug, vi gør af evaluering.

Vi kan spørge, om den praksis, vi har, fører til forandring og forbedring? Vi kan spørge til formålet med den konkrete evaluering, og om der er sammenhæng mellem mål og midler? Vi kan gå videre og spørge, om den måde, vi evaluerer og behandler evalueringsresultater på, er i overensstemmelse med de værdier og pædagogiske udgangspunkter, vi er fælles om på skolen?

Vi kan også sammenfatte hele sagens kerne i det spørgsmål, vi formulerede i starten: Gør vi det rigtige, og gør vi det rigtige rigtigt? Det er naturligvis en sag, der er til diskussion. Man kan også sige, at det er et spørgsmål, der fordrer en diskussion.

De følgende ti teser er oplæg til en sådan diskussion af, hvad god evalueringskultur må bygge på, hvilke retninger en fornuftig evalueringskultur må følge. De er blevet til på basis af arbejdet med evalueringspraksis på erhvervsskoler, men repræsenterer altså til forskel fra de beskrevne tendenser nogle normative bud. De er samtidig udtryk for valg og prioritering.

Alle dele kan naturligvis diskuteres, men det er også meningen.

Det er samtidig tanken, at teserne bruges som hjælp til at vurdere og prioritere, hvilke spørgsmål og målsætninger det vil være hensigtsmæssigt at arbejde med og mod for at kvalificere evalueringskulturen på ens egen skole.

Teser i oversigtsform
Ti teser om god evalueringskultur

1. Evaluering er ikke kun et spørgsmål om tilfredshed eller kritik.
2. Evaluering skal være meningsfuld og have betydning.
3. Evaluering kræver opmærksomhed og samarbejde i organisationen.
4. Evaluering handler både om at være i stand til at evaluere og at blive evalueret.
5. Evaluering danner grundlag for sikring og udvikling af kvaliteten i skolens ydelser.
6. Evaluering tager tid og nytter.
7. Evaluering er noget, der skal udvikles og læres.
8. Evaluering kræver bevidsthed om fokus, mål og midler.
9. Evaluering afspejler et værdisyn og spiller sammen med skolens pædagogiske værdigrundlag og målsætning.
10. Evaluering fordrer kompetencer og et udviklingsberedskab hos den enkelte og i organisationen.

De enkelte teser

1. Evaluering er ikke kun et spørgsmål om tilfredshed eller kritik
Hos Storm P. hedder det et sted som svar på spørgsmålet: hvad skal man egentlig forstå ved kvalitet? “Ja, det er lettere at sige, hvad det ikke er.” Pointen er, at kvalitet er et relativt begreb. Vi kan ikke tale om kvalitet i sig selv. Vi bemærker den måske først, når vi oplever et savn af den, er utilfredse med et eller andet. Vores vurdering er altid baseret på en sammenligning, og vi værdisætter ved at sætte ting i relation. Det er også kernen i enhver evaluering. Den har grundlag i nogle kriterier, som vi vurderer på. At måle på spørgsmålet om tilfredshed med det ene eller det andet kan være udmærket, men gør det ikke alene.

Tilfredshed er i sig selv en relativ størrelse, og det er slet ikke sikkert, der er grund til at være tilfreds, selv om evalueringen melder tilfredshed hele vejen rundt. Det kunne jo være, at forventningerne hos deltagerne er for beskedne. Eller at spørgsmålene havde for lavt ambitionsniveau. Stiller man sig hurtigt tilfreds med en positiv tilfredshedsundersøgelse, er der derfor også en risiko for, at man gør sig sagen for let, og at man overser mulighederne for udvikling. Evalueringen bliver måske et misforstået alibi for magelig selvtilfredshed. Modsat handler evaluering heller ikke om kun at have øje for fejl og mangler. Hvor det er tilfældet udarter evaluering let til brokkeri eller måske ligefrem nedsabling. Ingen af delene er særlig hensigtsmæssige.

Kritik handler grundlæggende om at have sans for forskelle, for at noget kunne være eller gøres bedre. Til udøvelse af kritik hører blik for, hvordan tingene kunne være anderledes, at kunne skelne mellem godt og skidt, positivt og negativt med basis i håndterbare kriterier.

2. Evaluering skal være meningsfuld og have betydning
De fleste af os har mødt evalueringer, hvor vi undrer os og tænker: hvad skal denne evaluering dog bruges til? Eller vi har måske selv været med til at lave evalueringer eller fået forelagt evalueringsresultater, som aldrig er blevet brugt til noget som helst.

Peter Dahler-Larsen skriver i sin bog Den rituelle refleksion om evaluering i organisationer: “Evalueringsbølgens andet mysterium er, hvordan det kan være, at man ofte ved, man skal evaluere, men ikke hvorfor, og hvad evalueringen skal bruges til … Ofte er der ikke den mindste plan om, hvordan fremtidige handlinger skal afhænge af, om evalueringsresultaterne viser det ene eller det andet.” (Dahler-Larsen, 1998, s. 13)

Her peges på problemet, at evalueringer ofte ikke tænkes i forhold til, hvad de skal have betydning for. Det vigtige er her at være opmærksom på, at evalueringen ingen værdi har i sig selv. Den får først værdi, når der følges op på den, og den får betydning for praksis på de felter, der evalueres på.

Derfor må man nødvendigvis også overveje:

• Hvad er meningen med evalueringen?
• Hvilke forventninger har vi til den?
• Hvorfor evaluerer vi?
• Hvad skal vi bruge evalueringens proces og resultater til?
• Hvordan bruger vi processer og resultater i forhold til udvikling af ny praksis?
• Hvordan er forholdet mellem forventninger og resultater?
• Hvordan følges der op på, om evalueringsresultaterne anvendes?

I forlængelse heraf kan man udarbejde en implementeringsplan, der blandt andet kan svare på følgende:

• Hvem har ansvaret, og hvem deltager i implementeringsarbejdet?
• Hvem tolker resultaterne, og hvordan bruges de?
• Hvordan organiseres arbejdet, og hvilke metoder anvendes?

3. Evaluering kræver opmærksomhed og samarbejde i organisationen
Der kan være forskellige årsager og anledninger til at iværksætte evaluering. Det kan være krav udefra, typisk fra Undervisningsministeriet, eller behov, der er formuleret på skolen. Uanset hvad der ligger til grund, er det vigtigt at være opmærksom på følgende: Hvis evalueringen skal have en kvalitet, der gør, at den kan anvendes som grundlag for videre udvikling på skolen, kræver det, at alle de aktører, der er involveret, tager evalueringsarbejdet til sig som noget betydningsfuldt og udviser opmærksomhed i forhold til arbejdet.

Ligeledes er samarbejdet om evalueringerne af stor vigtighed. Det gælder såvel i lærergruppen som i ledelsesgruppen og på tværs i organisationen. I forhold til samarbejdet er det også vigtigt at være opmærksom på ansvarsplaceringen og medansvaret i forhold til den givne evalueringsopgave.

Når der skal skabes opmærksomhed om evalueringsopgaverne og samarbejdet om dem, er det vigtigt at have styr på, hvem det er, der har ansvaret for, at medlemmerne i organisationen påtager sig ansvaret, og hvem der har ansvaret for, at de nødvendige processer sættes i gang, så evalueringsarbejdet kan udvikles.

Man kan stille sig spørgsmål som:

• Hvem har ansvaret for evalueringen og for at følge op på den?
• Hvem er evaluator, og hvem deltager i øvrigt i gennemførelse af evalueringen?
• Hvem har interesse i evalueringen og dens resultater?
• Hvordan samarbejdes der om tolkningen og anvendelsen af evalueringsresultaterne?
• Hvordan holdes der i lærergruppen og i ledelsesgruppen opmærksomhed og fælles fokus på evalueringen og dens virkninger?

4. Evaluering handler både om at være i stand til at evaluere og at blive evalueret
Evaluering er et anliggende for hele skolen, noget der i praksis angår elever, lærere, ledelse og øvrigt personale. Evalueringerne spænder samtidig vidt. Fra den enkelte elevs mestring af et kompetencemål til udbyttet af et helt uddannelsesforløb, fra et ledelsesinitiativ til spørgsmålet om sortimentet og åbningstiderne i kantinen. Skal evalueringen føre noget konstruktivt med sig, stiller det krav til såvel udøvelsen som modtagelsen af evalueringen.

At være en god evaluator forudsætter, at man kan forholde sig til det og de, der skal evalueres, at man gør det med sans for ros og ris, godt og skidt og med blik for, at formålet er at udvikle tingene til det bedre. Giver man negativ feedback, må det derfor også altid være på en ikke ydmygende facon.

På samme måde indebærer det at blive evalueret, at man kan tage mod kritik, at man kan bruge positiv og negativ feedback som grundlag for fortsat udvikling. Set på denne måde rummer evalueringskulturen en stor udfordring for erhvervsskolen. Den udfordring består i at gøre alle skolens aktører aktive i arbejdet og at skabe nogle hensigtsmæssige processer og måder at kommunikere på.

5. Evaluering danner grundlag for sikring og udvikling af kvaliteten i skolens ydelser
Der er ingen tvivl om, at de fleste skoler sigter mod, at evalueringsarbejdet skal bidrage til at sikre og udvikle skolernes ydelser, men mange – både ledere og lærere – har svært ved at forklare, hvordan evalueringerne medvirker til det. På en skole med en god evalueringskultur har man klare mål og kriterier for, hvad kvalitet er. Det er tydeligt for de involverede, hvordan arbejdet med evalueringerne hænger sammen med arbejdet med at sikre og udvikle skolens ydelser.

Det må ligeledes være tydeligt, hvordan evalueringerne og tolkningerne af dem indgår i lærernes og ledernes arbejde med udviklingen af undervisning og uddannelserne. Derfor kan det være værd at overveje:

• Hvad er det, der skal evalueres?
• Hvilke kriterier skal evalueringen bygge på?
• Hvordan skal der evalueres, når formålet er at sikre og udvikle skolens kerneydelser?
• Hvordan arbejder man med evalueringerne i organisationen, så de reelt bidrager til sikring og udvikling af skolens ydelser?

6. Evaluering tager tid og nytter
Hverdagen på en moderne erhvervsskole er præget af hektisk aktivitet. Alle har travlt. Der sker hele tiden ændringer af uddannelserne og kravene til undervisningen. Nye fag og opgaver kommer til i en stadig strøm. De fleste giver udtryk for, at de savner tid til at nå og bearbejde det hele. Det er nødvendigt at prioritere. Når vi møder nye krav og udfordringer på skolen – og måske fristes til at vende ryggen til – sker det derfor også tit med indvendingen: vi har ikke tid! Det er her underforstået, at vi ikke kan presse flere opgaver ind i det eksisterende program, at vi ikke kan løbe hurtigere eller stjæle tid fra andre opgaver, der ikke er så presserende.

I den situation er det vigtigt at besinde sig på, hvad de forskellige opgaver på skolen kræver, og hvordan tiden er givet ud.

Evaluering omfatter mange aktiviteter og kan også beslaglægge megen tid. Hvor megen tid, og hvad den skal bruges til, er et spørgsmål om prioritering. At evaluering tager tid, er imidlertid ikke til at komme udenom. Pointen består i at prioritere det rigtige og i at bruge resultaterne rigtigt.

Nytter evalueringen, skaber den grundlag for forbedring og udvikling, er tiden givet godt ud. Hvis man tilmed arbejder systematisk og struktureret med evaluering, sparer det tid.

7. Evaluering er noget, der skal udvikles og læres
“Evaluering er jo ikke noget nyt, vi har arbejdet med det i mange år på vores skole. Vi evaluerer på livet løs”. Udsagnet dækker nok meget godt en oplevelse, som de fleste lærere og ledere vil nikke genkendende til. At slå til lyd for en god evalueringskultur er heller ikke en anfægtelse af, at tingene forholder sig sådan.

Spørgsmålet man kan stille sig er: gør vi det rigtige, og gør vi det rigtige rigtigt?

Har vi fokus på det væsentlige? Er vores praksis hensigtsmæssig? Bruger vi ressourcerne og tiden rigtigt? Er det det rigtige, vi evaluerer på? Gør vi det på en hensigtsmæssig måde, og kan vi bruge resultaterne af evalueringerne mere konstruktivt? Udfordringerne er mangfoldige.

Spørgsmålet, om hvad, hvordan og hvornår der skal evalueres, finder ikke noget entydigt svar, men er betinget af formålet med evalueringen, og hvad den retter sig mod. Det samme gælder spørgsmålet om, hvordan man følger op på evalueringerne. Er man for eksempel systematisk nok? Eller skriftlig nok?

8. Evaluering kræver bevidsthed om fokus, mål og midler
At evaluere er ikke nogen nem sag. Det kræver omtanke at foretage evalueringer, der er anvendelige. Det kræver også omtanke at sikre, at evalueringerne evaluerer det, man egentlig har til hensigt, og ikke noget helt andet. Så når evalueringerne skal udarbejdes, er det vigtigt først at stille skarpt på spørgsmålet: Hvad vil vi evaluere?

Hvis vi vil evaluere eleverne, må vi eksempelvis gøre os klart, om det er deres viden eller deres kompetencer, vi ønsker et billede af.

Dernæst må der sættes fokus på, hvordan vi så vil bære os ad med at evaluere det ønskede, altså spørgsmålet om hvilke metoder vi anvender, så vi lige netop bliver i stand til at evaluere det, vi har besluttet os for.

På samme måde med de andre evalueringsformer, der anvendes i skolen. Her er det ligeledes vigtigt at overveje, hvad målet er med evalueringen.

Tager vi tilfredshedsmålingen som eksempel, kan man tage udgangspunkt i spørgsmål som:

• Hvad er målet med en sådan evaluering?
• Hvad er det, vi vil blive kloge på?
• Hvordan skal vi blive klogere på det?
• Hvilke evalueringsmetoder er velegnede til at blive klogere?
• Hvordan vil vi tolke resultatet, og hvad vil vi bruge det til?
• Og på hvilken måde kan vi følge op i praksis?

9. Evaluering afspejler et værdisyn og spiller sammen med skolens pædagogiske værdigrundlag og målsætning
Evaluering drejer sig, når det kommer til stykket, om at vurdere og værdisætte. Det indgår som en forudsætning for enhver evaluering, at den indeholder en målestok, et eller andet som det, der evalueres, holdes op imod. Målestokken kan tage sig meget forskellig ud, men er under alle omstændigheder udtryk for et valg og en prioritering af værdier. Det er en forudsætning for at kunne afgøre, om noget er godt eller skidt.

Værdierne er også på spil i valget af, hvad der evalueres, i begrundelserne for at evaluere og i spørgsmålet om, hvordan resultaterne af evalueringen bruges. I erhvervsuddannelserne indgår evaluering på mange planer og med forskellige formål.

Der er derfor også en risiko for, at evalueringerne kommer til at fremstå som en uoverskuelig række af enkeltfunktioner, måske tilmed funktioner, som udtrykker uforenelige værdier. Her er det, det bliver væsentligt at få evalueringen til at spille sammen med skolens pædagogiske værdigrundlag.

Værdidiskussionen i forhold til evalueringerne er nødvendig, fordi den skaber mulighed for at formulere det fundament, de afklaringer, prioriteringer og valg, der er forudsætningen for, at evalueringerne bliver andet og mere end enkeltfunktioner. Værdigrundlaget giver mulighed for at sætte perspektiv på evalueringsarbejdet. Det fungerer som det filter, der gør, at læreren og lederen kan handle mere afklaret og målrettet i forhold til de mange små og større evalueringsopgaver, han eller hun skal håndtere og forholde sig til.

10. Evaluering fordrer kompetencer og et udviklingsberedskab hos den enkelte og i organisationen
Evaluering fordrer kompetencer, helt banalt. Det gælder i forhold til at kunne planlægge og gennemføre en hensigtsmæssig evaluering og i forhold til at kunne følge kvalificeret op på den.

Hvis evalueringerne skal give mulighed for, at såvel den enkelte som hele organisationen kan udvikles, må der også være eller skabes et udviklingsberedskab hos ledere og lærere.

Med dette mener vi, at der såvel på det individuelle som det organisatoriske niveau må være nogle potentialer til stede, der muliggør udvikling. Eksempelvis må der hos lærerne være nogle grundlæggende faglige og pædagogiske kompetencer, der gør, at de på et fælles grundlag og med et fælles sprog er i stand til at udvikle og eksperimentere sig frem til nye pædagogiske praksisformer.

I ledelsesarbejdet på alle niveauer, fra lærer til chef, må der på samme måde være et udviklingsberedskab, der organiserer og understøtter de forandringsprocesser, der skal arbejdes med.

Hele organisationen skal derfor rumme et beredskab, som gør, at eksperimenter og afprøvninger er noget, der værdsættes, og udvikling noget, der efterstræbes. Her handler det om at etablere en kultur, hvor nysgerrigheden er drivkraft, og hvor det er tilladt at lære af både fejl og succeser. Det er en vigtig forudsætning for at udvikle en givende evalueringskultur, hvor elever, lærere og ledere i fællesskab udvikler og gør sig klogere på praksis.

Denne side indgår i publikationen "Evalueringskultur på erhvervsskolerne"
© Undervisningsministeriet 2006