|
|
Evalueringskultur på erhvervsskolerne- Hvad, hvorfor og hvordan?
Resumé I publikationen giver forfatterne deres bud på, hvad der kendetegner en god evalueringskultur, og inspiration og ideer til, hvordan ledere, lærere og kvalitetsansvarlige på skolerne kan arbejde med at udvikle skolens evalueringskultur. Publikationen falder i fire dele: et forslag til spørgeramme til skolernes evalueringskultur, en beskrivelse af barrierer i skolernes evalueringskultur. En række teser om god evalueringskultur samt en række råd og vink om god evalueringskultur
Indhold:Komplet indholdsfortegnelse Undervisningsministeriet © Undervisningsministeriet 2006
IndholdsfortegnelseEvalueringskultur – hvad er udfordringen? Spørgeramme til erhvervsskolens evalueringskultur Barrierer i evalueringskulturen på erhvervsskoler Teser om god evalueringskultur Vink til overvejelse, diskussion og praksis Perspektiv for arbejdet med evalueringskulturen
ForordDer evalueres meget og på mange områder på erhvervsskolerne. Der bruges mange ressourcer og megen tid på evaluering. Man evaluerer elevernes produkter, standpunkter og kompetencer. Man evaluerer projektforløb, undervisningsmaterialer, lærernes planlægning, undervisningsmiljø, den enkelte lærers og leders indsats – og meget andet. Budskabet i denne publikation er derfor ikke, at skolerne skal evaluere noget mere, men at det nu er fornuftigt at overveje, hvorfor og hvordan den enkelte skole evaluerer. Publikationen handler om evalueringskultur, god evalueringskultur. Evalueringskultur på en erhvervsskole ses som udtryk for, hvordan skolen forstår og praktiserer evaluering, hvad og hvem evalueringen retter sig mod, og hvordan skolen bruger resultaterne. Evalueringskulturen er et udtryk for skolens forståelse og praksis. Det er ikke så enkelt at besvare spørgsmålet, hvad der kendetegner en god evalueringskultur. Forfatterne giver deres bud på svar og stiller en række erfaringer, gode råd og ideer til rådighed for erhvervsskolerne. Danmarks Evalueringsinstitut EVA har i flere rapporter peget på, at hvis ikke udvikling og evaluering forankres i skolens kultur, bliver resultaterne for elever, lærere og ledere ikke tilfredsstillende. Derfor er det vigtigt at vise, hvad der virker, og give et bud på procedurer og redskaber, der gearer skolekulturen til at tage imod de globale udfordringer. Der henvises til EVA’s seneste publikation »Kvalitetsarbejde på erhvervsskolerne« (se hjemmesiden www.eva.dk), der peger på en række opmærksomhedspunkter, som er vigtige i det fortsatte arbejde med at sikre og udvikle kvaliteten på skolerne. Erfaringerne er fra tre handelsskoler og tre tekniske skoler, som sammen med forfatterne fra Danmarks Erhvervspædagogiske Læreruddannelse har medvirket i et forsøgs- og udviklingsarbejde om evalueringskultur på erhvervsskoler. Hensigten med at stille dette materiale til rådighed er, at erhvervsskolerne bruger publikationens indhold aktivt til at fremme evalueringskulturen på den enkelte skole. Materialet henvender sig til både lærere, uddannelsesledere, uddannelseschefer, kvalitetsansvarlige og andre, som beskæftiger sig med uddannelser og undervisning herunder skolebestyrelser og lokale uddannelsesudvalg. Udarbejdelse og udgivelse af publikationen er finansieret af Undervisningsministeriet. Afslutningsvis skal bemærkes, at meninger og synspunkter i publikationen står for forfatternes egen regning. Steffen R. Søndergaard
ForbemærkningMaterialet er udarbejdet som led i et FoU-projekt, der er gennemført i andet halvår af 2005 for Undervisningsministeriet, Afdelingen for erhvervsfaglige uddannelser. Projektet skal bidrage til at fremme evalueringskulturen på erhvervsskolerne og er gennemført med udgangspunkt i skolebesøg og dialog med lærere og ledere ved Erhvervsskolen Hamlet, EUC MIDT, Handelsskolen i Ballerup, Holstebro Tekniske Skole, Horsens Handelsskole og TEC Teknisk Erhvervsskole Center. Undervejs i projektet har arbejdsgruppen modtaget nyttige kommentarer og ideer til materialet fra Claus Madsen, Pædagogisk udviklingschef i Esbjerg Kommune, og Poul Skov, Fil.dr. og forskningsleder, DPU. Evalueringskultur – hvad er udfordringen?Der evalueres som aldrig før på erhvervsskolerne. Der ofres mange ressourcer og megen tid på evaluering, og det optager sindene hos såvel elever som lærere og ledere. I hverdagen på en erhvervsskole dækker evaluering over en mangfoldighed af aktiviteter, der har det til fælles, at man forholder sig vurderende til noget: et resultat, en proces, “et udkomme”. Det kan handle om elevens konkrete arbejdsprodukt, faglige standpunkt eller sociale kompetencer, men rækker i virkeligheden langt videre. Også projektforløbet, undervisningsmaterialerne, lærerteamets planlægning, kantineforholdene, den enkelte lærers og leders indsats evalueres – for nu blot at nævne nogle eksempler. 
Mangfoldigheden angår ikke kun spørgsmålet om, hvad man evaluerer, men også de mål eller kriterier, som det, der evalueres, holdes op imod. Det kan handle om kompetencemål, eleverne skal nå, om mål for resultater og fremdrift i undervisningen, om graden af tilfredshed med det ene eller det andet, kriterier for godt og mindre godt og om meget mere. Forskelligheden kommer samtidig til udtryk i det konkrete formål, man har med en given evaluering, hvordan man bærer sig ad, hvornår man evaluerer, og hvem der står for gennemførelsen og opfølgningen. Udfordringen for skolernes evalueringskultur handler om at besinde sig på, hvad, hvorfor og hvordan der evalueres. Gør vi det rigtige, og gør vi det rigtige rigtigt? Det er spørgsmål, der selvfølgelig stilles hele tiden – som udgør en permanent dagsorden på en moderne erhvervsskole, men som sjældent følges systematisk op, når det handler om evaluering. 
Pointen i at tale om en evalueringskultur – og ikke bare om evaluering, evalueringspraksis, eller hvad man kunne hitte på i den forbindelse – er, at begrebet kultur understreger betydningen af en fælles kerne, en fælles måde at tænke og handle på, et fællesskab om bestemte værdier. Ved evalueringskulturen på en skole forstår vi her, hvordan skolen opfatter og praktiserer evaluering, hvad og hvem evalueringen retter sig mod, og hvordan skolen bruger resultaterne. Evalueringskultur er i denne definition slet og ret udtryk for den forståelse og praksis, man har. Spørgsmålet er altså ikke, om man skal til at have en evalueringskultur, men om det er en god kultur man har, og hvordan man kan arbejde med at udvikle den. Hvad kendetegner så en god evalueringskultur? Det er ikke så enkelt at svare på og med andre ord et godt spørgsmål. Det er også det spørgsmål, der ligger bag projektet for dette oplæg.
Vejledning til materialetDette materiale er skabt til at blive brugt aktivt i arbejdet med at fremme evalueringskulturen på erhvervsskolerne. Materialet henvender sig til lærere, uddannelsesledere og -chefer, kvalitetsansvarlige og andre, der beskæftiger sig med uddannelser og undervisning, som forhåbentlig inspirerende læsning til at blive klogere på evalueringskultur, og ikke mindst til at lade sig inspirere af i forhold til udvikling af praksis. Vi vil her give et kort bud på, hvad tanken er med de enkelte hovedafsnit, og hvordan de kan bruges. I indledningen til de respektive afsnit uddyber vi. Materialet indeholder fire dele:
Spørgerammen har vi anvendt som udgangspunkt for samtalerne om evalueringskulturen på seks erhvervsskoler. Den kan bruges som grundlag for diskussion om skolens/afdelingens/ teamets eksisterende evalueringspraksis og som afsæt for at arbejde med forbedring af skolens evalueringskultur. Spørgsmålene skal hjælpe til at sætte fokus på væsentlige problemstillinger og til at kortlægge praksis på forskellige felter. Spørgsmålene tjener også til at blive klogere på, hvordan deltagerne opfatter den praksis, der råder på skolen. Diskussionen af de spørgsmål, der rejses om forskellige sider af evalueringskulturen, kan bidrage til at afdække praksis på områder, man måske ikke retter opmærksomheden mod i det daglige, og til at afklare enighed eller divergerende opfattelser af den evalueringspraksis, der hersker. Diskussionen kan også bidrage til at nå en fælles forståelse på væsentlige punkter og samtidig finde frem til pejlemærker for en kommende praksis. Barriererne tegner et billede af de hindringer for god evalueringskultur, som findes på skolerne. Der er tale om beskrivelse af tendenser, baseret på de indtryk, som samtalerne om evalueringspraksis på seks erhvervsskoler efterlader. De er fingerpeg om, hvordan evalueringskulturen på erhvervsskolerne ser ud, og hvilke problemer den rummer. Beskrivelserne kan bruges til at “tage temperaturen” på erhvervsskolernes evalueringskultur, men samtidig til at spejle, drøfte og arbejde med den praksis, man har på sin egen skole. Hvad er det for et billede, barrierne tegner? Hvad skal vi mene om den praksis, der beskrives? Hvordan ser det egentlig ud hos os selv? Hvad er vores stærke og svage sider? Hvad skal vi arbejde på at gøre bedre? Teserne er en række grundlæggende bud på, hvad en god evalueringskultur må bygge på, kriterier for god praksis. Teserne udspringer af arbejdet med at beskrive barriererne i evalueringskulturen, men repræsenterer til forskel nogle normative bud på, hvilke kriterier man kan dyrke og følge. De udgør ikke sandheden om god evalueringskultur, men er tænkt som oplæg til eftertanke og diskussion om sagen. Ideen er, at de bruges som udgangspunkt for at diskutere og vurdere, hvad man selv lægger vægt på i ens team/afdeling/skole, og hvilke spørgsmål man kan arbejde med for at højne evalueringskulturen. Vinkene om god evalueringskultur tager fat om en række forskellige temaer – fra spørgsmålet om evalueringens former, værktøjer og dokumentation til angst og stress. Det enkelte tema indeholder vink om, hvordan man kan arbejde med at styrke evalueringskulturen på konkrete områder. Tanken er, at vinkene kan inspirere til overvejelse og diskussion, når man arbejder med konkrete felter af evalueringskulturen på team-, afdelings- eller skoleniveau. 
Brugen af materialet er ikke bundet til, at man tager tingene op i en bestemt rækkefølge, eller at man nødvendigvis arbejder med alle afsnit. Man kan vælge blot at tage nogle udvalgte ting fra et eller flere afsnit op som udgangspunkt for arbejdet. Hovedsagen er, at man lader sig inspirere til at se sin egen evalueringskultur efter i sømmene. Vanskeligheden ved at håndtere begrebet evaluering er, at det dækker over forskellige funktioner og former, og at evaluering finder sted på forskellige niveauer i skolen som organisation. Når vi taler om evaluering i erhvervsskolen, handler det derfor på samme tid om det samme og om forskellige ting. Vi opererer overordnet med evaluering på to niveauer, det organisatoriske niveau, der vedrører spørgsmål af betydning for skolen (eller afdelingen) som helhed, og undervisningsniveauet, hvor evalueringen har fokus på både undervisningen og elevernes læring. Evalueringskultur er pr. definition en opgave for fællesskabet, det være sig faggruppen, lærerteamet, afdelingen eller hele skolen. Derfor handler brugen af materialet her også om at tage fat i konkrete evalueringsspørgsmål på undervisningsniveauet eller det organisatoriske niveau og at organisere en sammenhæng og et fællesskab, der kan tage udfordringen op. Det er en sag for både den enkelte og fællesskabet.
Spørgeramme til erhvervsskolens evalueringskulturSpørgerammen falder i to dele. Første del retter sig mod karakteristik af egen praksis, anden del mod udvikling af praksis. Spørgerammen kan danne udgangspunkt for afklaring, diskussion og refleksion over egen praksis på skolen og kan bruges til at gøre sig tanker om og diskutere den evalueringskultur, man har. 
En spørgeramme angiver en ramme og retning for spørgsmål, diskussion og eftertanke. Det enkelte spørgsmål i rammen kan altså konkretiseres og suppleres af underspørgsmål, der er præcise i forhold til, hvem og hvad spørgsmålet retter sig mod. Her må man altså selv bidrage til at udfylde rammen. Når et spørgsmål som nr. 5 nedenfor eksempelvis lyder: Hvilke metoder og værktøjer bruger vi?, sætter det metoder og værktøjer i evalueringen på dagsordenen, men det er selvfølgelig vigtigt at få med, hvad evalueringen retter sig mod, hvad dens objekt og formål er, og hvem der står for den. Det afhænger af den konkrete sammenhæng. For eksempel vil der oplagt være forskel på metoder og værktøjer, når det handler om en løbende evaluering af en konkret undervisning, og når det drejer sig om en generel tilfredshedsundersøgelse blandt medarbejdere. Spørgerammen angiver altså fokus, hvad man kan tage afsæt i og interessere sig for, men kan suppleres og bearbejdes yderligere, så den tilpasses den konkrete sammenhæng, man står i. Spørgerammen angiver en lang række spørgsmål, hvoraf nogle kan være møjsommelige at besvare, fordi de fordrer diskussion og eftertanke. Det er derfor heller ikke meningen, at man nødvendigvis skal arbejde sig gennem rækken fra 1 til 27. Som udgangspunkt for diskussion på skolen kan man i stedet vælge at tage fat om nogle færre udvalgte problemstillinger og gå mere i dybden med dem. Hovedformålet er, at spørgsmålene kan være med til at styrke bevidstheden om egen evalueringspraksis, om stærke og svage sider, og arbejdet på at udvikle og forbedre evalueringskulturen med det konkrete udgangspunkt, man har.
Barrierer i evalueringskulturen på erhvervsskolerOptakt Der er mange forskelle på erhvervsskolerne, og det gælder også evalueringskulturen. Forskellen kan være til stede mellem skoler, men også typisk mellem afdelinger på større skoler, der huser forskellige uddannelser. 
Forskelligheden kommer eksempelvis til udtryk i, hvad man har fokus på i evalueringerne, metoder og procedurer, brug af resultaterne, samarbejdet mellem lærere og mellem lærere og ledelse, elevernes involvering og eksamenssystemets rolle. Det er en forskellighed, der blandt andet afspejler forskelle i skoletraditioner, ledelse, lærerkultur, uddannelser, faglige traditioner og niveauer, skolestørrelse og meget mere. 
Der er samtidig mange fællestræk. På både skole- og lærerniveau er det de summative (kontrolorienterede) evalueringer, der dominerer. Det modsvares af, at evaluering på mange skoler primært opfattes som et værktøj til kontrol og kvalitetssikring – og ikke samtidigt som et udviklingsværktøj. Ved hjælp af kvantitative målinger på udvalgte områder gennemfører de fleste skoler undersøgelser på både afdelings- og skoleniveau. Målingerne udføres oftest på områder, der umiddelbart er synlige og tilgængelige, for eksempel elevernes adfærd og resultater (karakterer, frafald, fravær mv.) – eller i forhold til brugernes holdninger og oplevelse af kvalitet, for eksempel spørgsmål om graden af tilfredshed med undervisningen, kantineforhold, udbud mv. Ofte gennemføres der endvidere benchmarking – enten mellem skolens afdelinger eller i relation til andre skolers resultater. Resultatet eller produktet af denne form for evalueringer er oftest kvantitative opgørelser over de synlige resultater af skolens ydelser eller af brugernes holdninger til kvaliteten af samme. Brugertilfredshed bliver således det væsentligste parameter for skolens kvalitet, og udviklingsaktiviteter vil, hvis og når de tænkes sammen med evaluering, oftest være rettet mod områder, hvor der er konstateret utilfredshed. Lærernes evaluering af undervisningen og af den enkelte elevs læreprocesser og kompetencer betragtes og fungerer typisk som et anliggende for den enkelte lærer. For mange lærere samler evalueringsindsatsen sig om vurderinger af elevernes kompetencer i forbindelse med standpunktskarakterer og eksamen, mens den løbende eller formative evaluering af undervisningen og eleverne er lavere prioriteret og mindre synlig og dokumenteret. I det følgende beskrives praksis med fokus på en række barrierer i evalueringskulturen på erhvervsskolerne. Vi taler om tendenser for at understrege, at det er en beskrivelse af de indtryk, vi har fået af evalueringskulturen på de seks skoler, vi har besøgt, og som toner frem gennem interview med ledere og lærere. Tendenserne repræsenterer således træk i evalueringskulturen, der opleves som gennemgående eller karakteristiske. Den rolle, som de enkelte barrierer spiller, kan variere fra skole til skole og fra afdeling til afdeling på den enkelte skole. Barriererne angives først med overskrifter i en samlet og overskuelig oplistning; dernæst følger en uddybende, men kortfattet beskrivelse af de enkelte tendenser. Rækkefølgen er vilkårlig. De anvendte citater (i kursiv) stammer alle fra interview i skoleundersøgelsen. 
Beskrivelserne kan naturligvis bruges til at danne sig indtryk af den evalueringskultur, de er udtryk for, og til at diskutere kriterier og vilkår for god og dårlig praksis. Det er samtidig hensigten, at de kan fungere som spejl og udgangspunkt for at kigge kritisk og konstruktivt på egen praksis:
Barrierer i oversigtsform
Barrierer – beskrivelse af ti tendenser “Vi måler også for eksempel på gennemførelse – det er jo et lovkrav, og i den ny resultatkontrakt er det blevet et krav, at vi arbejder med selvevaluering”. (leder) Centrale evalueringer er præget af krav, der løbende stilles til skolerne gennem lovgivning og bekendtgørelser, og af initiativer på områder, hvor der aktuelt er politisk fokus. Mange evalueringer har derfor som hovedformål at opfylde de krav, som ministeriet stiller med henblik på at udarbejde handleplaner i forhold til på forhånd udvalgte fokusområder. Dette kan føre til en tendens til at gå efter de hurtige og synlige resultater og medvirke til at fjerne fokus fra områder, som ledelse og medarbejdere måtte finde mere relevante. De gennemgående evalueringstemaer er således initieret “udefra”, hvilket opleves som frustrerende af både ledere og lærere. 
2. tendens: Der er ikke altid overensstemmelse
mellem tidsforbrug og oplevelsen af udbyttet 
“Hvordan får vi arbejdet med at dokumentere kvalitet i forhold til lovkrav til at spille sammen med intern udvikling af organisationen? Den tid, der bruges på evaluering, skulle gerne vindes ind igen i form af udvikling. Den kabale går endnu ikke op” (leder) Mange ledere giver udtryk for, at det kan være vanskeligt at få de eksterne krav til at spille sammen med skolens egne prioriteringer og mål. Der kan være en tendens til, at skolerne fokuserer på de eksterne krav, og at opmærksomheden hermed fjernes fra det, der kunne være særligt relevant eller presserende på den enkelte skole. Når sammenhængen mellem evaluering og prioriterede udviklingsmål ikke er til stede, opleves evaluering som en tidsrøver. Det samme gælder, når der ikke følges op på resultaterne af en evaluering. “Nogle siger, de ikke har tid til at evaluere – jeg mener ikke, at jeg har tid til at lade være, fordi jeg ellers som lærer kan risikere at ryge ud ad et forkert spor”. (lærer) Både lærere og ledere giver udtryk for, at den tid, der bruges på evaluering, kan være givet godt ud, men de oplever samtidig, at tidsforbruget til evaluering fylder meget, og at evalueringerne kunne være mere fokuserede. Flere ledere og lærere rejser spørgsmålet, om der ikke evalueres så meget, at vi bliver mætte og ikke længere gider deltage? 3. tendens: Evalueringsmetoder og pædagogisk
værdigrundlag stemmer ikke altid overens De evalueringsmetoder, der anvendes, afspejler et værdisyn, som ikke altid er foreneligt med skolernes generelle værdigrundlag. Af en skoles pædagogiske grundlag kan det for eksempel fremgå, at man ønsker at fremme dialog, medindflydelse og samarbejde, men samtidig observere, at evalueringer planlægges, gennemføres og følges op uden nævneværdig inddragelse af hverken elever eller lærere. “Vi synes, at elevernes kommentarer på undersøgelserne siger langt mere end røde tal og abstrakte konklusioner”. (lærer) Nogle lærere finder det vanskeligt overhovedet at gennemskue
det egentlige formål med mange evalueringer. Andre har vanskeligt
ved at genfinde de humanistiske værdier i den evalueringskultur,
de møder (måle og veje), og de har svært ved at se
sammenhængen mellem de pædagogiske mål og den tænkning, som mange evalueringer bygger på. 4. tendens: Evaluering af elever og undervisning er
ofte overladt til den enkelte lærer Alle lærere evaluerer løbende både deres undervisning og deres elever – men det er helt tydeligt, at spørgsmålet om den konkrete evaluering er noget, der er overladt til den enkelte lærer. Det er heller ikke altid klart, hvad det er, der konkret gøres til genstand for evaluering, hvilke metoder læreren anvender, eller hvordan resultater fra evalueringerne omsættes til praksis. “Det er et individuelt anliggende for lærerne at evaluere, og hvordan de tolker og reagerer på resultater”. (leder) Lærerne taler sjældent sammen om de evalueringer, de gennemfører af deres undervisning, og der savnes synlige kriterier for denne del af evalueringerne og for evalueringen af eleverne i forhold til kompetencemål. Derfor er det ofte uklart, hvilke parametre der måles på, og hvilke værktøjer læreren anvender i evalueringsprocessen. Dette gør det vanskeligt at udveksle erfaringer om og følge op på resultaterne af evaluering af elever og undervisning på afdelings- eller skoleniveau. Lærerens selvbestemmelse og råderum i forhold til evalueringspraksis kan have som konsekvens, at bedømmelse og evaluering bliver praktiseret på et diskutabelt grundlag. De uformelle og uregistrerede evalueringer, som lærerne foretager af undervisningen og eleverne, opleves som værdifulde, fordi de kan anvendes umiddelbart i forhold til den konkrete undervisning. Evalueringerne gennemføres dog ofte uden synlige præmisser og kriterier og med afsæt i lærerens personlige vurdering. Evaluering og bedømmelse af eleverne kan derfor komme til at fremstå som tilfældig, og det bliver måske uklart for eleven, hvad denne bliver evalueret og bedømt på. Mange elever mener ikke, de får den personlige feedback, som de reelt ønsker, og de oplever heller ikke, at der i tilstrækkelig grad bliver fulgt op på deres evalueringer af skolen eller i undervisningen. “Det er en svaghed ved vores evalueringer, at vi ikke kommer tæt nok på læreren, ikke tæt nok på en undervisningssituation...”. (leder) Flere ledere giver dog udtryk for betænkelighed ved at lade de centrale evalueringer gå tættere på den enkelte lærers undervisning, og mange lærere er ikke interesserede i, at lederne eller andre skal blande sig i deres arbejde. 
5. tendens: Evaluering udnyttes ikke tilstrækkeligt
til udvikling af undervisningen Der er ikke særlig megen fokus på den betydning og det potentiale, som resultatet af de løbende eller formative evalueringer kan have for udviklingen af undervisningen og dermed for elevernes læring og udbytte. Forandret undervisningspraksis forekommer derfor snarere at være et resultat af den almindelige lærerudvikling end af gennemførte evalueringer. Mange lærere fremhæver deres egne mere uformelle evalueringer som særligt vedkommende, fordi de her får en direkte og aktuel respons fra eleverne. På baggrund af den direkte feedback kan den enkelte lærer ændre på sin praksis, der hvor det skønnes nødvendigt. “Problemet med det uformelle er, at det er svært at samle op på det...”. (lærer) Både læreres og lederes vurderinger af aktuelle udviklingsbehov afhænger ofte af deres subjektive eller tilfældige observationer. Disse kan den enkelte så vælge at handle – eller undlade at handle – ud fra. 6. tendens: Ledelse og lærere har ofte forskelligt
syn på formål og relevans Flere lærere mener ikke, at “tilfredshedsmålingerne” omhandler noget, der er vedkommende i forhold til deres undervisning. Lærerne anfører samtidig, at det typisk er ret banale ting (som for eksempel antallet af stole, forhold i kantinen eller lignende, der bliver fulgt op på som resultat af evalueringerne. “Der er to niveauer. Et er det strategiske – og et andet er der, hvor du kommer ned i det pædagogiske materiale. Det er vidt forskellige ting, som de to niveauer gerne vil have at vide”. (leder) Lederne ønsker at bruge evaluering som et strategisk værktøj, der kan anvendes direkte som input til deres beslutningsgrundlag, men oplever også, at de bliver pålagt evalueringsopgaver “udefra”, som ikke altid opleves som meningsfulde. Lærernes fokus er ofte det tætte og nære forhold til eleverne og deres læreprocesser, og de har helt andre forestillinger om, hvad der bør være genstand for evaluering. “Vi diskuterer ikke skoleevalueringen. Den bliver lagt på lærerværelset, og så ligger den der...”. (lærer) Ofte vægtes skolens evaluering ikke særlig højt hos lærerne, der tillægger egne evalueringer større værdi. Skolens tilfredshedsundersøgelser er fokuseret på at afdække holdninger på afdelings- og skoleniveau, men mange mellemledere og lærere efterspørger mere lokalt tilpassede evalueringsmetoder og evalueringsspørgsmål. Andre fremhæver, at evalueringer, der initieres af det strategiske niveau, af lærerne ofte opleves som en kontrolforanstaltning. Derfor kan udvælgelse af evalueringsmål blive et konfliktemne, og der kan opstå problemer i forhold til at engagere og motivere lærerne til at deltage. 7. tendens: Der råder usikkerhed om metoder og om
mål og midler Evaluering opleves som en meget stor og kompetencekrævende opgave, og hos såvel lærere som pædagogisk ledelse råder der usikkerhed om metode og praksis. Det betyder, at evalueringsmetoderne ikke nødvendigvis er afpasset efter, hvad man vil evaluere på, og hvad evalueringen skal bruges til. Det er heller ikke tydeligt, hvad det indebærer at være en god evaluator. “Det formative har vi ikke den store erfaring med på skoleniveau, men også de summative evalueringer kan vi blive bedre til... for eksempel stille nogle bedre spørgsmål, der stimulerer refleksion”. (leder) Uoverensstemmelse mellem mål og midler kan komme til udtryk i konkrete evalueringer af eleverne, som når faktuelle videnstest bliver anvendt som grundlag for vurdering af elevernes forståelse eller deres kompetence til at udføre bestemte faglige processer. På skolerne er der samtidig forskellige forventninger til, hvad evalueringer skal bruges til. For eksempel har mange ledere en forventning om, at evalueringer skal kunne bruges til problemafdækning og forbedring. Lærernes fokus, derimod, er ofte på den enkelte elev og dennes faglige eller personlige udvikling. For eksempel mener flere lærere, at der ikke bliver stillet tilstrækkeligt skarpt på det pædagogiske, selvom lederne mener, at evalueringer også skal bidrage til at forbedre undervisningen, “Elevtilfredshedsmålinger (med central spørgeramme) er baseret på meget generelle spørgsmål møntet på det strategiske niveau – det er ikke noget, elev og lærer kan bruge til særlig meget”. (lærer) Ofte bliver evalueringsværktøjer til i et miks af forskellige ønsker, hensigter og formål, og de sender derfor uklare signaler om, hvad det egentlig er, der er genstand for evaluering. Både ledere og lærere giver udtryk for, at der mangler en dialog om, hvilke evalueringsformer der egner sig til at belyse forskellige aspekter af skolens virksomhed. 8. tendens: Evaluering skaber usikkerhed og angst 
Usikkerhed om, hvad resultatet af evalueringer kan eller skal bruges til, opleves som en væsentlig barriere for udvikling af en god evalueringskultur. Samtidig kan opfølgning på evalueringer i form af sanktioner over for de involverede skabe frygt eller direkte modstand mod evaluering. “Den kontrol, der ligger i evalueringer, er der mange, der er nervøse for… – det, at det kan bruges imod mig, skaber frygt for ikke at slå til, frygt for dårlige “anmeldelser””. (lærer) Endvidere har nogle et ønske om at gøre, som de altid har gjort, hvilket i sig selv både kan skabe modstand mod at blive evalueret og mod at ændre praksis. Andre er mere åbne over for at “lukke evalueringerne indenfor” i læringsrummet, men er samtidig bevidste om, at dette kan medføre et psykisk hårdt arbejdsmiljø, fordi mange frygter kontrolaspektet. Kontrol- og registreringsaspektet kommer ifølge både lærere og ledere til at fylde meget – og i mange evalueringer på bekostning af opfølgningen på resultaterne. Samtidig skygger det fokus, som mange evalueringer har på afdækning af problemer og mangler, ofte for blikket for det positive, det man gør godt og kan være tilfreds med. Lærere og ledere peger på, at det også er vigtigt at tilgodese dette, herunder den betydning, som “det gode eksempel” kan have for motivationen, samarbejdet og arbejdet med udvikling. 9. tendens: Det summative og kontrolorienterede
dominerer Skolernes evalueringsmetoder afspejler et udbredt ønske om at kvantificere og sammenligne, og resultatet bliver ofte en række statistikker, som mange kan have vanskeligt ved at forholde sig til. Der udarbejdes for eksempel talmæssige opgørelser over elevstandpunkter, frafald og karakterer, som der ikke kan gives entydige forklaringer på. “Det er ikke så meget evalueringerne, der bidrager til elevernes personlige og faglige udvikling – det er mere de løbende samtaler, som den enkelte lærer har med eleven”. (lærer) Elektroniske værktøjer tenderer at stimulere udviklingen af summative evalueringer, selvom de kvantitative målinger oftest opleves som uegnede til at evaluere på den enkelte elevs faglige progression, læreproces eller udviklingspotentiale. Flere lærere peger på, at nærheden er forsvundet, ved at man ikke længere sidder sammen med eleven – og at muligheden for at anvende evalueringer til at forbedre elevens læring hermed forringes. Endelig nævner både lærere og ledere, at skolerne savner kompetencer til at gennemføre formative evalueringer, og man er derfor tilbøjelig til at ty til det nemme, det summative. 10. tendens: Forandring foregår på basis af enkeltresultater snarere end “helhedsbilleder“ Brugen af evalueringsresultater savner helhed og overblik! På den enkelte skole kan der forekomme mange forskellige former for evaluering, der hver især søger at afdække specifikke områder. Ledere kan for eksempel være optaget af at få afdækket forhold af betydning for budgetlægning, for eksempel frafald og gennemførelse. Lærerne kan være mere optaget af forhold, der kan stimulere læring, for eksempel skolens læringstilbud, undervisningens tilrettelæggelse mv. “Målet hos mig er at højne indlæringen hos eleverne – alle ting spiller ind, for eksempel læreren, undervisningen, elevens arbejdsindsats, skolens fysiske rammer osv. ..”. (lærer) Der er opmærksomhed på, at den enkelte elevs læring potentielt kan afhænge af mange forskellige og sammenfaldende faktorer, men det kan være vanskeligt at få kædet resultaterne af forskellige evalueringer sammen til et helhedsbillede. Flere lærere og ledere giver udtryk for, at man ofte savner et bredere og mere nuanceret perspektiv på resultatet af en bestemt evaluering, et helhedsbillede der kunne give et bedre grundlag for handling.
Teser om god evalueringskulturIndledning Vi kan spørge, om den praksis, vi har, fører til forandring og forbedring? Vi kan spørge til formålet med den konkrete evaluering, og om der er sammenhæng mellem mål og midler? Vi kan gå videre og spørge, om den måde, vi evaluerer og behandler evalueringsresultater på, er i overensstemmelse med de værdier og pædagogiske udgangspunkter, vi er fælles om på skolen? 
Vi kan også sammenfatte hele sagens kerne i det spørgsmål, vi formulerede i starten: Gør vi det rigtige, og gør vi det rigtige rigtigt? Det er naturligvis en sag, der er til diskussion. Man kan også sige, at det er et spørgsmål, der fordrer en diskussion. De følgende ti teser er oplæg til en sådan diskussion af, hvad god evalueringskultur må bygge på, hvilke retninger en fornuftig evalueringskultur må følge. De er blevet til på basis af arbejdet med evalueringspraksis på erhvervsskoler, men repræsenterer altså til forskel fra de beskrevne tendenser nogle normative bud. De er samtidig udtryk for valg og prioritering. Alle dele kan naturligvis diskuteres, men det er også meningen. Det er samtidig tanken, at teserne bruges som hjælp til at vurdere og prioritere, hvilke spørgsmål og målsætninger det vil være hensigtsmæssigt at arbejde med og mod for at kvalificere evalueringskulturen på ens egen skole. Teser i oversigtsform
De enkelte teser1. Evaluering er ikke kun et spørgsmål om tilfredshed
eller kritik Tilfredshed er i sig selv en relativ størrelse, og det er slet ikke sikkert, der er grund til at være tilfreds, selv om evalueringen melder tilfredshed hele vejen rundt. Det kunne jo være, at forventningerne hos deltagerne er for beskedne. Eller at spørgsmålene havde for lavt ambitionsniveau. Stiller man sig hurtigt tilfreds med en positiv tilfredshedsundersøgelse, er der derfor også en risiko for, at man gør sig sagen for let, og at man overser mulighederne for udvikling. Evalueringen bliver måske et misforstået alibi for magelig selvtilfredshed. Modsat handler evaluering heller ikke om kun at have øje for fejl og mangler. Hvor det er tilfældet udarter evaluering let til brokkeri eller måske ligefrem nedsabling. Ingen af delene er særlig hensigtsmæssige. Kritik handler grundlæggende om at have sans for forskelle, for at noget kunne være eller gøres bedre. Til udøvelse af kritik hører blik for, hvordan tingene kunne være anderledes, at kunne skelne mellem godt og skidt, positivt og negativt med basis i håndterbare kriterier. 2. Evaluering skal være meningsfuld og have
betydning Peter Dahler-Larsen skriver i sin bog Den rituelle refleksion om evaluering i organisationer: “Evalueringsbølgens andet mysterium er, hvordan det kan være, at man ofte ved, man skal evaluere, men ikke hvorfor, og hvad evalueringen skal bruges til … Ofte er der ikke den mindste plan om, hvordan fremtidige handlinger skal afhænge af, om evalueringsresultaterne viser det ene eller det andet.” (Dahler-Larsen, 1998, s. 13) Her peges på problemet, at evalueringer ofte ikke tænkes i forhold til, hvad de skal have betydning for. Det vigtige er her at være opmærksom på, at evalueringen ingen værdi har i sig selv. Den får først værdi, når der følges op på den, og den får betydning for praksis på de felter, der evalueres på. Derfor må man nødvendigvis også overveje:
I forlængelse heraf kan man udarbejde en implementeringsplan, der blandt andet kan svare på følgende:
3. Evaluering kræver opmærksomhed og
samarbejde i organisationen Ligeledes er samarbejdet om evalueringerne af stor vigtighed. Det gælder såvel i lærergruppen som i ledelsesgruppen og på tværs i organisationen. I forhold til samarbejdet er det også vigtigt at være opmærksom på ansvarsplaceringen og medansvaret i forhold til den givne evalueringsopgave. Når der skal skabes opmærksomhed om evalueringsopgaverne og samarbejdet om dem, er det vigtigt at have styr på, hvem det er, der har ansvaret for, at medlemmerne i organisationen påtager sig ansvaret, og hvem der har ansvaret for, at de nødvendige processer sættes i gang, så evalueringsarbejdet kan udvikles. Man kan stille sig spørgsmål som:
4. Evaluering handler både om at være i stand til at
evaluere og at blive evalueret At være en god evaluator forudsætter, at man kan forholde sig til det og de, der skal evalueres, at man gør det med sans for ros og ris, godt og skidt og med blik for, at formålet er at udvikle tingene til det bedre. Giver man negativ feedback, må det derfor også altid være på en ikke ydmygende facon. På samme måde indebærer det at blive evalueret, at man kan tage mod kritik, at man kan bruge positiv og negativ feedback som grundlag for fortsat udvikling. Set på denne måde rummer evalueringskulturen en stor udfordring for erhvervsskolen. Den udfordring består i at gøre alle skolens aktører aktive i arbejdet og at skabe nogle hensigtsmæssige processer og måder at kommunikere på. 5. Evaluering danner grundlag for sikring og
udvikling af kvaliteten i skolens ydelser Det må ligeledes være tydeligt, hvordan evalueringerne og tolkningerne af dem indgår i lærernes og ledernes arbejde med udviklingen af undervisning og uddannelserne. Derfor kan det være værd at overveje:
6. Evaluering tager tid og nytter I den situation er det vigtigt at besinde sig på, hvad de forskellige opgaver på skolen kræver, og hvordan tiden er givet ud. Evaluering omfatter mange aktiviteter og kan også beslaglægge megen tid. Hvor megen tid, og hvad den skal bruges til, er et spørgsmål om prioritering. At evaluering tager tid, er imidlertid ikke til at komme udenom. Pointen består i at prioritere det rigtige og i at bruge resultaterne rigtigt. Nytter evalueringen, skaber den grundlag for forbedring og udvikling, er tiden givet godt ud. Hvis man tilmed arbejder systematisk og struktureret med evaluering, sparer det tid. 7. Evaluering er noget, der skal udvikles og læres Spørgsmålet man kan stille sig er: gør vi det rigtige, og gør vi det rigtige rigtigt? Har vi fokus på det væsentlige? Er vores praksis hensigtsmæssig? Bruger vi ressourcerne og tiden rigtigt? Er det det rigtige, vi evaluerer på? Gør vi det på en hensigtsmæssig måde, og kan vi bruge resultaterne af evalueringerne mere konstruktivt? Udfordringerne er mangfoldige. Spørgsmålet, om hvad, hvordan og hvornår der skal evalueres, finder ikke noget entydigt svar, men er betinget af formålet med evalueringen, og hvad den retter sig mod. Det samme gælder spørgsmålet om, hvordan man følger op på evalueringerne. Er man for eksempel systematisk nok? Eller skriftlig nok? 
8. Evaluering kræver bevidsthed om fokus, mål og
midler Hvis vi vil evaluere eleverne, må vi eksempelvis gøre os klart, om det er deres viden eller deres kompetencer, vi ønsker et billede af. Dernæst må der sættes fokus på, hvordan vi så vil bære os ad med at evaluere det ønskede, altså spørgsmålet om hvilke metoder vi anvender, så vi lige netop bliver i stand til at evaluere det, vi har besluttet os for. På samme måde med de andre evalueringsformer, der anvendes i skolen. Her er det ligeledes vigtigt at overveje, hvad målet er med evalueringen. Tager vi tilfredshedsmålingen som eksempel, kan man tage udgangspunkt i spørgsmål som:
9. Evaluering afspejler et værdisyn og spiller sammen
med skolens pædagogiske værdigrundlag og
målsætning Værdierne er også på spil i valget af, hvad der evalueres, i begrundelserne for at evaluere og i spørgsmålet om, hvordan resultaterne af evalueringen bruges. I erhvervsuddannelserne indgår evaluering på mange planer og med forskellige formål. Der er derfor også en risiko for, at evalueringerne kommer til at fremstå som en uoverskuelig række af enkeltfunktioner, måske tilmed funktioner, som udtrykker uforenelige værdier. Her er det, det bliver væsentligt at få evalueringen til at spille sammen med skolens pædagogiske værdigrundlag. Værdidiskussionen i forhold til evalueringerne er nødvendig, fordi den skaber mulighed for at formulere det fundament, de afklaringer, prioriteringer og valg, der er forudsætningen for, at evalueringerne bliver andet og mere end enkeltfunktioner. Værdigrundlaget giver mulighed for at sætte perspektiv på evalueringsarbejdet. Det fungerer som det filter, der gør, at læreren og lederen kan handle mere afklaret og målrettet i forhold til de mange små og større evalueringsopgaver, han eller hun skal håndtere og forholde sig til. 10. Evaluering fordrer kompetencer og et
udviklingsberedskab hos den enkelte og i
organisationen Hvis evalueringerne skal give mulighed for, at såvel den enkelte som hele organisationen kan udvikles, må der også være eller skabes et udviklingsberedskab hos ledere og lærere. Med dette mener vi, at der såvel på det individuelle som det organisatoriske niveau må være nogle potentialer til stede, der muliggør udvikling. Eksempelvis må der hos lærerne være nogle grundlæggende faglige og pædagogiske kompetencer, der gør, at de på et fælles grundlag og med et fælles sprog er i stand til at udvikle og eksperimentere sig frem til nye pædagogiske praksisformer. I ledelsesarbejdet på alle niveauer, fra lærer til chef, må der på samme måde være et udviklingsberedskab, der organiserer og understøtter de forandringsprocesser, der skal arbejdes med. Hele organisationen skal derfor rumme et beredskab, som gør, at eksperimenter og afprøvninger er noget, der værdsættes, og udvikling noget, der efterstræbes. Her handler det om at etablere en kultur, hvor nysgerrigheden er drivkraft, og hvor det er tilladt at lære af både fejl og succeser. Det er en vigtig forudsætning for at udvikle en givende evalueringskultur, hvor elever, lærere og ledere i fællesskab udvikler og gør sig klogere på praksis.
Vink om god evalueringskulturIndledning – om evalueringens hvad, hvem,
hvordan og hvorfor? Afsnittet er inddelt i en række temaer, som hver især og tilsammen kan danne afsæt. Man kan med andre ord bruge temaerne og de vink, der gives, som inspiration og grundlag for eftertanke, diskussion og praksis. Temaerne omhandler ikke alle de ting og spørgsmål, der kunne være relevante at tage op, men et udvalg. 
Uanset hvilken type evaluering der er tale om, vil den altid have sit udspring i en særlig opfattelse af, hvad der er vigtigt og væsentligt, men den vil også afspejle skolens holdning til, hvem det er vigtigt at inddrage. Derfor indleder vi med at rette opmærksomheden mod spørgsmålet om evalueringens hvad, hvem, hvordan og hvorfor. Det er ikke spørgsmål, der giver sig selv. På en skole hersker der nemlig ikke altid en fælles forståelse af, hvorfor en given evaluering sættes i værk, eller hvorfor den ser ud, som den gør. Eksempelvis er lærerne flere steder uforstående over for det, som ledelsen vælger at gøre til genstand for evaluering – de forstår simpelthen ikke, hvad den dybere mening er! Tilsvarende er det heller ikke vanskeligt at finde eksempler på en manglende sammenhæng mellem det, der formuleres som formålet med en given evaluering, og de metoder, man tager i anvendelse. I praksis foregår udvælgelsen af evalueringstemaer på flere niveauer. For det første fastlægger skolen de overordnede “typer” eller kategorier af mål, der anses for væsentlige. Det kan for eksempel være skolens læringsmiljø, elevernes tilfredshed eller elever og læreres kompetencer. Disse kategorier kan afspejle strategiske valg, prioriteringen af forskellige kvalitetsparametre og de eksterne krav til dokumentation, som skolen er underlagt. Dernæst må der tages mere konkret stilling til, hvilke parametre der bør måles på. For eksempel kan det diskuteres, hvilke indikatorer der kan være tegn på, at eleverne har nået bestemte læringsmål – eller hvilke der kan være tegn på et godt skolemiljø. Da man ikke kan evaluere på alt, hvad der foregår på en skole, vil det altid komme til et spørgsmål om forskellige hensyn, prioriteringer og valg. Arbejdet med at opstille kriterier, for hvad der skal evalueres, og udmøntningen heraf i konkrete parametre, kan anvendes til at skabe en øget forståelse for hensigten med evalueringen. De involveredes engagement i en given evaluering hænger ofte sammen med deres forståelse af, hvorfor der skal evalueres på dette eller hint. Derfor er det vigtigt, at man arbejder på at skabe et fælles grundlag for evalueringer, og at de henter legitimitet gennem synlige begrundelser. De svar, man giver på de indledende spørgsmål om evalueringens hvad og hvorfor, bør danne basis, når der skal tages stilling til, hvordan vi skal evaluere? Ikke alle evalueringsmetoder er lige velegnede til alt, og man bør derfor overveje og diskutere, hvilke metoder der i hvert tilfælde anvendes. For eksempel kan en elektronisk test måske belyse, om en elev er i stand til at svare på et specifikt spørgsmål – her og nu. Men siger den os noget om, hvorvidt eleven er i stand til at omsætte denne viden til handling – for eksempel om han kan løse en bestemt praktisk opgave? Lignende overvejelser må gøres ved andre typer af evalueringer. Eksempelvis når lærerens kompetence til at undervise eller til at udvikle og beskrive læringsaktiviteter skal evalueres. Hvordan gøres det – hvad er den mest velegnede metode? Man må også tage stilling til, hvem der skal evaluere? Sommetider giver svaret sig selv gennem bekendtgørelserne. Eksempelvis er det ved afsluttende karakter for et grundfag eller områdefag oplagt, at det er læreren i faget. Men i helhedsvurderinger i tværfaglige projekter – eksempelvis afsluttende projekter, der omfatter flere fag – er det måske lidt sværere at afgøre, hvem der skal have opgaven, eller hvordan den skal deles. Ligeledes kan det diskuteres, hvem der bør inddrages i en evaluering, der for eksempel omhandler kvaliteten af lærerens undervisning, eller en evaluering af lærerens kompetence til at udvikle og beskrive en læringsaktivitet. Endelig er der spørgsmålet om, hvornår der skal evalueres? Det hænger sammen med evalueringens formål, og hvad man evaluerer. Spørgsmålet afgøres ofte helt praktisk og bestemt af omstændighederne, typisk ved afslutningen af eller midtvejs i et forløb. I den summative evaluering foregår evalueringen i princippet altid til slut, mens den formative evaluering foregår på tidspunkter undervejs, så der er mulighed for at bruge resultaterne fremadrettet, for eksempel når evalueringen bruges til at justere på et planlagt undervisningsforløb. Tidspunktet har betydning for, hvad man kan bruge evalueringen til efterfølgende, men det kan også have betydning for motivationen til at deltage. For eksempel kan afsluttende evalueringer opleves som tidsspilde, fordi de, der er involveret, ikke kan se, at de selv kan få gavn af resultaterne. Vi har kort forsøgt at tydeliggøre, hvilke spørgsmål det kan være hensigtsmæssigt at have overvejet, før man iværksætter en given evaluering. Overvejelserne kan gøre, at man dels bliver bedre til at fokusere på de områder, der er væsentlige, dels får skabt et fælles og forståeligt grundlag at arbejde ud fra. Det kan både tjene til at styrke evalueringernes kvalitet og mulighederne for at anvende resultaterne til forbedringer. Vink til overvejelse, diskussion og praksis1. Formativ og summativ evalueringHvad skal vi evaluere, hvorfor, hvornår og hvordan? Spørgsmålene rører ved kernen i enhver evaluering. Overskriften peger på to sider af denne sag, nemlig de måder, som evalueringsresultaterne kan gøres op og bruges på. Den summative evaluering “sammenfatter”, dens perspektiv er kontrol og resultatopgørelse, mens den formative evaluering “former”. Den er rettet mod udvikling og forbedring. Begge dimensioner forholder sig til et “produkt”, som er resultat af en proces, noget der er forløbet, og som vi nu kan vurdere i forhold til bestemte mål eller kriterier. Det kan være en eller flere kompetencer, som eleverne skal nå i et undervisningsforløb. Det kan være elevernes aktivitet og den udviste ansvarlighed i et projektforløb, lærernes samarbejde på tværs af fag eller noget helt fjerde. I undervisningen mødes det formative og det summative i henholdsvis den løbende evaluering og i standpunktskarakteren eller eksamen. Den løbende evaluering har her til formål at understøtte elevernes læreproces. Den interesserer sig fremadrettet for, hvordan undervisningen befordrer udbyttet, hvad der fungerer godt og mindre godt i undervisningens indhold og form, hvordan eleven udvikler sig, og hvad der kan gøres for at optimere udbyttet og resultatet. Princippet er, at man skal lære af erfaringen, tage bestik af kursen og have blik for nye muligheder. Det gælder både lærer og elever. Den afsluttende eller summative evaluering sammenfatter “resultatet”, de kompetencer eleven opnåede i forhold til en række mål og kriterier. Det sker på et tidspunkt, hvor løbet så at sige er kørt. Som regel udmøntes vurderingen i en karakter. Den summative evaluering vil også ofte udmønte sig i elevernes oplevelse og vurdering af undervisningen, dens form og indhold. Måske giver den også mulighed for at udtrykke en grad af tilfredshed eller utilfredshed med undervisningen. Fokus vil her være på resultatet, graden af målopfyldelse i forhold til de kriterier, man vælger at vurdere kvaliteten på. Summativ og formativ evaluering er ikke et spørgsmål om et enten eller. Tværtimod er der tale om to dimensioner, som supplerer hinanden og på hver sin måde bidrager til at understøtte og sikre kvalitet i undervisningen. Den formative evaluering lægger vægt på proces og udvikling, den er en forudsætning for at træffe begrundede beslutninger, valg og fravalg undervejs i et forløb, for at drage nyttige og handlingsorienterede konsekvenser af erfaringen. Den summative evaluering lægger vægt på resultatet, opgørelsen og dokumentationen i forhold til målene. Den formative og summative evaluering rummer hver for sig og tilsammen en udfordring for evalueringskulturen på erhvervsskolerne. Vi har tidligere været inde på, at det er den summative og kontrolorienterede evaluering, der dominerer billedet, som “fylder” i skolernes forståelse og udmøntning af evaluering i praksis. Det betyder, at den bagudrettede dokumentation af resultatsiden står stærkt, mens evaluering som fremadrettet redskab til udvikling og forbedring ikke spiller en tilsvarende rolle. Det rejser naturligvis spørgsmålet om, hvordan den formative evaluering kan styrkes og kvalificeres. Prioriteringen af det summative på bekostning af det formative betyder nemlig, at evaluering ikke bruges som grundlag for at kvalificere beslutningerne undervejs i undervisningen, for at understøtte elevernes læreprocesser, for at udvikle og eksperimentere med metoder, arbejdsformer, materialer mv. Dermed er der også risiko for, at evaluering bliver en aktivitet, der løsriver sig fra undervisningen, fra den pædagogisk-didaktiske praksis. Det sker, hvor evaluering og undervisning ikke længere udgør en helhed, hvor evalueringen og dens resultater bliver “ydre” i forhold til undervisningen og læreprocessen. Eksemplet kunne her være en afsluttende karakter eller eksamen, som kan komme til at fremstå som et mål i sig selv. Hermed rører vi ved spørgsmålet om evalueringens sideeffekter. Evalueringen fungerer nemlig ikke bare som et “passivt” eller “neutralt” redskab til måling af det, man vælger at sætte fokus på. Evalueringsaktiviteten, dens fokus, metoder mv. griber også prægende ind i forhold til undervisningen. Det gælder, hvad enten der er tale om summativ eller formativ evaluering. Det kan medføre, at evalueringen er med til at forstærke eller formindske betydningen af og opmærksomheden på bestemte faktorer. Dominerer vægten på den summative evaluering, vil det typisk virke forstærkende på de sider af undervisningen og elevens læring, der er relevant i forhold til den, mens der tilsvarende vil ske en nedprioritering af andre aspekter, for eksempel læreprocessen og dens betingelser. Hermed er der også en åbenlys risiko for, at hele formålet med undervisningen indsnævres. Den summative evaluering fortæller om resultatet, den formative har opmærksomheden på betingelserne for resultatet og hele processen, der leder frem mod det. I forhold til den formative evaluering kan man besinde sig på spørgsmål som:
Selvom den summative og kontrolorienterede evaluering tilsyneladende spiller en dominerende rolle i den eksisterende evalueringskultur, betyder det ikke, at den bare giver sig selv. Det er for eksempel nok givet, at evalueringen af elevernes standpunkt skal ske med udgangspunkt i fagenes kompetencemål, men hvordan standpunktet gøres op er ikke så enkel en sag. Det indebærer eksempelvis følgende spørgsmål:
Vi kunne fortsætte med at liste spørgsmål op, der understreger, hvor kompleks en sag det i virkeligheden er at give en standpunktskarakter. Vel og mærke når man tænker nærmere efter, for de allerfleste lærere klarer problemet i praksis uden de helt store vanskeligheder. Det betyder dog ikke nødvendigvis, at den summative evaluering er problemfri. Udfordringen for evalueringskulturen kan her bestå i at skabe en hensigtsmæssig balance mellem den summative og den formative evaluering, at sikre, at de to aspekter spiller frugtbart sammen, kommer til at udgøre en helhed, to sider af samme sag. 2. Evaluering og læringSkolernes ledelse og medarbejdere i udviklings- og kvalitetsafdelinger bruger mange ressourcer på tilfredshedsmålinger og lignende former for evaluering. Samtidig opfattes elevevaluering typisk som et særligt læreranliggende. Det betyder, at evalueringen af skolens kerneydelser – undervisningen og elevernes læring – ofte bliver en sag, der overlades til den enkelte lærer. I lyset af de øgede krav til evaluering og dokumentation kan der være behov for, at skolerne arbejder på at udvikle metoder, der mere direkte belyser elevernes læreprocesser og den enkelte elevs læring. Den formative evaluering har som formål at bidrage til elevernes læreprocesser, at påvirke den undervisning og vejledning, de modtager, og at forbedre samspillet mellem elevens og lærernes indsats. Den kan samtidig anvendes til at få overblik over alle elementer i elevens læring: Elevernes arbejds- og læreprocesser, læringsresultater og produkter samt selvfølgelig lærer-elevrelationen. Elementerne i elevernes læring kan tydeliggøres med en opspaltning i fire aspekter:
Det er klart, at opdelingen i de fire områder kan forekomme kunstig eller uhensigtsmæssig, idet den adskiller arbejds- og læreprocesser. Den kan imidlertid bidrage til, at der er fokus på både produkt og proces, og at begge dele indgår i vurderingen af elevens læringsudbytte. Man kan for eksempel hævde, at eleverne kan arbejde med faglige arbejdsprocesser på en hensigtsmæssig og effektiv måde, uden at processerne nødvendigvis stimulerer refleksion og dermed læring. Og da læring må være hensigten med elevens ophold på skolen, bør evalueringer indeholde elementer, der gør det muligt at vurdere, om de arbejdsprocesser, eleven gennemfører, bidrager til læring. Herved skabes et grundlag for, at elev og lærer i fællesskab kan arbejde med at udvikle læringsaktiviteter med fokus på både læreprocesser og læringsresultater. Der kan med andre ord skabes sammenhæng mellem evaluering og udvikling af læringsmiljøet. Når det er elevernes arbejdsprocesser, der skal evalueres, eksempelvis en kokkeelevs arbejde med fremstilling af en treretters menu, er udgangspunktet for evalueringen selvfølgelig kompetencemålene. De vil som oftest tage udgangspunkt i uddannelsesbekendtgørelsens mål og ligge til grund for beskrivelsen af læringsaktiviteten. Opgaven er her at få belyst, hvordan eleven arbejder med de faglige processer set i forhold til målbeskrivelsen. Men hvordan kan der bringes lys over dette? Det kan der for eksempel ved, at læreren observerer elevens arbejde og under observationen stiller spørgsmål, som udfordrer elevens arbejde med og forståelse af arbejdsprocesserne. En anden måde er at lade eleven beskrive arbejdsprocessen, begrunde de forskellige valg og undervejs reflektere over processen, for eksempel i en portfolio. Elevens procesbeskrivelser kan efterfølgende danne grundlag for en samtale, hvor eleven sammen med sin lærer reflekterer over det gennemførte forløb. De to forskellige eksempler illustrerer måder, man kan bruge til at tilrettelægge evaluering af arbejdsprocesser, og som bidrager til at styrke og videreudvikle elevens arbejde med fagligheden. Når det er elevens produkt, i dette tilfælde den treretters menu, der skal evalueres på, er der selvfølgelig også flere metoder til rådighed. En måde kan være at lade eleverne servere menuen for gæster udefra, som man så beder om at give en tilbagemelding. Gæsterne kan for eksempel blive bedt om at svare på en række spørgsmål, der belyser forskellige aspekter af elevens præstation. Det kan være anretningens udseende, farveholdning, smagsoplevelsen eller gæstens samlede vurdering i form af en slags anmeldelse. En anden måde kunne bestå i at lade elevens lærere danne smagspanel som grundlag for feedback til eleven. En tredje måde kunne være at lade eleven arbejde med selvevaluering. Tidligt i uddannelsen kan læreren for eksempel opstille en række krav og forventninger til eleven og senere bede eleven reflektere over, i hvilken grad hun/han mener at leve op til dem. Senere i forløbet kan den enkelte elev øves i selv at opstille kvalitetsparametre og i løbende at reflektere over sine arbejdsresultater. Elevens selvevaluering skal selvfølgelig suppleres med lærerens evaluering, der både kan bestå af en evaluering af selve menuen og af elevens vurdering af menuen; sidstnævnte for at bidrage til at udvikle elevens vurderingsevner og kvalitetssans samt evne til at kommunikere om fagligheden. Elevens læringsprocesser og læringsresultat er straks sværere at forholde sig til. Vi vil starte med at skitsere de udfordringer, der ligger i at arbejde med elevens læringsprocesser – eller mere jordnært – hvordan eleven arbejder med at tilegne sig den viden, de færdigheder og holdninger, som er beskrevet i uddannelsens mål. Her kan der for eksempel fokuseres på følgende spørgsmål:
Observation og vejledning er to oplagte metoder til at opfange og kommunikere om, hvordan eleven arbejder med sine læreprocesser. En tredje måde er at arbejde med elevportfolio i form af en samling af elevens arbejder, selvevalueringer og vurderinger. Hermed afspejler portfolioen også den måde, som eleven har arbejdet med løsning af de faglige problemer på, herunder de løbende refleksioner over det hensigtsmæssige i de valgte arbejdsmetoder. Uanset hvilken metode, der anvendes, må evaluering af elevens arbejde med læringsprocesserne tage udgangspunkt i, hvad eleven har lært om at arbejde hensigtsmæssigt. Og elevens egne refleksioner må udfordres i forhold til kompetencemålene eller de faglige forventninger, som sætter standarden for elevens arbejde. Her kan det være relevant at stille spørgsmål som for eksempel:
Endelig bør evalueringen forholde sig til spørgsmålet om elevens læringsresultater – her forstået som de resultater, eleven har nået, eller den udvikling, der er sket med elevens viden, færdigheder eller holdninger. Det er et område, som det ikke er så ligetil at få hold på. Hvad vil det for eksempel sige at forholde sig til læring som “produkt”, og hvordan bærer man sig ad med at måle på det? Det handler her om at finde frem til den rette sammenhæng mellem måden at evaluere på og det, som eleven skal lære. Hermed har vi fat i spørgsmålet om forholdet mellem det formative og summative aspekt ved evaluering, som vi allerede har tematiseret. 3. Evalueringens dokumentationGennem de samtaler, vi har haft på skolerne, har vi blandt andet søgt at belyse elevevalueringer og deres sammenhæng med bedømmelsesplanerne og de evalueringskriterier, der er beskrevet i læringsaktiviteterne. Vi har her set nærmere på forholdet mellem bedømmelsesplan, målbeskrivelser udarbejdet i Elevplan eller andre typer beskrivelser, der omhandler kriterier for bedømmelse og evaluering af eleverne. Af vores samtaler fremgår, at:
Hertil kommer, at beskrivelsen af evalueringen i bedømmelsesplanerne ikke er særlig god på ret mange skoler. På det operationelle niveau er de evalueringskriterier, der er beskrevet under læringsaktiviteterne, sjældent af en karakter, som giver lærerne særlig meget vejledning i, hvad der skal evalueres, og hvordan det kan foregå. 
Der er imidlertid ikke kun tale om, at evalueringen af eleverne kunne beskrives bedre. Når der spørges ind til specifikke kriterier eller konkret evalueringspraksis, er problemet ofte en manglende dokumentation. Mange lærere forholder sig til deres erfaringsbaserede “gode praksis”, men manglen på dokumentation gør det vanskeligt at drage erfaringer af den på skoleplan. Kvalitetsudvikling af skolens evalueringspraksis kan i praksis foregå på to niveauer:
Uanset hvilket af de to niveauer vi bevæger os på, mener vi, at dokumentationen må være en forudsætning for udvikling af god praksis. Formelt set er det skolens ledelse, i praksis den enkelte uddannelsesleder, der har det overordnede ansvar for, at evaluering og bedømmelse af eleverne faktisk foregår i overensstemmelse med gældende love og bekendtgørelser, og at evalueringerne i øvrigt lever op til intentionerne i erhvervsuddannelserne. Derfor må ledelsen være med til at sætte opstille præmisser for og kvalitetskrav til de evalueringer, der gennemføres, og den må sikre, at begge dele fremgår tydeligt af både bedømmelsesplaner og andre målbeskrivelser og kriterier. I den forbindelse bør ledelsen derfor bidrage til, at både præmisser og krav til kvalitet diskuteres og udvikles i et tæt samarbejde mellem de uddannelsesledere og lærere, der skal arbejde med og sørge for, at evalueringen af eleverne fungerer i praksis. Når det handler om udvikling og beskrivelse af evaluering på det operative niveau, for eksempel i Elevplan, indebærer det blandt andet en diskussion af følgende spørgsmål:
Her er det nødvendigvis de lærere, der underviser i den konkrete læringsaktivitet, som i samarbejde med uddannelseslederen udvikler og dokumenterer deres evalueringer. Det må naturligvis ske i overensstemmelse med gældende regelsæt, men også i forhold til de præmisser og kvalitetskrav, som skolen opstiller for evaluering af eleverne. Her er det måske nyttigt at være opmærksom på, at flere evalueringsopgaver, specielt i grundforløbet, i dag knytter sig mere til elevens samlede uddannelse end til de enkelte fag, og at evalueringen af den enkelte elev derfor beror på lærergruppens samlede vurdering. Som eksempel kan nævnes det afsluttende projekt i grundforløbet, hvor alle de obligatoriske fag indgår, og hvor der skal gives en samlet karakter. Et andet eksempel er helhedsvurderingen, hvor lærerne skal vurdere, om eleven er egnet til at fortsætte i uddannelsens hovedforløb. Disse to typer evaluering stiller tydeligvis krav om, at lærerne arbejder sammen om at udvikle og gennemføre evalueringen på fælles præmisser – og at der tages udgangspunkt i uddannelsen og ikke i det enkelte fag. Det forudsætter, at der udvikles en fælles forståelse for, hvad den gode evaluering af eleven bygger på, og hvordan man sammen kan udvikle og gennemføre evalueringer. 4. Evaluering og samspillet mellem skole og praktikSkole- og praktikperioder er to lige vigtige dele af elevens uddannelse, og de bidrager på forskellig vis til elevens samlede kvalificering. Hvis eleven skal opleve sammenhæng og mening i uddannelsen, er det derfor nødvendigt, at de to dele spiller sammen og supplerer hinanden på en fornuftig måde. For at det skal lykkes, er det vigtigt at have et tæt samarbejde mellem skole og virksomhed, og at der begge steder følges op på elevens læring. På de skoler, vi har besøgt, var det svært at danne sig et indtryk af, hvordan man arbejdede med samspillet mellem skole og praktik. Holdningen var ofte, at: “vi sørger for vores” og “de sørger for deres”. Det gør det naturligvis vanskeligt for begge parter at skabe sammenhæng i uddannelsen, og det kan blive svært at få de to dele til at fremstå som en helhed. For den enkelte elev må det ideelle være, at hun kan se, hvordan det, hun har beskæftiget sig med på skolen, kan bruges i virksomheden – og at hun kan trække på sin erfaring fra praktikken, når hun arbejder med opgaver på skolen. Derfor bør opgaver i skoleperioderne være af en sådan karakter, at de opleves som meningsfulde i forhold til de konkrete læringsbehov, hun måtte have, og de må understøtte den læringsproces, der foregår i virksomheden. Hvis vekseluddannelsen som princip skal give mening, må der arbejdes konstruktivt med at få resultatet af elevevalueringer mere direkte i spil i forhold til den enkeltes læringsmæssige progression. Evalueringer kan danne basis for, at både skole og virksomhed kan skabe optimale rammer for den enkeltes læring, men dette vil i praksis først kunne lade sig gøre, hvis der skabes et grundlag for en samlet vurdering af elevens individuelle behov. Her kan man med fordel inddrage Elevplan mere aktivt, og man kan arbejde på at gøre den personlige uddannelsesplan til et mere refleksivt læringsværktøj til gavn for eleven. Med den personlige uddannelsesplan som omdrejningspunkt bør skolen forholde sig til de indholdsmæssige krav til kontaktlærersamtalerne, og hvordan samtalerne kan tænkes ind i forhold til praktikdelen i hovedforløbet. Som udgangspunkt er kontaktlærerens rolle at følge den enkelte elevs faglige og personlige udvikling, og samtalerne bør derfor altid indeholde elementer af evaluering. Herved kan kontaktlærerordningen bidrage til, at der gennem hele uddannelsen løbende bliver fulgt op på elevens individuelle behov og resultater, og der kan gennemføres en mere systematisk opsamling på, hvordan resultaterne influerer på elevens mulighed for at gennemføre uddannelsen. Herudover kan den personlige uddannelsesbog tænkes sammen med skolens elevevalueringer – uanset hvordan de foregår. Ved at anvende uddannelsesbogen som logbog, hvor både selvevalueringer og praktikudtalelser samles, kan der skabes et bedre grundlag for at følge op på både skole- og praktikdel. Et samlet overblik over elevens uddannelsesmæssige situation kan både bidrage til at give kontaktlærersamtalerne mere substans og til at støtte eleven i at reflektere over sine mål og resultater. Endelig bør det overvejes, hvordan skolen kan støtte virksomheden i at foretage elevevalueringer og i at kommunikere resultaterne videre til både elev og skole. Virksomhedens evaluering af den enkelte elev og de udtalelser, den måtte komme med om praktikforløbet, supplerer elevens selvevaluering og kan derfor bidrage til, at hun får et bedre overblik over sin uddannelse. Endelig vil et større fokus på evaluering af samspillet mellem skole- og virksomhedsdelen kunne understøtte skolens bestræbelser på at imødekomme elevernes individuelle behov og forudsætninger. 5. Evaluering som grundlag for udvikling af undervisningenNår vi på skolerne spurgte, hvordan lærerne arbejder med evaluering og resultatopfølgning, blev der ofte tavshed. Det gjaldt også, når vi efterfølgende spurgte, hvilken betydning lærernes evaluering har for undervisningens udvikling. Som vi tidligere har været inde på, opfattes evaluering som en naturlig del af lærergerningen – alle evaluerer jo hele tiden. Men lærernes evalueringer er ofte uformelle, de opfattes typisk som den enkelte lærers sag, noget der ikke nødvendigvis er en fælles holdning til, og som der heller ikke på skoleplan samles op på. Det er med andre ord ikke tydeligt, hvordan eller om evalueringsresultater omsættes til ændret praksis, fordi det i mange tilfælde afhænger af den enkelte lærer. Skal dette mønster brydes, handler det både om at prioritere og udnytte den formative evaluering noget bedre og om at sætte evaluering og udvikling af undervisningen på dagsordenen i lærersamarbejdet. Vi har tidligere været inde på, at lærerne taler for sjældent sammen om de evalueringer, de gennemfører af deres undervisning, og det medfører, at der måske ikke arbejdes med samme mål og kriterier for evalueringerne, og at det bliver vanskeligt at udveksle og dele erfaringer om evalueringsresultater, og hvordan de kan bruges til at forbedre undervisningen. At få skabt praksisfællesskaber, der har evaluering og udvikling af undervisningen på dagsordenen, må derfor være en væsentlig udfordring for evalueringskulturen. Det samme gælder for at få undervisning og evaluering til at hænge sammen, til at fungere som en naturlig enhed. Udgangspunktet kan her være arbejdet i teamet, faggruppen eller afdelingen, hvor der med fordel kan tages afsæt i arbejdet med lokale undervisningsplaner og bedømmelsesplaner, der netop fordrer fælles pædagogiske og didaktiske overvejelser og valg. Hvordan evaluering kan bidrage til udvikling af undervisningen kan tackles i forhold til tre synsvinkler: eleverne, undervisningen og lærersamarbejdet. I forhold til eleverne kan det for eksempel handle om at rette blikket mod følgende:
Er målet at bruge evaluering som grundlag for udvikling af undervisningen, må evalueringen også kunne indfange sammenhængen mellem undervisning og læring:
Flyttes fokus fra evaluering af undervisning til evaluering af elevens læring, bliver eleven den centrale aktør. I dag taler man for eksempel om, at det i højere grad skal være eleven selv, der inden for de givne rammer planlægger, gennemfører og evaluerer sine læreprocesser i et samarbejde med involverede lærere. Det betyder ikke, at eleverne skal overlades til sig selv, men de skal mødes med lærerne i et ligeværdigt og kvalificerende samarbejde. Det indebærer, at lærerne får et særligt ansvar for at stille læringstilbud til rådighed, der gør det muligt for eleverne at tage medansvar. Men det stiller også krav til evalueringerne, der skal kunne vise, om de gennemførte læringsaktiviteter nu også stimulerer eleven til at tage del i ansvaret. Samspillet mellem undervisning og læring er et omdrejningspunkt, og som lærer bør man naturligvis nøje overveje, hvilke evalueringsmetoder der egner sig til at opfange netop det, man gerne vil evaluere. Hvis målet er at udvikle og anvende evalueringsmetoder, der fremmer elevens læring, kan man bruge betegnelsen pædagogisk eller didaktisk evaluering. I den bliver lærersamarbejdet omdrejningspunkt for udvikling af undervisningens kvalitet og for teamets eller den enkelte lærers pædagogiske kompetenceudvikling. At arbejde med pædagogisk eller didaktisk evaluering kan være med til at øge lærerprofessionaliseringen. Men det fordrer, at man som lærer er i stand til både at kunne give og modtage ros og kritik og er villig til at skifte spor, hvis en evaluering peger på forhold, der bør ændres. Det forudsætter også, at der er tilstrækkelig tid til at gennemføre evalueringer og til at analysere og følge op på resultaterne. Med til lærerprofessionen hører at kunne reflektere over egen og andres praksis. Derfor skal læreren både kunne inddrage egne og andres vurderinger af sin praksis i arbejdet med egen udvikling. At arbejde systematisk med pædagogisk evaluering stiller krav om at kunne forholde sig reflekteret til de evalueringsresultater, der er opnået, og at kunne omsætte og anvende dem til at fastholde eller udvikle kvaliteten i de læringsaktiviteter, man indgår i. Det forudsætter, at der er åbenhed om evalueringerne, og at de involverede er parate til at drøfte forhold, der måske kan være tabubelagte. Derfor kan det være en god idé at opstille nogle etiske spilleregler, der skal overholdes, når man går sammen om diskussion, tolkning og analyse af evalueringer. For eksempel kan den enkelte leder have ansvaret for, at diskussionen fastholder en pædagogisk vinkel, og at det kun er særlige emner under den, der diskuteres på møderne. I en god evalueringskultur sker forandringen gennem de læreprocesser, der sættes i gang, når man lærer af hinanden og af erfaringen med såvel nederlag som succes. At gøre evaluering til et fælles anliggende med fokus på læringsgevinster kan være med til at fjerne fokus fra oplevelsen af evaluering som lig med kontrol og bidrage til, at evaluering og udvikling både tænkes og arbejdes sammen. 6. Evaluering som opgave for ledelsenEvaluering er et nødvendigt værktøj for strategisk udvikling af en skole. Et værktøj til at tage pulsen på udvalgte områder og til efterfølgende enten at sætte ind med forbedring eller bruge resultatet som bekræftelse på en positiv indsats eller tilstand. I dag er alle skoler forpligtet til at gennemføre systematisk kvalitetsarbejde, idet hovedbekendtgørelsen fastsætter, at skoler skal have et system til løbende kvalitetsudvikling og resultatvurdering af uddannelsernes skoledel. Systemet skal indeholde procedurer, der sikrer, at elever, medarbejdere og lokale uddannelsesudvalg inddrages i skolernes løbende selvevaluering og kvalitetsudvikling. Det er en væsentlig udfordring for skolerne at bringe sammenhæng mellem det kvalitets- og evalueringsarbejde, der foregår på forskellige niveauer, for eksempel mellem afdelingsniveau og skoleniveau, på teamniveau og hos den enkelte lærer og medarbejder. Det er ikke alle evalueringsformer, der har den samme bevågenhed hos den strategiske ledelse. Dette skyldes i særlig grad, at nogle evalueringsformer egner sig bedre end andre til dokumentation og kontrol. Skolerne bruger typisk evaluering som et kvalitetsværktøj, der i højere grad kan dokumentere kvalitet udadtil end indadtil i organisationen. Ansvaret for kvalitets- og evalueringsarbejdet i de enkelte uddannelser er ofte placeret hos den ledelse, der har det daglige ansvar for uddannelsen. Kvalitets- og evalueringsarbejde har derfor en tendens til at leve sit eget liv uden at fylde meget på det overordnede niveau. Det kan være et udtryk for, at de enkelte afdelinger er meget selvstændige enheder inden for den overordnede skolestruktur. Det kan også være et udtryk for, at det, der knytter sig til de enkelte afdelinger, har en tendens til at forsvinde i den professionalisering og opbygning af et generelt kvalitetssystem, som skolerne gennemfører. Dette er et vigtigt og interessant område for skolerne at reflektere over og udvikle på. De evalueringsformer, der sættes i spil på skoleniveau, hvad enten evalueringen tjener et internt eller eksternt formål, synes at tage meget tid og mange ressourcer, og derfor er det væsentligt for evalueringskulturen på skolerne at overveje og diskutere resultatet af kvalitets- og evalueringsarbejdet. Er det de rigtige ting, vi evaluerer på? Kan vi følge op på resultaterne? Hvordan omsætter vi resultaterne til kvalitetsforbedringer? Eller som vi tidligere har formuleret det: gør vi det rigtige, og gør vi det rigtige rigtigt? Det kan være vanskeligt at skabe en forandring på baggrund af evalueringsresultaterne. Mange medarbejdere tager ikke nødvendigvis ejerskab for resultaterne. Det kan også være et problem at skabe fælles forståelse for formålet og de kriterier eller parametre, man evaluerer i forhold til. Ofte indfanger evalueringerne ting, som ligger uden for den radius, den enkelte medarbejder kan påvirke, og spørgsmålene med dertilhørende svarmuligheder kan være formuleret på en sådan måde i en tilfredshedsmåling, at det kan være svært at handle på baggrund af evalueringsresultaterne. For at skabe en skole med en god evalueringskultur er det vigtigt at være sig bevidst, at evaluering skal have et anvendelsessigte, at evalueringen gennemføres for at spille en rolle i praktiske handlingssituationer. Evalueringer skal kunne følges op, det skal være muligt at sætte ind med forbedringer, med løft af kvalitet og kompetencer. Skolens ledelse er et omdrejningspunkt, når vi taler om god evalueringskultur og kvalitetsudvikling. Her har ledelsen både et særligt ansvar og en særlig rolle. Ledelsen skal sætte kursen med klare mål, strategier og forventninger for evalueringsarbejdet. Den skal vise vej, åbenhed og vilje til forandring, og den skal tage den opgave og det ansvar på sig, at skolens evalueringskultur bliver udtryk for et praktisk fællesskab om formål, fremgangsmåder og værdigrundlag. Ledelsen må derfor have fokus på, at:
Udvikling og opbygning af en god evalueringskultur er naturligvis ikke et mål i sig selv, ligesom udvikling ikke i sig selv er et mål med evaluering. Pointen med en god evalueringskultur er, at den kan være med til at kvalificere skolens vurdering og valg af, hvad der fungerer hensigtsmæssigt og derfor ikke står til forandring, og hvad der modsat står til forandring, fordrer udvikling. Det handler om valg og dermed også fravalg, og det handler om at vælge på kvalificeret grundlag. Det gælder for undervisningen og elevens læring, for undervisningsmiljøet og for hele skolens virksomhed. På den måde udgør en god evalueringskultur en vigtig forudsætning for kvalitetsarbejdet i organisationen, og derfor er den også en opgave, som skolens ledelse må tage til sig og vise ansvar for. Men det er ikke kun en sag for ledelsen. Det er en opgave, som alle, der er involveret, har medansvar for og del i. 7. EvalueringsfaglighedDet hører med til en god evalueringskultur, at man løbende reflekterer over de mål, man sætter sig, og hvordan de hænger sammen med de metoder, man anvender for at nå dem. At være en reflekteret praktiker indebærer – som sociologen Anthony Giddens beskriver det – hele tiden at vide, hvad man gør, og hvorfor man gør det. Dette gælder ikke mindst, når man evaluerer! Mange evalueringer kuldsejler på grund af manglende engagement eller interesse. Ringe svarprocenter eller halvhjertede besvarelser på evalueringer, man føler sig tvunget eller forpligtet til at lave, giver hverken ledelse eller lærere noget godt grundlag for kvalitative ændringer af deres praksis. Evalueringers anvendelighed afhænger med andre ord af kvaliteten. Men hvad indebærer det så at arbejde med kvalitet i sine evalueringer? Og hvad indebærer det at være en god evaluator? Først og fremmest bør man være opmærksom på, at evalueringer tænkes og anvendes forskelligt – for eksempel kan lærere og ledere være uenige om, hvad der er formålet med at evaluere og, ikke mindst, hvad evalueringsresultater kan eller bør bruges til. Derfor kan der også være forskellige opfattelser af, hvad det vil sige at lave gode evalueringer. At vurdere kvalitet er værdiladet og afhænger af subjektive forståelser af, hvad der giver mening og har værdi for den enkelte. At være en god evaluator handler altså først og fremmest om at finde ind til kernen af det, der giver mening og har værdi i en specifik sammenhæng – altså at kunne bidrage til, at skolens evalueringer er rettet mod både tydelige og vigtige mål. Flere skoler arbejder med evalueringssystemer, der bygger på antagelsen om, at man kan opstille objektive kriterier for kvalitet. I en mere eller mindre demokratisk proces opstilles parametre eller kvalitetsindikatorer, som sætter rammen for det, der bliver skolens centrale evalueringsspørgsmål. I denne proces vil det være helt afgørende, at alle involverede er enige i, at det netop er disse målepunkter, der kan sige os noget meningsfuldt om kvalitet på et givet område. Vores skolebesøg har vist, at det netop kan være den problematik, som udgør én af evalueringernes allermest kritiske faser. For det første er der ikke enighed om begrebet kvalitet. I ledelsessammenhænge defineres kvalitet ofte i relation til skolens kunder – og forstås derfor i en kunde-leverandørrelation. Dette påvirker synet på evaluering, og hvad den skal rettes imod. Flere skoler definerer kvalitet som evne til at leve op til kundens forventninger, og oftest måles dette gennem tilfredshedsmålinger. Mange lærere, derimod, har blikket rettet mod helt andre værdier – ofte dem, der kan karakterisere den tætte, nære relation mellem elev og lærer. Lærerens opmærksomhed vil derfor være rettet meget mere mod de processer, der er på spil i læring og i læreprocesser end på det synlige produkt, der kan komme ud af dem. Dette giver både et andet perspektiv på evaluering – og på opfattelsen af, hvad kvalitet kan være. Flere gange under vores skolebesøg har der været rejst kritik af den udbredte brug af tilfredshedsmålinger. Siger tilfredshed overhovedet noget om elevernes læring, spørger mange. Og er eleverne altid i stand til selv at kunne vurdere, hvilke forventninger de kan eller bør have til undervisningen? Andre har rejst kritik af selve indholdet i tilfredshedsmålingerne. Hvad er det, man skal være tilfreds med, når der er tale om god undervisning? Endvidere er det input, den enkelte lærer får, altså de elever han/hun har at arbejde med, meget forskellige med hensyn til behov og forventninger. Derfor kan der også være stor forskel på, hvad der betragtes som en tilfredsstillende ydelse – eller, for den sags skyld, hvad der kan gøre ham eller hende tilfreds. Behov og forventninger er subjektive størrelser, der mister værdien, når de forsøges indfanget i objektive og generelle termer. Som følge heraf må man være opmærksom på, at bestræbelserne på at gøre fælles kan ske på bekostning af det unikke. Kvalitetsindikatorer, der bliver til i en demokratisk proces, kan risikere at blive lig med de mindste fællesnævnere som parametre for skolens kvalitet. Eller man “overpynter juletræet” i sin iver for at få alle spørgsmål med – alle skal svare på alt. Risikoen ved dette er, at mange mister følelsen af ejerskab, evalueringerne mister simpelthen deres relevans. For eksempel kan evalueringerne blive for brede eller generelle og derfor uvedkommende. Eller de kan ende med at signalere et miks af forskellige interesser, fordi det bliver utydeligt, hvad evalueringen egentlig forsøger at indfange. Evalueringsfaglighed indebærer, at man aktivt forholder sig til de værdier, der er indbygget i alle former for vurderinger. Uanset hvilken strategi, form eller værktøj, man anvender, kan man ikke komme udenom at skulle tolke og vælge perspektiv. Man må for eksempel vælge, hvad man vil gøre til genstand for nærmere undersøgelser. Og ligesom arkæologen ikke kan finde noget i huller, han ikke graver, kan evalueringer kun “få øje på” noget, som de har kikkerten rettet imod. Det er helt tydeligt, at der ikke kun mangler en debat om, hvilken kikkert man skal anvende, men også om, hvor den skal rettes hen. Der er mange forskellige udfordringer at tage fat på, når man vil udvikle en god evalueringskultur. At lave gode evalueringer kræver ikke bare indsigt i metoder og værktøjer, men færdigheder i at udvikle og dyrke en evalueringskultur. Det indebærer blandt andet at integrere evaluering som en naturlig del af lærerfagligheden, men også en anerkendelse af, at evaluering kan være noget, der skal læres, at evaluering fordrer kompetencer! For lærerne kan det måske handle om muligheden for at øve indflydelse – at få anerkendt værdien af de (uformelle) evalueringer, de allerede laver. For lederne kan det handle om at få flere engageret og at undgå evalueringer for evalueringernes skyld. En kritisk fase for alle parter er, når der skal tolkes og følges op på resultaterne af evalueringer. Meget tyder på, at der er behov for at skabe meget mere åbenhed om denne del af evalueringskulturen og langt større synlighed om, hvad evalueringsresultater kan og skal bruges til. Så evalueringsfaglighed handler altså ikke kun om at tilegne sig viden om og færdigheder i at anvende forskellige former for evaluering. Det handler også om at forholde sig kritisk til, hvordan forskellige værdisystemer kan arbejde sammen – eller mod hinanden – på skolen. En god evaluator træffer sit valg af evalueringsmetoder på baggrund af både sin evalueringsfaglighed og indsigt i skolekulturen og de værdier, der er på spil i den. En god evaluator er med andre ord en reflekteret praktiker! 8. Angst og stressHvad siger evalueringerne? Og hvilke konsekvenser får de? Det er spørgsmål, der optager eleverne, men i høj grad også lærere og ledere. Hos mange er der samtidig tale om andet og mere end almindelig interesse. For dem er usikkerhed, om hvordan resultaterne af evalueringerne tolkes, og hvad de bruges til, årsag til angst og stress. At det forholder sig sådan, og at det er et almindeligt fænomen, udtales helt åbent fra både lærer- og lederside på skolerne. Det er naturligvis et problem. Det er også et tegn på, at der er noget galt i evalueringskulturen. Der kan være flere årsager til miseren. Evaluering handler grundlæggende om at forholde sig vurderende til noget, og det er derfor heller ikke til at komme udenom, at den kan være kritisk, altså pege på mangler og svagheder, ting der kunne være eller gøres bedre. Det ligger i selve formålet med evaluering, at det er noget, vi bedriver for at blive bedre rustet til at gøre tingene endnu bedre – en måde at styrke kvaliteten på. Det hører derfor også med til at klare mosten – uanset om man er elev, lærer eller leder – at man formår at kunne modtage kritik. Man skal altså kunne tage imod en evaluering, der eventuelt peger på et eller andet, måske meget, der kunne gøres anderledes eller bedre. Det er de færreste, der bryder sig om det, mange har det også decideret dårligt med det. Det betyder selvfølgelig ikke, at man skal undlade kritisk evaluering. Det fordrer til gengæld noget særligt af evalueringen. Det drejer sig for det første om, at den ikke retter sig mod personen som sådan, men at den altid er formidlet, altså handler om et produkt, en proces, en præstation. For det andet drejer det sig om, at evalueringen foregår på en måde, der ikke ydmyger. Evalueringen tager afsæt i præstationen, det er den, eventuel kritik har udgangspunkt i. Evalueringen involverer naturligvis personlige kompetencer, men kun i det omfang de sætter deres aftryk på præstationen, handlingen eller produktet. 
Der er en verden til forskel på at få en dårlig feedback på en præstation og på at føle sig nedvurderet eller diskvalificeret som person. Har man ikke mulighed for at distancere sig fra det, evalueringen retter sig mod, bliver man ramt og føler sig måske både såret og ydmyget. Det er lige præcis forskellen på de to planer, det saglige og det personlige, der gør det muligt at bære en dårlig vurdering. Det er den, der betinger, at man henter kræfterne til at bruge evalueringen til noget konstruktivt. Det er også i den, evalueringen henter sin saglige begrundelse. Respekteres denne grundlæggende spilleregel ikke, kan evaluering udarte til noget, der opleves som smerteligt og ydmygende af den, som lægger ryg til. Også selvom det ikke længere sker i bogstavelig forstand. Det gælder også der, hvor evalueringen tager udgangspunkt i sagen, men får en negativ personlig drejning. Det er tilfældet, når evaluering foregår på en ydmygende facon, for eksempel med en “nedsættende”, “latterliggørende” eller “stemplende” attitude. Grænsen mellem det saglige og det personlige kan være vanskelig at trække både for den, der evaluerer, og den, der bliver evalueret, og derfor er udøvelse af evaluering forbundet med ansvar og krav om at udvise respekt for den enkelte. Det hører med til den grundlæggende professionelle etik i god evalueringskultur. Vi rører her ved et ømt punkt, som uden tvivl spiller en rolle for den måde, evaluering opleves og håndteres på. Det er et punkt, der ikke kun understreger den betydning, det har, hvad man evaluerer på, men også hvordan evalueringen bliver grebet an og fulgt op. Den kritiske evaluering kan udøves mere eller mindre elegant og nænsomt. At gennemføre en evaluering, der både er kritisk og formår at motivere til at komme videre og gøre tingene bedre, kan være en kunst. Når evaluering kan føre til utryghed, angst og stress har det også andre årsager. Det handler typisk om, at man er utryg ved, hvad resultaterne af evalueringerne vil blive brugt til. Man nærer for eksempel frygt for, at de bliver mistolket og misbrugt. I den situation bunder problemet grundlæggende i usikkerhed og måske mistillid. Er der en skjult dagsorden? Hvem får resultaterne af evalueringen? Hvordan bliver de tolket? Hvordan bliver de brugt – og måske endda misbrugt? Skal tvivl om disse ting imødegås på en konstruktiv måde, handler det om at skabe forståelse for tre grundlæggende spørgsmål: Hvorfor evalueres der? Hvad skal evalueringen fokusere på? Og hvad skal resultaterne bruges til? 9. UdviklingsberedskabAf vores skolebesøg fremgik det, at både lærere og ledere ønsker at anvende evalueringer som grundlag for udvikling. Samtidig har flere påpeget, at det netop er opfølgningen, der er mange skoleevalueringers svage punkt. Hvis opfølgning på evalueringerne mangler, kan både elever og lærere miste lysten til at deltage – og hvis evalueringer opleves som noget, der kan få negative konsekvenser, for eksempel fyring af en lærer, kan skoleevalueringer tilmed blive konfliktstof. Graden af det engagement, som både elever og lærere lægger i skoleevalueringer, synes at afhænge meget af, om de forstår og bifalder formålet. Og engagement er det, skolen behøver for at få evalueringer til at kunne danne grundlag for udviklingsaktiviteter. Når man vil anvende evaluering som forberedelse til udviklingsarbejde, er det derfor vigtigt, at det altid er tydeligt for alle implicerede, hvordan man tænker sig, at resultaterne skal anvendes. Dette gælder også, selvom evalueringer er forskellige med hensyn til for eksempel niveauer (lærer, afdeling, skole, Undervisningsministeriet) eller sigte (undervisningen, rammer, vilkår). Gennem de seneste mange år har erhvervsskolerne været genstand for en række reformer, og konstante ændringer i både mål og midler synes at være blevet et vilkår for mange ansatte. Mange lærere føler sig sat under pres, blandt andet i forhold til de mange roller de har, for eksempel teamdeltager, kontaktperson, vejleder, sparringspartner for kollegaer og ledelse, medansvarlig for udvikling af læringstilbud osv. Og lederne oplever tilsvarende, at præmisserne for deres arbejde forandrer sig, for eksempel som følge af nye lovkrav, ændrede økonomiske betingelser og krav til dokumentation. Fleksibilitet og omstillingsparathed er blevet et krav til alle i organisationen, og forandring er nærmest blevet det normale. Både ledere og medarbejderes professionelle profil er sat til permanent diskussion, ligesom kvalitetskravene er det til hans/ hendes arbejde. I organisationen kan den enkelte være pålagt mange forskellige opgaver og roller, der hver især kan være med til at berige hverdagen – at gøre arbejdet mere interessant. Men i nogle tilfælde kan de også overbebyrde den enkelte, enten fordi hun eller han oplever rollekonflikter, eller fordi det kan blive svært at prioritere. Måske er det derfor, at man flere steder kan finde tegn på det, man kunne kalde udviklings- eller forandringslede. Flere lærere efterlyser en mere tydelig retning for skolens udvikling og oplever, at de forskellige udviklingsinitiativer ikke nødvendigvis peger samme vej. Det kan føre til modstand mod forandring, enten fordi man ikke mener, at forandringerne fører til kvalitative forbedringer, eller fordi man har oplevelsen af, at det aldrig hører op. Evalueringstræthed er noget, de fleste skoler kender til. Derfor handler udviklingsberedskab først og fremmest om at udvikle eller fremdyrke en evalueringskultur, hvor blikket er rettet mod udviklingsinitiativer, der både opleves som vigtige og relevante. Evaluering som grundlag for udvikling fordrer både villighed og parathed til at forandre. Man bør i princippet ikke evaluere på områder, man ikke er parat til at ændre – og man må have en synlig og saglig grund til at forandre. Der ligger en stor opgave for skolerne i at skabe gennemsigtighed om de bagvedliggende årsager til forskellige former for forandringsarbejde. En skoles udviklingsberedskab skal derfor ikke blot måles på evnen til at sætte udviklingsprojekter i gang og skabe forandring. Udvikling bliver først et skoleanliggende – et fælles og vedkommende projekt for alle i organisationen – når udviklingsinitiativer bliver en naturlig og integreret del af hele skolens praksis. Dette vil blandt andet indebære, at evalueringer gennemføres på et fundament af tillid, og at udviklingsprojekter bliver til i en samarbejdsstruktur, der er præget af professionalisme og gensidig respekt.
Perspektiv for arbejdet med evalueringskulturenEvalueringskultur er nok et nyt begreb, men hverken en ny opfindelse eller et pædagogisk mantra, der rummer svar på alle skolens problemer. Det er simpelthen et udtryk for den måde, man arbejder med evaluering på. En god evalueringskultur er ikke ensbetydende med, at man evaluerer meget, eller at man skal lave om på alting. Den er tværtimod med til at kvalificere skolens valg af, hvad man skal evaluere, hvordan man gør det hensigtsmæssigt, og hvordan man udnytter resultaterne. Den er også et udtryk for, at man er indstillet på udvikling og forandring, når sagen kræver det, at man har beredskabet og viljen til at bryde uhensigtsmæssige vaner og mønstre. En god evalueringskultur bygger på, at de nødvendige kompetencer er til stede. Men i en god evalueringskultur rækker det ikke, at man behersker de relevante evalueringsmetoder og udfører evaluering fagligt professionelt på de områder, hvor det nu kræves. Pointen er lige præcis, at evalueringerne sker i samspil med værdier og mål, som man tror på, som man er fælles om på skolen. Det er heri -kulturen består. Den gode evalueringskultur forudsætter, at
Evalueringskulturen har betydning for skolen både indadtil og udadtil. Indadtil, fordi evaluering med klare mål og kriterier er grundlag for at sikre og udvikle kvaliteten i skolens ydelser på alle niveauer, fagligt såvel som pædagogisk. Og fordi den gode evalueringskultur indebærer en åben og positiv indstilling til vurdering af eget og andres arbejde og til forandringer og eksperimenter. At turde se problemer i øjnene, at sætte ord på dem og tage fat om dem. Udadtil, fordi en god evalueringskultur vidner om professionalisme, troværdighed og kvalitet. Svagheden eller det ømme punkt i arbejdet med evalueringskultur handler ikke mindst om risikoen for, at evalueringen rettes mod alt for meget, eller at den går hen og bliver et mål i sig selv. Så er det noget, man gør uden et klart formål og måske uden mulighed for at følge op. Men man kan ikke evaluere alting – hvis man forsøger det, bliver det til ingenting. Vi evaluerer for at blive bedre rustet til at gøre tingene endnu bedre, det er en måde at styrke kvaliteten på. Derfor handler det kort sagt heller ikke om at evaluere mere, men om at gøre det bedre. Det starter med hvad, hvorfor og hvordan?
LitteraturBanff, Poul-Erik og Gunnar Eggert Jørgensen: Elevplan i praksis, Undervisningsministeriet, 2004 (http://static.uvm.dk/publikationer/2004/ elevplanipraksis/) Dahler-Larsen, Peter: Den rituelle refleksion – om evaluering i organisationer, Syddansk Universitetsforlag, 2003 Dahler-Larsen, Peter: Evalueringskultur – et tiltrækkende begreb? I: Unge Pædagoger Nr. 2/3, København, 2005 Dibbern Andersen, Ole og Erling Petersson: Evaluering og læreprocesser, Undervisningsministeriet, 1997 (http://www.uvm.dk/ gammel/lproces.pdf og http://static.uvm.dk/publikationer/1998/vaerktoej/) Evalueringskultur – forandringskultur. Temanummer af tidsskriftet Unge Pædagoger, København 2005 Fullan, Michael og Andy Hargreaves: Hvad er værd at kæmpe for – i skolen? Samarbejde om forbedring, Forlaget Klim, 2003 Guldberg, Stig, Jesper Piculell og Lars Stegsted Rasmussen: Ledelse og lokal undervisningsplanlægning – kvalitet i skolens grundydelser, Undervisningsministeriet, 2001 (http://static.uvm.dk/publikationer/2001/ledelse/) Hiim, Hilde og Else Hippe: Didaktik for fag- og professionslærere, Gyldendal, 2005 Løve, Tove: Elevsamtalen – fra samtaleark til uddannelsesplan, Kroghs Forlag, 2001 Madsen, Claus: Skabelse af en evaluerings- og forbedringskultur – en ledelsesopgave. I: Unge Pædagoger nr. 2/3, København, 2005 Madsen, Claus: Evaluering på teamniveau. I: Fleksibel læring nr. 2, Dafolo Forlag, 2005 Rasmussen, Jens: Evaluering. I: Lars Jacob Muschinsky og Karsten Schnack (red.): Pædagogisk opslagsbog, Christian Ejlers Forlag, 2001 Skov, Poul: Evaluering – perspektiver og processer. I: Signe Holm-Larsen, Susanne Wiborg og Thyge Winther-Jensen (red.): UNDERVISNING OG LÆRING – Almen didaktik og skolen i samfundet, 2. reviderede udgave, Kroghs Forlag, 2005
Undervisningsministeriets temahæfteserieI denne serie udsender Undervisningsministeriet publikationer om generelle eller mere specifikke aktuelle emner. Formålet er at skabe debat og inspirere til udvikling i uddannelserne. 2005:
2006:
Trykte publikationer – som i oversigten er forsynet med et UVM-bestillingsnummer – kan mod betaling af et ekspeditionsgebyr rekvireres hos Nordisk Bog Center eller hos boghandlere. Internetpublikationer kan frit downloades fra www.uvm.dk - til eget brug. Hvad kendetegner en god evalueringskultur? I publikationen giver forfatterne deres bud på, hvordan spørgsmålet kan besvares, og inspiration og ideer til, hvordan ledere, lærere og kvalitetsansvarlige på skolerne kan arbejde med at udvikle skolens evalueringskultur. Publikationen indeholder fi re dele:
|
|
||||||||||||||||||||
|
Til sidens top |
