Referat fra workshop 2: Kvalitet i kerneydelsen

1. oplæg: Udviklingen af en model for kvalitetsregnskab v/Sonnich Jensen, Esbjerg Handelsskole

Projektets indhold og tilgængelighed

Esbjerg Handelsskole har lavet en model for kvalitetsregnskab, som vil kunne inspirere andre skoler. Modellen for kvalitetsregnskabet indeholder tre hovedelementer: 1) Software til spørgeskemaundersøgelser, 2) etisk regnskab, 3) præsentation på skolens hjemmeside af skolens arbejde med at efterleve de centralt udmeldte kvalitetskrav.

1. Udarbejdelse og afprøvning af et webbaseret software (@venQuest), som dels skal anvendes i analysen og dels skal kunne medvirke til, at skolens medarbejdere i stor udstrækning kan få indblik i arbejdsprocessen og de resultater, der måtte komme.

Webapplikationen @venQuest har faciliteter til at oprette og redigere spørgeskemaer til brug for evaluering samt automatisk rapportgenerering, der gør det muligt at se resultatet af besvarelserne m.m.

@venQuest, der i version 1.0 stilles gratis til rådighed for alle skoler, findes i en demo-udgave på adressen: http://avenquest.demo.advsh.net/. En demo-udgave kan ses med bruger-id: demo og kodeord: demo. Programmet og en brugervejledning vil også kunne downloades via Undervisningsministeriets hjemmeside: http://us.uvm.dk/erhverv/projekter/kvalitetsudvikling.htm.

Fordele og ulemper ved programmet

Følgende fordele kan nævnes: det er webbaseret, det er nemt at udarbejde spørgeskemaer, det er nemt at få en standardrapport, man kan selv vælge om respondenten skal være anonym eller ej.

Følgende ulemper kan oplistes: der er ingen kopieringsfaciliteter til udarbejdelse af spørgeskemaer (man kan ikke genbruge noget fra det første skema), i praksis er der ingen kontrol med, om en respondent svarer flere gange på et spørgeskema, det er meget tungt at redigere i spørgeskemaerne, der er begrænsning på spørgsmålenes længde, det er meget tungt at lave "skræddersyede" rapporter (kræver databaseprogrammering).

Erfaringerne fra Esbjerg Handelsskole er endvidere, at man skal være opmærksom på, at svarprocenterne er væsentligt lavere end ved udsendelse af papirspørgeskemaer. Det skal også noteres, at systemet ikke i sig selv giver mulighed for benchmarking, idet undersøgelser og evalueringsspørgsmål skal konstrueres af den enkelte skole.

Ændrede arbejdsgange

I forhold til det forrige etiske regnskab er arbejdsgangene ændret væsentligt. Specielt har man undgået at trykke, udsende og indsamle et meget stort antal spørgeskemaer. Med det webbaserede program har man registreret dataene til brug for etisk regnskab i samme øjeblik, som respondenten har svaret. En gentagelse af det etiske regnskab med det nuværende "set-up" vil være meget enkel og lidt arbejdskrævende.

Etisk regnskab

2. Udarbejdelse af et etisk regnskab som et led i Esbjerg Handelsskoles ledelses- og kvalitetsplan baseret på TQM.

I udarbejdelsen af etisk regnskab har skolen arbejdet med følgende faser: 1) Målformulering, 2) operationalisering af mål, 3) analyse af målformuleringen, 4) vurdering af analyseresultater, 5) udpegning af handlingsplaner, 6) iværksættelse af handlingsplaner, 7) fortsat diskussion af mål og evt. justering af disse, 8) analyse af målopfyldelse.

Kvalitetsarbejdet

Esbjerg Handelsskole har 6 afdelinger med hver deres profiler og arbejdsopgaver og med dertil hørende forskellige ministerielle krav om kvalitetsudvikling og -kontrol. I normalperioder arbejder de 6 afdelinger hver for sig med udførelsen af deres respektive opgaver, herunder mht. kvalitetsarbejde, men i forbindelse med udførelsen af det etiske regnskab er det vigtigt, at koncernen Esbjerg Handelsskole måles efter samme standard, dvs. i forhold til målopfyldelse af skolens overordnede målsætning

Konkret foretager man undersøgelser af interessenternes opfattelser, fordelt på: Virksomheder, folkeskoler, gymnasier, egne lærere og elever.

Opfyldelse af krav om gennemsigtighed og åbenhed

3. Igangsætning af en proces, som skal sikre en løbende opfølgning af kravene, som stilles fra Undervisningsministeriet mht. kvalitetsudvikling og -kontrol i forhold til Esbjerg Handelsskoles afdelinger.

Ved indtastning på Esbjerg Handelsskoles website kan man se, hvordan skolen lever op til "Lov om gennemsigtighed og åbenhed i uddannelserne m.v." Under ikonet "kvalitet" har skolen blandt andet oplistet de enkelte bekendtgørelsers krav til uddannelserne sammen med en konkretisering af, hvordan skolen i praksis søger at efterleve disse krav fx i form af en operationel procedure. Man kan klikke ind på (http://www.ehs.dk/) og se nærmere.

Implementering og nyttiggørelse

I forhold til spredning, implementering og nyttiggørelse kan det fremhæves, at Esbjerg Handelsskoles SU har fungeret som overordnet styregruppe for projektet. Projektet har løbende være et fast punkt på SU´s dagsordener. 2 personer har været projektledere for projektet. De er blevet udpeget af skolens ledelse og har SU´s tillid. Hver af Esbjerg Handelsskoles 6 afdelinger har deltaget med 1 - 2 personer, og desuden har 3 medarbejdere fra TAP-området deltaget. Medarbejdere, som for en afdeling har været med i projektet, har haft opbakning hos afdelingens ledelse, hos TR og afdelingens medarbejdere. Skolens medarbejdere har indledende fået en grundig information om projektet, og efter at SU har givet grønt lys for projektet, blev projektet sat i gang.

Der var i workshoppens diskussion generel enighed om, at det er vigtigt bl.a. i forhold til nyttiggørelse, at der foretages opfølgning på målinger. Således skal eleverne inddrages i evalueringsmetoden. En væsentlig pointe er således, at spørgeskemaværktøjer ikke skal betragtes som videnskab (validitetsdiskussionen), men som dialogværktøjer. Denne vinkel er vigtig at fastholde i forhold til accept og implementering af sådanne værktøjer. På den anden side er det meget vigtigt at få etableret systematiserede spørgeskemaværktøjer, idet disse er et væsentligt led i dokumentationskravet til skolerne. Et krav som politisk er skærpet efter regeringsskiftet.

Et uafklaret spørgsmål blev rejst: Skal der være en grad af "ekstern" kontrol (ekstern intern kontrol), for at der sker opfølgning?

2. oplæg: Projekterfaringer i forbindelse med MARS - selvevaluering ud fra EFQM Excellencemodellen v/Jeppe Carlsen, Odense Tekniske Skole

Formål, indhold og organisation

Formålet med MARS-projektet var at skabe et kvalitetsudviklingssystem med tilhørende værktøjer, som kunne bruges til at gennemføre kvalitetsudvikling på afdelingsniveau på erhvervsskoler, der på skoleniveau anvender EFQM Excellencemodellen som ramme for systematisk kvalitetsudvikling.

Foruden udviklingen af værktøjer i relation til EFQM Excellence, indeholdt projektet et parallelt værktøj, som tog udgangspunkt i §5 i hovedbekendtgørelsen for erhvervsuddannelser og kvalitetsbekendtgørelsen for erhvervsakademiuddannelserne, således at projektet kunne have relevans for alle erhvervsskoler.

Projektets blev gennemført med DEL Syd som projektleder og med tre tekniske skoler, Hamlet, Aalborg og Odense, som medspillere i udvikling og pilotafprøvning. De deltagende skoler var og er alle tilknyttet et netværk af erhvervsskoler og AMU-centre omkring EFQM Excellence.

Projektets produkt og anvendelse

Resultatet blev en model og et cyklisk orienteret system med et skemaværktøj til hver fase i processen:

MARS = Mål, Aktivitet, Resultat, Selvevaluering.

Modellens faser er udtryk for den progression, der er i det kontinuerlige kvalitetsudviklingsarbejde: Fra målsætning og aktivitet over resultatopgørelse til resultat- og indsatsvurdering igennem selvevaluering med sigte på fornyet målsætning. Skemaerne til Mål, Aktivitet og Resultater er alle tomme skemaer til udfyldelse.

I selvevalueringsværktøjet skal brugeren bedømme og reflektere over egen indsats og egne resultater med henblik på, at der kan udpeges nye mål og udarbejdes nye aktivitetsplaner.

Selvevalueringsprocessen foretages individuelt, hvorefter et team eller en afdeling gennem et 'konsensusseminar' finder frem til de indsatsområder, som skal prioriteres i den næste cyklusperiode.

Selvevalueringen kan foretages elektronisk eller papirmæssigt. Ønskes der ved kvalitetsvurderingen anvendt pointgivning med henblik på at fastlægge en scoring efter EFQM Excellencesystemets kriterier, anvendes den elektroniske udgave med automatisk beregning af scoren.

Ved projektafslutningen indbød DEL Syd alle erhvervsskoler til præsentation af systemet. Deltagerne blev desuden forsynet med projektrapporten med de værktøjer, der var fremstillet.

Som en samlet karakteristik af kvaliteterne i MARS kan det nævnes, at systemet og værktøjernes styrke navnlig ligger i mulighederne for at opnå en: - systematisk og kontinuerlig kvalitetsudvikling på afdelingsniveau, - åben og struktureret dialog om afdelingens kvalitetsniveau, -bevidste valg af mål og indsatsområder for kvalitetsforbedringer, -fælles sprog og koncept på tværs af skolen til fremme af intern dialog og benchmarking, -inddragelse af alle medarbejdere i afdelingen, - forbindelse mellem kvalitetsudviklingen på strategisk (skole)niveau og på taktisk og operativt niveau.

Implementering og udbredelse

Implementeringen er foregået som pilotprojekter på en række skoler. På Odense Tekniske Skole er implementeringen iværksat ved 5-6 pilotprojekter i foråret 2002 samt videreudviklingsprojekter i HTX-afdelingen og i ikke-pædagogiske afdelinger for at få tilsvarende værktøjer til sådanne afdelinger. Pilotprojektet er afsluttet, og det er indstillet til ledelsen at fortsætte implementeringen i 2003 således, at alle afdelinger fra efteråret 2003 kan gennemføre MARS som en årlig cyklus, der er forbundet med skolens virksomhedsplan, ved at mål og aktiviteter for det kommende år indskrives i afdelingernes bidrag til planen.

Sideløbende er implementeringen igangsat på et antal skoler. Det drejer sig dels om skoler, som var med i projektet, og skoler, som er tilknyttet EFQM-netværket, dels om skoler i et benchmarkingsamarbejde mellem 5 jyske og fynske tekniske skoler. Dette samarbejde blev indledt med et todagesseminar og nogle måneder senere et heldagsseminar til afslutning på projektet.

Erfaringsudvekslingen mellem benchmarkingskolerne og gennemførelsen af pilotprojekterne har ført til afklaring af videreudviklingsbehovene og beslutning om lokal videreudvikling, men har i øvrigt været nyttig til bekræftelse af, at der med projektet er skabt et stærkt værktøj til kvalitetsudvikling på afdelingsniveau. En udtalelse fra afslutningsseminaret i benchmarkingsamarbejdet er blevet stående i erindringen: "En af de chefer, som var med på konsensusseminaret i en afdeling på skolen, sagde bagefter, at han på en eftermiddag havde fået et bedre kendskab til afdelingen, end han nogensinde havde haft".

En af skolerne har benyttet DEL Syd som proceskonsulent navnlig i forbindelse med konsensusseminaret, og der er således opsamlet nyttige erfaringer om forskellige måder at implementere og anvende systemet og værktøjerne på.

Pilotprojekterne har ved selvevalueringen på de fleste af skolerne anvendt den bekendtgørelsesrettede del, mens EFQM-delen kun er blevet afprøvet i mindre omfang. I alle tilfælde er det papirudgaven, som er blevet taget i anvendelse.

Erfaringerne har givet ideer til videreudvikling, både af processen og af værktøjerne. Der er i EFQM-delen for mange formuleringer, som det ikke er lykkedes at gøre tilstrækkeligt konkrete og nærværende, til at undervisere ubesværet kan forholde sig til dem. Der er derfor søgt og bevilget et opfølgende FoU-projekt, som i øjeblikket er i færd med at revidere denne del af selvevalueringsværktøjet.

Implementeringen er i alle tilfælde foregået som top-down-processer, og repræsentanter for den strategiske ledelse har i et vist omfang selv været med i pilotafprøvningen. Det har været afgørende, at der er sendt kraftige ledelsessignaler tilsammen med en løbende eksponering i personalebladet af MARS og pilotprojekterne.

Udbredelsen startede allerede i projektfasen, ved at deltagerne i EFQM-netværket løbende blev orienteret om projektet og indgik i dialog om det. Ved projektafslutningen blev der afholdt seminar for alle erhvervsskoler (ca. 50 deltagere fra en god snes skoler). MARS værktøjerne og en brugervejledning kan downloades via DEL Syd´s website: http://www.delod.dk/

3. oplæg: Selvevaluering - undervisning, læring og kvalitet i dialog v/ Albert Astrup Christensen, DEL

Lærere (og ledere) og elever på Teknisk Skole Slagelse, Roskilde Tekniske Skole, Hillerød Handelsskole og Slagelse Handelsskole har afprøvet forskellige metoder til selvevaluering. Resultaterne fra udviklingsarbejderne er publiceret i temahæftet "Selvevaluering - undervisning, læring og kvalitet i dialog" (http://pub.uvm.dk/2000/selvevaluering/) (UVM 7304).

Et supplerende værktøjshæfte med titlen "Kvalitetsudvikling af undervisning og elevens læring, redskaber og metoder" indeholder eksempler på de metoder og værktøjer, der er blevet anvendt i dette projekt, og en række praktiske forslag og ideer til de lærere og ledere, som ønsker at arbejde med kvalitetsudvikling af undervisning og elevens læring på egen skole. Hæftet er et supplement til det førstnævnte UVM-hæfte og kan rekvireres hos DEL.

Hvad er selvevaluering (projektets definition herpå)?

I projektet er der fokuseret på evaluering i betydningen intern selvevaluering i modsætning til ekstern evaluering. Intern selvevaluering omfatter den gensidige, åbne og eksplicitte evaluering og dialog, som lærere, elever og ledelse gennemfører før, under og efter en undervisnings- eller læringssituation med henblik på løbende justering og udvikling af de elementer og virkemidler, der indgår i undervisningen - for dermed at øge udbyttet af undervisningen - til alle parters fordel. Ekstern evaluering er, når institutionen beder andre om at se på sig.

Selvevaluering indebærer, at ansvaret for undervisningen bliver et anliggende for alle aktører i undervisningen (ledelse, lærere og elever) og ikke kun lærerens ansvar. Formålet med selvevalueringen er at kvalificere dialogen og debatten på skolen mellem ledelse, lærere og elever om undervisningens og læringssituationernes kvalitet.

Eksempel: Elevers selvevaluering

Observation er en evalueringsmetode, der "tager virkeligheden på fersk gerning". Det er en metode, der giver lejlighed til at indhente oplysninger om, hvad vi faktisk gør, og ikke hvad vi siger, vi gør. Den, der observeres, kan få lejlighed til at få afsløret "hvide pletter" i forhold til sig selv som formidler. I udvikling af lærerrollen er det efterhånden en anerkendt metode. Men normalt er det lærere, der observerer hinanden.

Observationsmetoden kan imidlertid også bruges af elever. På den måde bliver eleverne bevidste om, hvad der egentlig foregår i klassen. Var alle med? Var der nogen, der var særligt aktive/urolige/stille?

I voksen-hg-klassen på handelsskolen oplevede lærerne, at eleverne havde et meget traditionelt syn på læring. Eleverne syntes kun, de fik undervisning, når læreren talte. Man havde meget svært ved at acceptere elevbidrag som noget, man kunne lære af.

Derfor ønskede lærerne at afprøve observationsmetoden i en samfundsfagstime. Temaet for timen var "Arbejdsmarkedet, arbejdsvilkår før/nu, fagforeningernes start, børnearbejde, ferie mv."

Målet var først og fremmest at få eleverne til at lægge mærke til, at de selv i høj grad bidrog til undervisningen. Det overordnede mål var at arbejde på, at eleverne lærte at tro på sig selv, tro på, at de kan noget, tro på, at de erfaringer, de er kommet med, kan bruges til noget - også af andre.

Erfaringen - nyttiggørelse

I den efterfølgende time, hvor observationerne blev diskuteret, fremgik det, at voksne elevers bidrag med egne erfaringer, almenviden og spørgsmål i et fag som samfundslære er et plus for undervisningen. At de lytter til hinandens indlæg, samt supplerer, kommenterer og stiller spørgsmål ud fra hinandens indlæg. Der svares ikke blot på spørgsmål for at tilfredsstille læreren. Eleverne er generelt engagerede og interesserede i at få opklaret opdukkede spørgsmål til emnet og forsøger ofte ved hinandens hjælp at ræsonnere sig frem til nogle svar. De voksne elever i denne klasse havde meget lavt selvværd. Man troede ikke, man kunne bidrage med noget. Gennem observationsøvelsen blev det tydeligt for eleverne, hvor meget de faktisk bidrog.

De to elevobservatører fortalte, at det havde været svært. "Flere gange var jeg ved at svare på spørgsmål i stedet for at observere". Det havde været en usædvanlig oplevelse for begge elever. De observerede elever fik en lejlighed til at "spole båndet tilbage" og reflektere over, hvad der egentlig var blevet sagt - og af hvem - i timen. For nogle var det en ahaoplevelse.

Det er nødvendigt at tale med eleverne i forvejen om, hvad der sker i en undervisningssituation. Eleverne må have et "mini-kursus" i, hvordan man skaber en læringssituation: at læreren har en plan med hjemmefra, som omsættes til undervisning i mødet med eleverne.

Det er meget vigtigt at vælge noget enkelt for eleverne at observere på. Helst noget, der har at gøre med kommunikationen mellem lærer og elever. Det er en god idé at lade eleverne være med til at vælge, hvad der konkret skal lægges mærke til.

Det er ligeledes vigtigt at sætte god tid af til at drøfte elevernes observationer. Mange elever bliver meget bevidste om, hvad der sker i timen; hvem der er aktive i klassen, og hvem der ikke er det, - også i de andre læreres timer. Eleverne bliver gode til at lægge mærke til, når og hvordan de lærer, såkaldt "meta-læring". Derfor er det en god idé at lægge elevobservationer ind i begyndelsen af et undervisningsforløb. Det er nødvendigt, at hele lærerteamet er enige om, at man vil arbejde med observation.

For lærerne blev det en bekræftelse af, hvor vigtigt det er at inddrage elevernes erfaringer, måske især i et fag som samfundsfag, hvor temaet er arbejdsmarkedet. Dette er i endnu højere grad nødvendigt, når det drejer sig om voksne elever. Observationsmetoden er god til at sætte refleksion i gang hos voksne elever. Metoden menes anvendelig på en klasse med max. 20 elever. Der foreligger ingen konkret viden om, hvorvidt metoden er forankret og videreudbredt på de afprøvende skoler. Der er således ikke foretaget effektvurdering.

Forslag til bedre FoU-implementering og erfaringsspredning - workshoppens generelle diskussion

Jeppe Carlsens stikord opsummerede workshoppens anbefalinger i forhold til at understøtte implementering og erfaringsspredning, og som således vil kunne indarbejdes eller tydeliggøres i de generelle krav til FoU-projektbeskrivelser: - Ledelsens rolle i projektforløb synliggøres, - samarbejde mellem flere skoler (institutioner) om udvikling, - inddragelse af følgegrupper (dvs. tilknyttede parter uden egentlig andel i projektet som orienteres og kommenterer og inspirerer, - inddragelse af plan for efterfølgende implementering i projektbeskrivelsen, - skærpede krav om at sikre spredning som led i processen, - evt. krav om opfølgende status på implementering, - ministeriel/(DEL)-webside og konferencesystem til udbredelse, dialog og opfølgning, - bedre ministeriel eksponering af afsluttede (vellykkede) projekter (presse, konferencer mv.), - ministeriel pulje til implementering på skoler, som ikke deltog i projektet, - evt. færre projekter med flere skoler og anvendelse af flere midler til erfaringsspredning, opfølgning og implementering.

Der var flere indlæg i diskussionen, som gav udtryk for, at det kunne være hensigtsmæssigt, hvis UVM bevilligede færre projekter, men til gengæld gav flere penge til opfølgning, implementering og spredning.

Der var stor enighed om, at projektskolen og følgegruppeskolerne ikke nødvendigvis har samme behov/ønsker, hvorfor det kunne være ønskeligt at reservere en del af projektbevillingen til en "2. bølge"-implementering på følgegruppeskolerne, som på den måde vil kunne få skolededikerede projekter.

Referent: Lars Michael Madsen, Randers Tekniske Skole

Denne side indgår i publikationen "FoU-konference 2002" som kapitel 5 af 14
© Undervisningsministeriet 2002