Det fremgår med stor tydelighed af arbejdsgruppens internationale undersøgelse, at bedømmelser og karaktergivning i de udvalgte nationale uddannelsessystemer i meget betydeligt omfang foretages af de lærere, som har haft ansvaret for den forudgående undervisning. Der synes ikke at være nogen anledning til at vurdere de pågældende uddannelsessystemer som særligt dårligt fungerende i forhold til det danske eller som mindre kvalitetssikrende. I det finske skolesystem er alle prøver interne, og dette forhold synes ikke i sig selv at have svækket kvalitets- og læringsniveauet, jfr. de finske topresultater i PISA-undersøgelserne.

I arbejdsgruppens overvejelser indgår også, at caseundersøgelsen viser, at der for nogle af de deltagende institutioner vil være store reduktioner i det samlede ressourceforbrug forbundet med en substitution fra eksternt til internt bedømte prøver, jf. tabel 7 i bilag 4.

Som erstatning for den udstrakte brug af censorer ved karaktergivning i det danske system foreslår vi, at karaktererne på eksamensbeviset i langt højere grad, end det er tilfældet i dag, gives af underviseren - enten i forbindelse med afholdelse af interne prøver eller på baggrund af løbende intern evaluering, herunder afholdelse af test.

Fastlæggelsen af, hvilke karakterer på eksamensbeviset, der alene er givet af underviseren, og hvilke, der er givet under medvirken af en censor (enten direkte eller via en stikprøve), afhænger af uddannelsen.

Grundlæggende vil vi pege på, at brug af fuld ekstern censur kan begrænses til at omfatte væsentlige prøver primært i afslutningen af en uddannelse, fx større afsluttende prøver i professionsuddannelserne (professionsbachelorprojekt etc.) eller prøver i fag på de højeste niveauer. En sådan begrænsning vil kunne forbindes med et stikprøvesystem for de øvrige fag.

På KVU- og MVU-områderne og diplomuddannelserne kan der dog være et behov for prøver tidligt i uddannelsen for at sikre, at studerende/elever har forudsætninger for at gennemføre uddannelsen. For professionsuddannelser vil det således være relevant tidligt i uddannelsesforløbet at afholde en prøve, der bidrager til en vurdering af, om eleven/den studerende besidder de kompetencer, der kræves for at kunne udføre den pågældende profession. Noget tilsvarende vil naturligvis være gældende ved afslutningen af en sådan uddannelse. Disse prøver bør være helt afgørende for, om eleven/den studerende gennemfører uddannelsen og består eksamen, hvorfor det vil være naturligt at anvende censorressourcen på netop disse prøver.

Vi finder det meget at foretrække, at obligatoriske krav til anvendelse af ekstern censur på KVU- og MVU-områderne og diplomuddannelserne indskrænkes til en indledende prøve, der afdækker studiekompetence og en relevant afsluttende prøve som fx professionsbacheloropgaven. Denne regel kan med fordel erstatte den skærpede regel om, at minimum halvdelen af en uddannelses samlede ECTSpoint skal dokumenteres ved eksterne prøver. En regel, der forekommer unødig ufleksibel og omkostningsudløsende.

For blandt andet grundskolen og de gymnasiale uddannelser er situationen en anden. Her foreslår vi, at censorressourcerne i de gymnasiale uddannelser fortrinsvis anvendes ved prøver i fag på de højeste niveauer. Det bemærkes, at disse fag skiller sig ud fra fag på lavere niveauer ved som hovedregel at have både skriftlig og mundtlig prøve. Tilsvarende skiller nogle fag i grundskolen sig ud fra de øvrige fag ved, at prøverne i disse fag er obligatoriske, mens andre udtrækkes til prøve (alle elever skal aflægge prøve i mundtlig og skriftlig dansk, men ikke nødvendigvis i historie).

Arbejdsgruppen anbefaler:

• Karakterer på eksamensbeviser gives i højere grad end i dag af underviseren.
• I de gymnasiale uddannelser anvendes censorressourcerne fortrinsvis til prøver i fag på de højeste niveauer.
• På KVU/MVU og diplomuddannelserne erstattes reglen om, at minimum halvdelen af en uddannelses samlede ECTS-point skal dokumenteres ved eksterne prøver, med en regel om, at anvendelse af ekstern censor alene er obligatorisk ved en indledende prøve, der afdækker studiekompetence, og ved en relevant afsluttende prøve som fx professionsbacheloropgaven.

I foråret 2007 har ordene IT-baserede prøver, tests og eksaminer ikke givet anledning til optimistisk tro på nye muligheder for tidssvarende og mere retfærdige vurderinger af resultaterne af uddannelsesforløb. Tekniske problemer ved afviklingen af folkeskolens IT-baserede afgangsprøve i naturfag og forsinkelser i tilbagemeldingen fra de nye nationale tests har været et gennemgående tema i den pædagogiske debat. Dette har også ført til skeptikeres styrkede opfattelse af, at IT-baserede prøver, tests og eksamener kun kan dække paratviden, mens analytisk og vurderende kompetence ikke kan bedømmes. Børnesygdomme ved andengangs afvikling af IT-baserede afgangsprøver og indførelsen af et - også på verdensplan - revolutionerende adaptivt testsystem bør dog efter vores opfattelse ikke lede til, at man straks forkaster al nytænkning med hensyn til IT-baserede prøver, tests og eksamener.

IT's indtog i eksamens- og prøvesystemet skete i 1950'erne, hvor elever og studerende kunne skravere felter i svarark, som derefter kunne læses elektronisk. Metoden lod sig dog kun anvende i forbindelse med opgaver i multiple choice eller multiple respons format, hvad der naturligvis var en væsentlig begrænsning. Det kan i den forbindelse nævnes, at brug af multiple choice aldrig har haft en stor tilhængerskare i Danmark, da den dels opfattes som maskinel, dels ikke inddrager blandt andet de mundtlige færdigheder, som man i dansk tradition har lagt stor vægt på.

Senere er der udviklet teknologier, der kan aflæse håndskrevne tal og bogstaver. Dette gør, at man maskinelt kan læse svar i form af ord eller tal.

Ovennævnte begrænsninger har betydet, at tests, prøver og eksamener har haft begrænset nytte af ITteknologien, og at papir-og-pen bårne opgaver, mundtlige fremstillinger og diskussioner og større skriftlige redegørelser for projekter har været den dominerende form. Det må i den forbindelse også erkendes, at formen har været godt i tråd med den traditionelle lærebogsorienterede, gruppe- og klassebaserede undervisning, hvor løbende intern evaluering af læringsprogression har været præget af tilfældigheder og manglende skriftlighed.

De undersøgelser, der er foretaget i grundskolen af pålideligheden af vurderingen af mundtlige fremstillinger og opgaver af essay karakterer, fx stile, påviser en alarmerende lav sikkerhed, der dog ikke har ført til diskussion af eksamens- og prøveformernes rimelighed, formentlig fordi det er en indgroet praksis, ligesom der er en tro på, at censorsystemet kan opveje fejlene. Problemet er imidlertid, at hvis to bedømmere har en typisk forskel i vurdering på 3 - 5 skalaenheder (på 13-skalaen), vil det stadig være sådan, at en given elev eller studerende tildeles en karakter, som vil kunne sprede sig over 3 - 5 karakterenheder. Det forventes, at den nye karakterskala vil begrænse denne store spredning.

Der har imidlertid gennem de seneste år været en udvikling dels på den psykometriske side dels på det IT-mæssige felt, der gør, at nye og IT-baserede prøver, test og eksamensformer er tæt på at være realistiske og nyttige alternativer.

På den psykometriske side har bl.a. arbejdet med internationale komparative studier, fx PISA, betydet, at brugen af statistiske metoder - først og fremmest med Rasch modeller og IRT-skalering - har givet en betydelig sikkerhed i afgørelsen af tests- og prøveitems sværhedsgrader. Man kan således med stor sikkerhed sige noget om en elevs eller studerendes færdighed ud fra løsningen af er relativt begrænset sæt af opgaver.

De store internationale komparative undersøgelser har også vist, at det er muligt at gennemføre valide vurderinger af åbne spørgsmål, grafiske fremstillinger og tegninger, hvorved det bliver muligt at lade analytisk og syntetiserende evne indgå i en kvantitativ testning. Hvis man anvender multimediebåret simulation, er det også muligt at vurdere originalitet og kreativitet. Vurderinger af åbne spørgsmål og simulation sker på baggrund af en omhyggeligt udformet kodevejledning og efter træning af de personer, der skal kode de åbne opgaver. I forbindelse med kodningen kontrolleres denne ved, at en del opgaver kodes dobbelt eller ligefrem firedobbelt. I samme proces kan det elektronisk afgøres, om nogle kodere har en skæv eller usikker kodning, og de kan derefter enten gives mere træning i kodningen, eller de kan elimineres fra kodningsprocessen.

De internationale komparative undersøgelser har været gennemført som papir-og-pen tests; men der har i PISA2006 været en mulighed for at gennemføre en IT-baseret test i naturfag, som dog kun tre lande har betjent sig af, nemlig Sydkorea, Island og Danmark - i øvrigt lande, der alle ligger langt fremme på IT-området. I PISA2009 vil der indgå en mulighed for at gennemføre en IT-læsetest, der gennem en simuleret browser udnytter alle de læsemæssige og tekstmæssige muligheder, IT giver. Der er i sommeren 2007 seksten lande, herunder Danmark, der har ytret interesse for at gennemføre ITlæsetesten. Ud over at give informationer om antallet af rigtige opgaveløsninger rummer de IT-baserede tests også oplysninger om responstider, der kan give selvstændig information om elevkompetencer. Det er holdningen i det konsortium, der gennemfører PISA, at man fra 2012 helt skal overgå til elektronisk testning. Den væsentligste hindring er det IT-udstyr og den båndbredde, der er til rådighed på skolerne i de godt 60 lande, der deltager i PISA.

På den IT-mæssige side har udviklingen af adaptive testsystemer åbnet nye muligheder. Et adaptivt testsystem (der er ved at blive introduceret i forbindelse med de nationale tests i den danske folkeskole) består af en itembank, der bør rumme ca. 1.000 spørgsmål inden for det fag, der skal testes. Spørgsmålene dækker et så stort spand af sværhedsgrader, så der er nok til såvel den svageste som den stærkeste testede elev eller studerende. Testspørgsmål kan dække op til tre såkaldte profilområder inden for et fag, fx tekstforståelse, ordkendskab og genrekendskab. Testen starter principielt med et tilfældigt udvalgt spørgsmål i midten med hensyn til sværhedsgraden. Løses opgaven rigtigt, er den næste opgave af lidt større sværhedsgrad - eller omvendt, hvis den løses forkert - og efter relativt kort tid vil den adaptive algoritme have fundet et niveau, hvor hver anden opgave besvares forkert, og hver anden svares rigtigt. Efter 45 minutters testning har algoritmen med stor sandsynlighed bestemt elevens eller den studerendes niveau inden for hvert profilområde, og ved analyse af de opgaver, der er svaret henholdsvis rigtigt og forkert, kan testen også bruges diagnostisk, dvs. til at identificere stærke og svage områder i elevens eller den studerendes kompetence. De adaptive testsystemer har deres store styrke ved, at de kan holde elevers, studerendes og uddannelsesinstitutioners resultater op mod en national præstationsprofil. De adaptive testsystemer har dog også ulemper. Den ene er, at det er overordentligt tidskrævende at udvikle itembanken, hvor der løbende bør ske en udskiftning af testopgaver, der dels sikrer, at den faglige og pædagogiske udvikling følges, dels forebygger, at lærere tilstræber teach-to-the-test. Den anden ulempe er, at der ikke kan indgå åbne spørgsmål, hvorved de dele af et fagområde, der kan testes adaptivt, begrænses.

På grund af de fordele og ulemper, der er ved forskellige typer af testning, bør der ideelt set ved prøver og eksamen anvendes en kombination af en adaptiv test og en test, der kræver kodning af åbne spørgsmål.

Økonomi er også en faktor, der ofte nævnes i forbindelse med IT-baserede prøver, tests og eksamener. Erfaringerne i dag er endnu forholdsvis begrænsede; men der er ikke noget, som tyder på, at brugen af IT er væsentligt billigere end traditionelle skriftlige opgaver, idet omkostningerne til udvikling og afvikling er ganske betydelige. Opbygningen og vedligeholdelsen af prøvebanker til adaptiv testning er endvidere overordentlig omkostningsfuld.

I dag benytter IT-baserede tests, prøver og eksaminer sig af fx "drag and drop" på skærmen. I den forbindelse kan alt indgå i drag and drop - billeder, ord, tal eller bokse med en kombination af disse. Man kan også lade den testede samle dele til en figur eller til et diagram. Introduktionen af bevægelse på skærmen lader en mangfoldighed af færdigheder blive testet. Ligeledes kan lyde og videoklip indgå i testningen. Optisk læsning af tekster, stemmegenkendelse og syntetisk tale åbner muligheder ikke bare for elever med ordblindhed.

De centrale processer, der kan afprøves med det udviklingsniveau, IT i dag har, er:

• Tilstedeværelse af faktuel viden, herunder evnen til at kunne nævne, genkende, definere, identificere
• Tilstedeværelse af forståelse, herunder at kunne forklare, formulere, beregne, fortolke, opstille og beskrive
• Evnen til at anvende, herunder at kunne vælge, løse, afprøve og behandle
• Evnen til at analysere, herunder at kunne sammenligne, skelne, udvælge, uddrage og opdage
• Evnen til at syntetisere, herunder at kunne generere hypoteser, finde regler, finde relationer og planlægge forløb
• Evnen til at vurdere, herunder evnen til at kunne bedømme, overveje, diskutere, afgøre og forsvare
• Evnen til at kommunikere, herunder at kunne udtrykke sig skriftligt i form af tekst, diagrammer, skemaer, tal og tabeller.

Endelig er i en række fag og fagområder brug af simulerede situationer en oplagt mulighed. Metoden er oprindelig udviklet til luft- og rumfart, men har efterhånden udbredt anvendelsen til en meget lang række andre professionsområder.

Ovennævnte centrale processer og deres elementer indgår på de allerfleste vidensområder ikke bare i naturfaglige sammenhænge, men og i brugen af sprog, i matematik og i samfundsfaglige og humanistiske sammenhænge.

En klar begrænsning er, at IT i den form, der findes i dag, ikke kan vurdere sproglige kommunikative kompetencer, kreativitet og originalitet, evne til samarbejde, mere personlige kompetencer samt laboratorie- og feltarbejde. Derfor kan IT ikke stå alene i vurderingen af kompetencer, men må være et supplement til andre former for vurdering.

På grund af nogle uheldige forløb i foråret 2007 er der som sagt opstået en vis skepsis vedrørende brugen af IT-baserede tests, prøver og eksamener. Endelig gælder, at en del af den traditionelle modstand mod IT-baserede tests, prøver og eksamener bygger på en opfattelse på, at man kun kan vurdere faktuel viden, og at der kun kan indgå spørgsmål af multiple choice svarformat. Som det fremgår ovenfor, er hverken begrænsningen til faktuel viden eller multiple choice korrekt. Faktisk kan IT-baserede tests, prøver og eksamener konstrueres, så de er mere autentiske end traditionelle tests, prøver og eksamener, idet de under kontrollerede former kan anvende tekstbehandling, regneark, tegneprogrammer, computer algebra systemer, internet (der kan betragtes som en parallel til "open-book" prøver) og e-portfolio, der ikke er muligt i traditionelle tests, prøver og eksamener.

Økonomi vil ikke være et væsentligt argument for indførelse af IT-baserede tests, prøver og eksamener. De væsentligste argumenter vil være den mere objektive vurdering af elevernes og de studerendes kompetencer, den hurtigere feedback og det efterhånden mere naturlige og praksisnære prøvemiljø, som PC'en giver i forhold til de traditionelle prøver og eksamener ved borde i gymnastiksalen eller ved "det grønne bord".

Under alle omstændigheder må der erkendes, at brugen af IT-baserede tests, prøver og eksamener kræver en høj grad af information for at undgå en naturlig modstand og for at informere om de muligheder og begrænsninger, som IT har.

Arbejdsgruppen anbefaler:

Muligheden for at anvende IT-baserede prøver i de enkelte uddannelser skal fortsat undersøges.

I forbindelse hermed understreger vi nødvendigheden af en høj grad af information om de muligheder og begrænsninger, som brugen af IT-baserede prøver fører med sig. Endelig pointerer vi, at udviklingen af IT-baserede prøver, der kan dokumentere andet end faktuel viden og færdigheder, dels kræver en ekspertise, der kun i meget begrænset omfang findes i Danmark, dels er meget omkostningstung.

Anvendelsen af mere avancerede it-prøver forudsætter dermed et mere langsigtet udviklingsarbejde.

Arbejdsgruppen anbefaler derfor konkret:

• På kortere sigt igangsættes et udviklingsarbejde med henblik på at udvikle IT-baserede prøver, der kan dokumentere færdigheder og faktuel viden. Det drejer sig fx om prøver, der kan erstatte en række skriftlige prøver fx færdighedsregning i grundskolen og gymnasiale prøver i engelsk og matematik uden hjælpemidler.
• De nuværende skriftlige prøver gennemgås med henblik på at vurdere i hvilket omfang, der kan udskilles en færdighedsdel, der bedømmes ved IT-baserede prøver.
• Et udviklingsarbejde igangsættes vedrørende udvikling af mere avancerede IT-prøver.

Arbejdsgruppen vil naturligvis pege på det omfattende anvendelsesområde for IT-prøver i forbindelse med løbende evaluering og i tilknytning til lærerens bedømmelse af den enkelte i de tilfælde, hvor læreren er den eneste, der bedømmer.

Endelig skal det fremhæves, at elevernes retssikkerhed bør tilgodeses ved, at den enkelte selv bør have mulighed for at kontrollere i hvilket omfang, der gennem den digitale prøve er konstateret opfyldelse af målene med den forudgående undervisning.

"Baggrund

I handlingsplanen "Modernisering af prøver, eksamener og karakterer", januar 2004, er der sat fokus på prøveog eksamenssystemet. Intentionerne i handlingsplanen er efterfølgende fulgt op i regeringsgrundlaget "Nye mål", 17. februar 2005, idet regeringen på baggrund af handlingsplanen vil fremlægge forslag til en tiltrængt modernisering af prøver og eksamener.

Initiativerne vedrørende indførelse af en ny karakterskala og afskaffelse af gruppeprøver er gennemført. Herudover resterer modernisering af prøveanvendelse og censoranvendelse.

Regeringens mål

For regeringen er det afgørende, at det ved prøver og eksamener bliver muligt at dokumentere de centrale faglige kompetencer, som skal erhverves gennem undervisning og uddannelse. Prøver og eksamener skal være velegnede redskaber til at sikre opfyldelsen af målet med undervisningen og kvaliteten af uddannelsen.

Det skal sikres konkret, at anvendelsen af eksterne censorer kvalificeres og prioriteres hensigtsmæssigt under hensyn til den målopfyldelse, der skal afprøves, og under hensyn til den prøvetype, der anvendes.

Censorinstitutionen bør opnå større uafhængighed af uddannelsesinstitutionen.

Arbejdsgruppens opgave

Med henblik på at realisere regeringens mål skal arbejdsgruppen beskæftige sig med problemstillinger inden for Undervisningsministeriets område og i den forbindelse være opmærksom på det samtidige arbejde i arbejdsgruppen om alternative prøveformer i grundskolen.

Resultatet af dette arbejde skal foreligge som en rapport med en bruttoliste over mulige initiativer, som overlades til undervisningsministerens videre beslutning.

Arbejdsgruppen skal analysere, hvordan prøve- og eksamenssystemet kan effektiviseres, og herunder have særlig opmærksomhed på, hvordan en bedre ressourceanvendelse kan blive til gavn for kvaliteten på den enkelte institution. Arbejdsgruppen skal i den forbindelse overveje, hvorledes der kan gives den enkelte institution større frihed til at disponere med øget fleksibilitet til følge.

Arbejdsgruppen skal fremlægge forslag til en bedre kvalificering og prioritering af prøveanvendelsen og af censoranvendelsen, som giver mulighed for en omkostningsbevidst anvendelse af de samlede ressourcer til prøve- og eksamensformål.

Arbejdsgruppens forslag skal udgøre en bred vifte af nye muligheder til effektivisering af prøve- og eksamenssystemet og professionalisering af censorinstitutionen.

Arbejdsgruppen skal inddrage nedenstående punkter i sine overvejelser vedrørende effektivisering og rationalisering af prøve- og eksamenssystemet

• Brug af censorer og eksaminatorer ved de enkelte prøver
• Antallet af bedømmere ved de enkelte prøver
• Nye måder at arrangere skriftlig censur på skal overvejes, herunder anvendelse af stikprøvekontrol og i den forbindelse institutionens ansvar og ministeriets tilsyn
• Brug af digitale prøver
• Antallet af prøver i en samlet eksamen
• Anvendelse af skriftlige prøver frem for mundtlige prøver.

Arbejdsgruppen skal i sine overvejelser om effektivisering af prøve- og eksamenssystemet medtænke en professionalisering af censorinstitutionen, herunder følgende:

• Det skal sikres, at anvendelsen af eksterne censorer prioriteres hensigtsmæssigt under hensyn til den målopfyldelse, der skal afprøves, og under hensyn til den prøvetype, der anvendes.
• Censorinstitutionen skal medvirke til sikring af eksaminandernes retssikkerhed
• Censorinstitutionen skal medvirke til kvalitetssikring af uddannelserne
• Censorinstitutionens uafhængighed af den prøveafholdende institution skal sikres
• Anvendelsen af aftagercensorer skal kvalificeres - for eksempel gennem dannelse af dialogfora
• De enkelte censorkorps skal professionaliseres for eksempel gennem en mere selektiv udvælgelse af censorer og gennem en organisering med censorformænd.

Arbejdsgruppen skal i sine overvejelser inddrage kendskab til systemer og erfaringer i nærliggende lande (fx England, Nederlandene, Sverige, Norge) og eventuelt andre internationale aspekter.

Hvis arbejdsgruppens forslag forudsætter ændringer af gældende overenskomster og aftaler, skal arbejdsgruppen gøre opmærksom herpå.

Tidsfrist

Arbejdsgruppen skal afslutte sit arbejde senest januar 2008.

Arbejdsgruppens sammensætning

Undervisningsministeren udpeger formand og 7 medlemmer, heraf et medlem efter forslag fra videnskabsministeren og et medlem efter forslag fra IT-Brancheforeningen.

Sekretariat

• Undervisningskonsulent Søren Vagner, Kontor for Eksamen og Tilsyn
• Chefkonsulent Bo Kjems, Kontor for Eksamen og Tilsyn
• Chefkonsulent Henrik Tauber, Kontor for Eksamen og Tilsyn
• Specialkonsulent Jens Krogstrup, Budgetkontoret
• Fuldmægtig Sine Frederiksen, Budgetkontoret

Denne side indgår i publikationen "Prøve- og eksamenssystemet – Udfordringer og muligheder"
© Undervisningsministeriet 2008