Bilag 1:
Dataindsamling og metode

I dette bilag præsenteres nogle uddybende bemærkninger om metoden for undersøgelsen, der er yderligere behandlet i undersøgelsens afsnit 3.1.1 (s. 16) samt bilag til undersøgelsen. Nærværende bilag behandler hhv. svarprocenten for undersøgelsen blandt skoleledere og undersøgelsens validitet.

Undersøgelsens gennemførelse
Undersøgelsen er gennemført ved udsendelse af e-mail med introduktion til undersøgelsen og link til spørgeskemaet til samtlige ledere af uddannelsesinstitutioner i Danmark. Udsendelsen er baseret på en liste over ledere anvendt af DCUM til en lignende undersøgelse sidste år. Der er gennemført en telefonisk rykkerrunde blandt ledere, der ikke har besvaret skemaet.

Der er udsendt 4.101 e-mails til institutioner. Heraf har 1.757 besvaret spørgeskemaet inden for undersøgelsens korte løbetid, hvilket giver en svarprocent på 43. De 1.353 besvarelser er kommet via respondentens udfyldelse af spørgeskemaet uden påmindelse herom. De 403 besvarelser er indhentet via telefonisk rykker med tilbud om at udfylde spørgeskemaet via telefoninterview.

Forklaringer på svarprocenten
Svarprocenten er lavere, end man normalt ser i denne type undersøgelser. Rambøll Management vurderer, at det skyldes to forhold: 1) Mange ikke-fungerende e-mail-adresser, og i relation hertil 2) den relativt korte tid, der har været til at indhente oplysninger fra respondenterne (ca. to uger).

Ad 1) Undersøgelsen har vist, at mange af de anvendte e-mail adresser på ledere af uddannelsesinstitutioner eller institutioner ikke virkede. DCUM har oplyst, at det samme har været tilfældet i de tidligere års undersøgelser med samme metode. Rambøll Management modtog fra DCUM listen anvendt sidste år opdateret i sidste års undersøgelse for de mange fejladresser, der blev konstateret og rettet sidste år. Alligevel var der mange ikke-fungerende adresser. Rambøll Management vurderer, at årsagen til de mange ikke-fungerende e-mail-adresser skal findes i a) institutioner, der sidste år ikke medvirkede i undersøgelsen og derfor ikke oplyste om den fejlagtige e-mail-adresse, b) at mange institutioner skifter e-mail adresser, c) at mange ledere skifter job, hvorefter e-mail adresser efterlades uden modtager, d) at nye skoler etableres med nye e-mail adresser ikke indeholdt i listen, og e) den meget korte tid undersøgelsen er gennemført på, hvilket ikke har givet den fornødne tid til at kvalitetstjekke de ikke-fungerende e-mails og følge op på manglende svar, jf nedenstående punkt 2. Nogle e-mail-adresser kan umiddelbart konstateres som værende ikke-anvendelige, idet Rambøll Management ved udsendelsen af e-mails har fået forprogrammerede retursvar om e-mail-adressens manglende gyldighed. I nogle henvises til ny adresse, i andre er dette ikke tilfældet.

Ad 2) Det har ikke inden for den korte løbetid for undersøgelsen været muligt at gennemføre en telefonisk rykkerrunde til alle de institutioner, der ikke har besvaret spørgeskemaet med tilbud om gennemførelse af telefoninterview.

Rambøll Management vurderer, at en længere undersøgelsesperiode ville have betydet to ting for svar-procenten: 1) flere besvarelser ville være indhentet gennem dels uopfordrede besvarelser, dels flere gennemførte telefoninterview, og 2) flere ikke-fungerende e-mail adresser ville være identificeret.

Fakta, der understøtter disse vurderinger, er:

Ad 1) Efter at Rambøll Management lukkede for besvarelser, indløb der en lang række e-mails og telefonopkald fra respondenter, der gerne ville have medvirket i undersøgelsen. Dette er en klar indikation af, at længere løbetid ville have givet flere besvarelser. Rambøll Management har desværre ikke opgjort antallet af disse besvarelser.

Ad 2) Identificering af flere ikke-fungerende e-mail-adresser ville være sket via flere telefoniske opfølgninger på institutioner, der ikke havde besvaret spørgeskemaet, og hvorfra der ikke var modtaget automatiske fejlmeldinger. Rambøll Management vurderer, at en stor mængde e-mail-adresser formentlig med stor sandsynlighed ikke har været fungerende. Renset for disse ikke-fungerende e-mail-adresser, har færre ledere modtaget spørgeskemaet end det antal, der faktisk er udsendt e-mails til, og den reelle svarprocent er dermed med stor sandsynlighed noget højere end de faktisk konstaterede 43%.

Undersøgelsens validitet
På grund af de mange ikke-fungerende e-mail-adresser vurderer Rambøll Management altså, at den reelle svarprocent for undersøgelsen – det vil sige antal besvarelser ud af antal modtagere af spørgeskemaet – er væsentligt højere end de 43% opgjort ud fra antal besvarelser ud af antal udsendte e-mails med spørgeskemaet. På den baggrund vurderer Rambøll Management endvidere, at undersøgelsens repræsentativitet er høj – det vil sige at sandsynligheden for, at undersøgelsens resultater er dækkende for samtlige institutioner i Danmark, er høj. Endvidere vurderer Rambøll Management, at undersøgelsens validitet er høj – det vil sige at resultaterne er pålidelige.

Fakta, der understøtter disse vurderinger, er flere:

1) Man kunne frygte at respondenter, der har besvaret spørgeskemaet, er positive over for undersøgelsen og dens genstandsfelt, idet de har gennemført en undervisningsmiljøvurdering (UMV), mens modtagere af spørgeskemaet, der ikke har besvaret det, er negative, idet de ikke har gennemført en UMV. Det er ikke tilfældet. For det første svarer 9%, at de ikke har gennemført en UMV. For det andet svarer samlet 48%, at de ikke har gennemført en UMV, men er i gang, planlægger at udarbejde en i dette skoleår, eller har udarbejdet en uden alle fire elementer iht. loven. Det kan altså ikke konkluderes, at alle, der har besvaret spørgeskemaet, svarer, at de har gennemført en UMV, mens alle, der ikke har besvaret spørgeskemaet, ikke har gennemført en UMV.

2) Dette understøttes af, at nogle af de institutionsledere, som har kontaktet Rambøll Management efter undersøgelsens lukning for at få lov til at besvare skemaet (hvilket de ikke har fået lov til trods deres ønske herom), har oplyst, at institutionen har gennemført en UMV, mens andre har oplyst, at de ikke har gennemført en UMV.

3) Man kunne frygte, at de institutioner, der uden påmindelse har besvaret spørgeskemaet (elektronisk), er positive over for undersøgelsen og dens genstandsfelt, idet de har gennemført en undervisningsmiljøvurdering, mens respondenter, der er kontaktet telefonisk og derfor har besvaret spørgeskemaet efter påmindelse herom, er negative, idet de ikke har gennemført en UMV. Det er ikke tilfældet. For at illustrere dette kan det konstateres, at andelen, der angiver, at de har gennemført en UMV er fuldstændig ens for hhv. respondenter, der har besvaret spørgeskemaet uden påmindelse (elektronisk), og respondenter, der har besvaret spørgeskemaet efter påmindelse (via telefoninterview). For begge grupper er andelen, der angiver at have gennemført en UMV 41%. Og begge grupper respondenter er af en størrelse, der er statistisk valid (hhv. 1.354 elektroniske besvarelser og 403 telefoniske besvarelser).

Konkluderende vurderer Rambøll Management altså, at undersøgelsens validitet er tilfredsstillende og af en kvalitet, der muliggør anvendelse af resultaterne som udtryk for virkeligheden. Dette skyldes dels, at det høje antal svar udgør en meget stor stikprøve. Normalt arbejder man med, at 1.000 besvarelser er fuldt tilstrækkeligt til at skabe repræsentativitet. I denne undersøgelse er der 1.757 besvarelser. Dels er det Rambøll Managements vurdering, at den faktisk etablerede stikprøve på de 1.757 ikke er skæv. Denne vurdering understøttes som nævnt af afprøvningen af forskelle mellem besvarelser fra respondenter, der uopfordret har deltaget (elektronisk), og respondenter, der har deltaget opfordret (telefonisk).

Det skal endeligt bemærkes, at undersøgelsens resultater ikke er valide nedbrudt på alle typer af uddannelsesinstitutioner, idet antal besvarelser for nogle institutionstyper er for små til at være statistisk valide. Rambøll Management har tillige konstateret, at spørgeskemaundersøgelsen til bestyrelsesrepræsentanter og elevrepræsentanter har haft så ringe svarprocent, at resultaterne ikke er statistisk valide, og Rambøll har derfor kun brugt disse resultater som ”strømpile”, der kan indikere en meningstrend.

Udover spørgeskemaerne er der gennemført interview med repræsentanter for skoleejere, DCUM’s medarbejdere og DCUM’s bestyrelse.

Undersøgelsen har haft fokus på følgende hovedspørgsmål:

• Skolernes og uddannelsesinstitutionernes kendskab til lovens eksistens og indhold
• Om lovens krav om gennemførelse af undervisningsmiljøvurderinger samt valg af undervisningsmiljørepræsentanter af skoler og institutioner opfattes som relevante, vedkommende og praktiske.
• Om skole– og institutionsledere anser en gennemført undervisningsmiljøvurdering som et velegnet redskab til at afdække forhold, der kan være medvirkende til at øge elever og studerendes evne og lyst til indlæring.
• Om skole– og institutionsledere mener, at elevrepræsentanter og gennemførelse af undervisningsmiljøvurderinger har øget lærernes, elevernes, undervisernes og de studerendes opmærksomhed på vigtigheden af et godt undervisningsmiljø, og om dette i sig selv har forbedret miljøet.
• En faktuel opgørelse over, hvor mange skoler og uddannelsesinstitutioner, der har arbejdet med de lovbestemte undervisningsmiljøvurderinger.
• Brugernes tilfredshed med loven.
• Skolernes og uddannelsesinstitutionernes kendskab til Dansk Center for Undervisningsmiljø (DCUM).
• En opgørelse over antal, indhold og form af henvendelser til DCUM.
• Brugernes tilfredshed med DCUM.

Denne side indgår i publikationen "Redegørelse om erfaringer med undervisningsmiljøloven - Redegørelse til Folketinget – Marts 2005" som Bilag 1
© Undervisningsministeriet 2005