Bilag 1: Evalueringens metode og datagrundlag

I dette bilag præsenteres de datakilder og analysetyper, der anvendes i forbindelse med evalueringen af 10. klasseloven.

Datakilder

1. Spørgeskemaundersøgelse blandt kommuner

Der er gennemført en spørgeskemaundersøgelse blandt samtlige danske kommuner. Formålet med denne undersøgelse har været at lave en kortlægning af kommunernes målsætninger og prioriteringer for 10. klasse og vejledning frem mod og i 10. klasse.

Undersøgelsen er gennemført som en totalundersøgelse blandt samtlige kommuner ved hjælp af et internetbaseret spørgeskema. Spørgeskemaet er sendt til ansatte i de kommunale forvaltninger med ansvar for skoleområdet.

Undersøgelsen er gennemført i perioden 10. marts til 1. april 2003 ved brug af elektroniske spørgeskemaer udfyldt via Internettet.

Af landets 271 kommuner har 231 kommuner besvaret spørgeskemaet, hvilket giver en svarprocent på 85.

2. Spørgeskemaundersøgelse blandt skoleledere

Der er gennemført en spørgeskemaundersøgelse blandt skoleledere på 160 skoler, som er udtrukket til at deltage i de kvantitative undersøgelser. Undersøgelsens formål har været at kortlægge 10. klassetilbuddet, herunder målgruppe, organisering, fagenes fordeling, vejledning o.a.

Undersøgelsen er gennemført i perioden 25. april til 23. maj 2003 ved brug af elektroniske spørgeskemaer udfyldt via Internettet.

130 af de 160 skoleledere har besvaret spørgeskemaet, hvilket giver en svarprocent på 81.

3. Spørgeskemaundersøgelse blandt lærere/vejledere i 10. klasse

Der er gennemført en spørgeskemaundersøgelse blandt skolevejledere og lærere, som underviser i 10. klasse på de 160 udvalgte skoler. Spørgeskemaundersøgelsen har haft til formål at belyse vurdering af målgruppe, undervisningens tilrettelæggelse, sammenhæng mellem uddannelsesplan og 10. klasseforløb, den obligatoriske selvvalgte opgave, pædagogisk praksis, prøvernes udformning, elevernes udbytte o.a.

Skolelederen og administrationen på de 160 udvalgte skoler har identificeret skolevejledere og lærere, og sendt deres kontaktdetaljer til PLS RAMBØLL Management. Den samlede stikprøve af lærere og skolevejledere er på 1357 respondenter fordelt på 242 vejledere og 1115 lærere. Ud af disse 1357 respondenter har 733 personer besvaret spørgeskemaet, svarende til 54 procent. Årsagen til, at svarprocenten ikke er højere blandt denne gruppe, kan skyldes, at undersøgelsen er gennemført i perioden omkring de skriftlige prøver. Dermed kan der være lærere som vurderer, at de ikke har haft tid til at besvare spørgeskemaet. Det forhold, at der er tale om et relativt langt spørgeskema, kan endvidere have influeret på interessen for at deltage i undersøgelsen. Vi har intet der indikerer, at der skulle være tale om et skævt frafald. Med en svarprocent på 55 bør man dog være opmærksom på, at der kan være en mindre skævhed i stikprøvens sammensætning.

Undersøgelsen er gennemført i perioden 25. april til 23. maj 2003 ved brug af elektroniske spørgeskemaer udfyldt via Internettet. En mindre gruppe har modtaget et postalt spørgeskema.

4. Spørgeskemaundersøgelse blandt 10. klasseelever

Der er gennemført en spørgeskemaundersøgelse blandt elever i 10. klasse på de 160 udvalgte skoler. Undersøgelsen har haft til formål at belyse 10. klasseelevernes rationaler for valg af 10. klasse; vurdering af den 10. klasse, de har gennemgået (indhold, uddannelsesbog, obligatorisk selvvalgt prøve, pædagogik); vurdering af vejledning frem til 10. klasse og i 10. klasse (skolevejledning og erhvervspraktik, arbejdspraktik, § 9, stk. 5 forløb, og arbejde med uddannelsesbogen); udbytte af 10. klasse fagligt, afklaring, personlig udvikling, modenhed; og alternativer til at have gået i 10. klasse.

Skolelederen og administrationen på de 160 udvalgte skoler har over for PLS RAMBØLL oplyst antallet af elever i 10. klasse. Derefter har en kontaktperson på hver af de 160 skoler modtaget et sæt breve (ét til hver elev), der kort orienterer om undersøgelsen. Brevet indeholder ligeledes et brugernavn og password, som giver eleverne adgang til at besvare spørgeskemaet via Internettet. På enkelte skoler er der efter ønske blevet fremsendt postale spørgeskemaer.

Der er i alt udsendt breve og spørgeskemaer til 8672 elever. Af dem har 5445 elever besvaret spørgeskemaet. Det giver umiddelbart et svarprocent på 63 procent. Vi har fået oplyst fra en del skoler, at de fra start oplyste et for stort antal elever og dermed ikke har uddelt samtlige breve. Det betyder, at bruttostikprøven i realiteten er mindre og svarprocenten dermed noget højere.

Repræsentativitet af undersøgelser blandt skoleledere, lærere/vejledere og elever

De tre spørgeskemaundersøgelser, der er gennemført blandt skoleledere, lærere/vejledere og elever er gennemført med deltagelse af de samme skoler. Indledningsvist blev der udvalgt 200 skoler ud fra Undervisningsministeriets oplysninger om skoler med 10. klasse, således at disse var repræsentative i forhold til geografi og skoleform. En større del af disse skoler havde enten lige nedlagt deres 10. klasse eller ønskede ikke at deltage i undersøgelsen som følge af travlhed, deltagelse i andre undersøgelser o.a. Derefter blev stikprøven suppleret med 100 andre skoler. Ved undersøgelsens igangsættelse var det lykkedes at få 160 skoler til at deltage i undersøgelsen.

Tabel 1 nedenfor viser svarfordelingen for de tre undersøgelser opdelt på skoletype.

Tabel 1: Svarfordeling for de tre undersøgelser blandt elever, skoleledere og lærere/vejledere

Undersøgelsen blandt elever er nogenlunde repræsentativ i forhold til skoleformer. Dog er der en underrepræsentation af elever på frie grundskoler. I undersøgelsens stikprøve udgør de 4,7 procent af eleverne, mens de i den samlede population udgør omkring 9 procent af eleverne i 10. klasse. Samtidig indeholder stikprøven antageligt en mindre overrepræsentation af elever, som tager 10. klasse på et 10. klassecenter sammenlignet med elever, der går i en almindelig 10. klasse. Disse skævheder kan betyde, at undersøgelsens stikprøve er biased. Da der ikke forekommer de store forskelle i de to gruppers besvarelser, er det vores vurdering, at denne potentielle bias er af mindre størrelse.

Man bør ligeledes være opmærksom på, at stikprøven af elever på efterskoler ikke er repræsentativ for samtlige efterskoleelever, men kun for de efterskoleelever, som følger et 10. klasseforløb. Udover disse elever indeholder efterskoleleverne også andre elever, primært elever med særlige behov. Det betyder, at efterskoleeleverne som indgår i undersøgelsens stikprøve antageligt er karakteriseret ved at være en smule fagligt og personligt stærke end gennemsnittet af samtlige efterskoleelever.

I undersøgelsen blandt skoleledere er de frie grundskoler underrepræsenteret, mens efterskolerne er overrepræsenteret målt i forhold til antallet af skoler, der udbyder 10. klasse. I skoleåret 2001/02 udgjorde de frie grundskoler 19 procent af de skoler, som tilbød 10. klasse. I undersøgelsen blandt skoleledere udgør de knap 11 procent. I skoleåret 2001/02 udgjorde efterskolerne 36 procent af de skoler, som tilbød 10. klasse. I undersøgelsen blandt skoleledere udgør de knap 11 procent. Dette skyldes, at stikprøven af skoler er sammensat ud fra et kriterium om at være repræsentativ i forhold til elevandele på de forskellige skoleformer og ikke antallet af skoler, der tilbyder 10. klasse.

Vi vurderer, at undersøgelsen blandt lærere og vejledere er repræsentativ i forhold til skoleformer og geografi.

5. Casestudier på 10 udvalgte skoler

Den kvalitative dataindsamling er struktureret omkring 10 casestudier på 10 skoler. Formålet med casestudierne er at etablere en indsigt i årsagssammenhænge for 10. klasseelevers valg og fravalg af 10. klasse, indhold og udbytte af 10. klasse, samt kommuners og skolers implementering af 10. klasseloven.

De 10 skoler er udvalgt i samarbejde med Undervisningsministeriet, således at de repræsenterer forskellige skoletyper. Fordelingen på skoletype er som følger:

• 2 alm. kommunale folkeskoler m. 10. kl.
• 2 10. klassemiljøer
• 2 10. klassecentre
• 3 efterskoler
• 1 fri grundskole.

Casestudierne er indledt med indsamling og analyse af virksomhedsplan for skolens 10. klasse, og information fra kommunens skoleforvaltning om kommunale målsætninger og prioriteringer for skolestruktur, vejledning og indhold i 10. klasse.

I forbindelse med casestudiet er der gennemført følgende former for personlige interview og gruppeinterview:

• Personlige dybdeinterview med seks 10. klasseelever på hver skole
• Fokusgruppeinterview med lærere og vejledere i 10. klasse
• Fokusgruppeinterview med forældre, herunder medlemmer af skolebestyrelserne
• Telefoniske interview med medlemmer af skolebestyrelser
• Fokusgruppeinterview med elever i 9. klasse
• Fokusgruppeinterview med elever på ungdomsuddannelser
• Fokusgruppeinterview med lærere og vejledere på ungdomsuddannelser
• Gruppeinterview med kommunalt administrativt personale
  

6. Kollegial refleksion

Evalueringen har ligeledes benyttet sig af den kvalitative metode kollegial refleksion, hvor vejledere, der vejleder elever frem mod og i 10. klasse, reflekterer over den vejledningspraksis, de selv og deres kolleger udøver i det daglige på deres skole. Ideen i kollegial refleksion er via et samarbejde med udvalgte informanter at komme meget tæt på deres hverdag i organisationen.

Vejledere på skoler, der blev udtrukket blandt de 200 første skoler og som indvilgede i at deltage i undersøgelsen, blev inviteret til at deltage i den kollegiale refleksion. De vejledere som meldte sig, blev introduceret til metoden på et seminar, der blev afholdt

Evaluering af 10. klasseloven – Baggrundsrapport i begyndelsen af april. Vejlederne blev samlet igen i midten af maj, hvor deres indtryk fra den kollegiale refleksion blev præsenteret og diskuteret blandt deltagerne.

Seminarerne fandt sted i både København, Odense og Århus. I begge seminarrækker deltog der i alt 31 vejledere.

7. Pædagogisk panel

Endelig har PLS RAMBØLL Management etableret et pædagogisk panel i forbindelse med evalueringen med henblik på at få et forum til at drøfte indhold i 10. klasse med praktikere. Det pædagogiske panel har bestået af en repræsentant for hver af de seks skoletyper, vi har defineret. Panelet har mødtes to gange, og endvidere modtaget alle tre spørgeskemaer til skoler (til hhv. elever, lærere/vejledere og skoleledere) til skriftlig kommentering med henblik på kvalitetssikring.

8. Primær statistisk data

Endelig benytter evalueringen sig af primærdata indsamlet og bearbejdet af Danmarks Statistik, Undervisningsministeriet, AKF og Efterskolernes Sekretariat.

Statistisk analyse

1. Frekvenstabeller

For alle spørgsmål beregnes frekvenstabeller for at få et overblik over, hvordan datamaterialet fordeler sig.

2. Krydstabeller

Krydstabeller anvendes som metode til afdækning af parvise sammenhænge mellem centrale baggrundsvariable og udvalgte analysevariable.

I forbindelse med krydstabeller foretages en Chisquare test for vurdering af sammenhænge. Denne test benytter summen af de relative kvadrerede forskelle mellem observerede (O) og forventede (E) celleantal til at afgøre, hvor sandsynligt det er, at de to variable er uafhængige. Med forventede celleantal menes i denne sammenhæng det antal, man skulle have forventet i den enkelte celle, hvis de to variable var uafhængige.

En forudsætning for denne test er, at alle forventede værdier er større end 3. For at kunne benytte testen vil det derfor i visse tilfælde være nødvendigt at nedbringe antallet af celler ved at slå svarkategorier sammen.

Bemærk, at testen er en samlet test for afhængighed mellem to variable og således ikke direkte kan anvendes til at pege på, hvilke kombinationer af de to variable (celler), der er ”bærende” for en eventuel konklusion om afhængighed. Dette vil dog som regel kunne afgøres ved en visuel inspektion af datamaterialet.

3. Klyngeanalyse

I evalueringen indgår der en klyngeanalyse baseret på elevundersøgelsen. En klyngeanalyse er en statistiskanalytisk metode, hvor data analyseres med henblik på at gruppere observationerne (respondenterne) i klynger med fælles karakteristika. Klyngeanalysen er foretaget på baggrund af spørgsmål 4 og 5 i spørgeskemaet til eleverne om udsagn om, hvad der karakteriserede dem, da de startede i 10. klasse, og betydning af forskellige forhold for deres valg af at gå i 10. klasse.¹⁵

Klyngeanalyse er baseret på en hierarkisk klyngeanalyse. I hierarkisk klyngeanalyse betragter vi som udgangspunkt alle respondenter hver for sig. I første skridt dannes én klynge af de to respondenter, der ligger tættest på hinanden m.h.t. et eller andet afstandsmål. Her anvendes Ward’s method som afstandsmål. Metoden slår de to klynger sammen, der bevirker, at den samlede spredning i klyngerne vokser mindst muligt.

I næste skridt tilføjes enten en tredje respondent til klyngen med de to respondenter eller to nye respondenter danner tilsammen en ny klynge.

I tredje skridt kan der ske det, at to allerede eksisterende klynger slås sammen til én, at en respondent, der ikke allerede tilhører en klynge, føjes til en eksisterende klyngeeller at to respondenter, der ikke tilhører nogen klynger, går sammen og danner en ny klynge.

Et af problemerne ved hierarkisk klyngeanalyse er, at når en respondent i et af de første skridt er blevet sat i en bestemt klynge, vil vedkommende ikke på et senere tidspunkt kunne skifte til en anden klynge, selv om dette muligvis ville være hensigtsmæssigt. En uheldig konsekvens af dette er, at klyngeløsningen afhænger af, hvordan datasættet er sorteret. For at løse dette problem laves efterfølgende en ikkehierarkisk klyngeanalyse.

I en ikkehierarkisk klyngeanalyse specificeres på forhånd, hvor mange klynger man ønsker, hvorefter computeren selv bestemmer den bedste klyngeløsning. En betingelse for, at en ikkehierarkisk klyngeanalyse bliver god er dog, at man på forhånd tilnærmelsesvis kan specificere midtpunkterne i klyngerne, hvilket vil sige gennemsnittene for alle variable i de forskellige klynger. Derfor laves først en hierarkisk klyngeanalyse, hvorfra man vil kunne give et kvalificeret bud på antallet af klynger samt gennemsnittene i de respektive klynger. Med disse som udgangspunkt kan ikkehierarkisk klyngeanalyse nu benyttes til at finjustere løsningen og se om nogle af de, der på et tidligt tidspunkt blev sat i en given klynge, i virkeligheden passer bedre i en anden.

Klyngeanalyse som metode skal naturligvis anvendes med forsigtighed, idet den angiver estimater, der er analytisk frembragte, og det på baggrund af elevernes udsagn om i april – maj 2003, hvad der karakteriserede dem ved skoleårets begyndelse.

¹⁵  Spørgsmål 4: Hvordan synes du følgende udsagn passede på dig, da du startede i 10. klasse? Spørgsmål 5: Hvor stor betydning havde følgende forhold for, at du valgte at gå i 10. klasse?