Cito in de Cotan, is dat verstandig?

De laatste tijd komt op deze plek de COTAN nogal eens ter sprake. Meestal heb ik dan (pittig) commentaar …

Dat is niet omdat ik een ‘COTANhater’ ben, integendeel: we mogen blij zijn dat er in ons land tenminste één club is, die zich inspant om onze testen te beoordelen.

Echter, ik vind dat sommige dingen beter kunnen of anders moeten.

De COTAN is vaak niet mals met kritiek. Vaak terecht, maar naar mijn mening soms onterecht. Hoe dan ook, je mag van een commissie als de COTAN verwachten dat ze eenduidige uitgangspunten hanteert en dat ze elke test op dezelfde manier beoordeelt.
Dat lijkt soms niet het geval ...

Onlangs is door de COTAN beoordeeld de ‘Intelligentietest, groep 8’ van het Cito. Voor ‘Normen’ geeft de COTAN het oordeel ‘Goed’ met de volgende voetnoot:

1) De normgroep is gebaseerd op een representatieve steekproef van leerlingen van groep 8 in het reguliere basisonderwijs en niet op een doorsnede van alle Nederlandse kinderen in de betreffende leerjaargroep.

Niet lang geleden werd door de COTAN onze ‘Drempeltest’ beoordeeld. Bij de eerste indiening was ook bij ons het SBO niet in de normgroep vertegenwoordigd. De normen werden door de COTAN als onvoldoende beoordeeld. Een zinsnede uit de toelichting bij die beoordeling:

‘Echter, wanneer men de pretentie heeft intelligentie te meten en men wil dit weergeven in een IQ-score dan betekent dit dat de normgroep per definitie een afspiegeling moet zijn van alle kinderen in Nederland van een bepaalde leeftijd of een bepaald leerjaar.
De IQ-score van 100 verwijst immers naar het landelijk gestandaardiseerde gemiddelde.
In dat geval kan men zich dus niet tot het basisonderwijs beperken, maar dient men ook leerlingen van het speciaal onderwijs naar evenredigheid in de normgroep op te nemen.’

Doet men dit niet, zegt de COTAN, dan wordt het IQ van de leerlingen onderschat.
Dat betekent bijvoorbeeld dat de test moeilijk/niet te gebruiken is in het kader van de verwijzing naar het PrO en LWOO: er zouden op basis van de uitslag méér kinderen voor verwijzing in aanmerking komen dan nodig is.
Daarom hebben we bij de geactualiseerde normen van de ‘Drempeltest’ wèl leerlingen uit het speciaal onderwijs naar evenredigheid opgenomen in de normgroepen èn gebruiken we de IQ-score.

Gelet op noot 1) bij de uitslag van de ‘Intelligentietest, groep 8’ heeft het Cito dat dus niet gedaan. Dat is op zich geen probleem, als je dan maar niet de term IQ gebruikt.
Maar … dat doet het Cito wel (!)

Waarom ziet de COTAN dit dan toch door de vingers en krijgt de test zelfs een kwalificatie ‘Goed’ voor de normen?

Pikant is in dit geval het feit dat een van de auteurs van de test -namens het Cito- lid is van de COTAN. Natuurlijk komt het vaker voor dat de COTAN mede-commissieleden de maat moet nemen. Ik neem aan dat men daar zorgvuldig mee omgaat, maar de COTAN maakt zich daarmee wèl kwetsbaar. Zeker als men soortgelijke tests verschillend behandelt ...

Ik stel voor: óf alle testuitgevers/auteurs zijn vertegenwoordigd in de COTAN óf geen van alle. Het laatste is natuurlijk het beste; hoeven ze elkaars (of nog erger hun eigen) testen niet te beoordelen …

DLE, wat is daar mee?

Bij het opsommen van bezwaren tegen DLE’s worden niet allen veel oude koeien uit de sloot gehaald, maar worden bovendien veel zaken
aangehaald die net zo goed voor andere schalen kunnen gelden, zoals ‘ondeugdelijke normgroepen’.
Vervelender is echter dat er voorbeelden worden gegeven van toetsen die niet ontwikkeld zijn voor ‘DLE-gebruik’ of die al lang uit de tijd zijn.

Daarom beschrijf ik hier kort een voorbeeld van een hedendaagse toets en roep de criticasters op aan te geven wat dààr aan mankeert, want als het beter kan ... graag!

(klik op de afbeelding voor een vergroting)

SchoolVaardigheidsToets Technisch Lezen

De toets bestaat uit een leeskaart waarvan de tekst oploopt in moeilijkheid: van korte zinnen en eenvoudige woorden naar lange zinnen en moeilijke woorden. Daardoor kan de kaart worden gebruikt in de groepen 3 t/m 8. Er is uitgezocht hoever de leerlingen, binnen de minuut gemiddeld kunnen komen. De tekst van de kaart is daarop aangepast. M.a.w. een gemiddelde leerling uit groep 3 krijgt binnen de minuut geen tekst voor ogen die hij ‘nog niet heeft gehad’.

Vervolgens is nagegaan hoeveel woorden de leerlingen (meer dan 400 per groep, ruim voldoende volgends de COTAN) in de groepen 3 t/m 8 in het land gemiddeld lezen binnen die minuut. Het zal u niet verbazen dat dit aantal stijgt naarmate de toets wordt afgenomen in een hoger leerjaar, ook al wordt de tekst steeds moeilijker.

De aantallen op de meetmomenten in de maand april zijn (voor deze uitleg mooi rond gemaakt):

groep 3: 50,
groep 4: 100,
groep 5: 130,
groep 6: 150,
groep 7: 165 en
groep 8: 175.

We zien een sterke groei in de groepen 3 t/m 5 en een mindere groei in de groepen 6 t/m 8. Dat klopt, want op een gegeven moment heb je het lezen wel onder de knie en is de groei eruit.

Stel, je toetst (in april) een leerling uit groep 7 en er komt een score uit van 100 (waar je normaal een score van 165 zou verwachten). Mag je dan zeggen dat het leesniveau van die leerling uit groep 7 (zo'n beetje) overeenkomt met dat van de gemiddelde leerling uit groep 4? Ik dacht het wel ...
En andersom: stel, een leerling uit groep 4 leest 165 woordjes in de minuut. Mag je dan zeggen dat zijn leesniveau (ongeveer) gelijk is aan dat van de gemiddelde leerling in groep 7? Ik dacht het wel ... Bij het beoordelen van de lichaamslengte redeneren we toch ook zo? Alleen hebben we daar een veel degelijker maat: een meetlat die bij iedereen altijd even lang is. Bij een test moeten we rekening houden met afwijkingen veroorzaakt door allerhande factoren. Vandaar dat we ook spreken van 'zo'n beetje' en 'ongeveer'. Het is een indicatie van het niveau, waarmee niet gezegd is dat dit voor de praktijk onbruikbaar is, we moeten er echter niet te absoluut mee omgaan. Dat geldt voor alle psychometrische instrumenten, ook voor intelligentietesten (!)

Bij het maken van DLE-schalen op basis van bovenstaande meetpunten gaan we nog een stapje verder: we hebben een meetpunt van 50 in groep 3 en een meetpunt van 100 in groep 4. Omdat we uitgaan van tien onderwijsmaanden kunnen we een schatting maken van de groei per onderwijsmaand. Per maand komen er 5 woordjes bij … Omdat we van dezelfde toets meer meetpunten hebben (groep 3 t/m 8) kunnen we op deze wijze een lange schaal maken en dus de scores behaald in bijvoorbeeld groep 7 vergelijken met die van bijvoorbeeld groep 5. Omdat we niet zeker weten of de stapjes tussen de meetmomenten wel in tien gelijke stukjes gaan, moeten we niet te absoluut redeneren in maanden ‘voor’ en/of ‘achter’. Spreken van ‘voor’ en/of ‘achter’ is sowieso niet verstandig: het wekt de indruk dat ‘achter’ in te halen is en dat is maar zelden het geval. Lees daarvoor maar eens mijn bijdrage over Marietje in 'Meten is niet alles weten'.

Toch kunnen we die geschatte tussenmaten in de DLE-schaal prima gebruiken, we komen verderop in de schaal immers steeds weer een gemeten maat tegen die ons weer op het rechte pad brengt voor het geval we daarvan iets* zouden zijn afgeweken. Dat afwijken geldt overigens ook voor de gemeten maat zelf: het had net zo goed ietsje meer of minder kunnen zijn ... (!) Een leestest is geen meetlat waarop je een absoluut cijfer kunt aflezen, het gaat hier altijd over kinderen in bepaalde omstandigheden, die van het ene op het andere moment kunnen veranderen. Het is dus verstandig om –welke test of welke maat** u ook gebruikt- met enige behoedzaamheid en misschien zelfs met enige argwaan de uitslagen te gebruiken.

*) Met de nieuwe regressietechnieken komen we er dankzij de vele meetpunten héél dichtbij. Bij de vertaling van deze toets, de SkoalFeardigensToets Technysk Lêzen (Fries), doen we dat nòg beter: we hebben daar meetpunten om de vijf onderwijsmaanden i.p.v. om de tien. Elke maand meten zou natuurlijk ideaal zijn, maar dat is praktisch niet te doen. Bovendien zou het heel weinig meer toevoegen: veel minder onzeker wordt het niet.

**) Bij de SchoolVaardigheidsToets Technisch Lezen zijn naast de DLE-schalen o.m. Cito-schalen (A t/m E en I t/m V), percentielen en T-scores beschikbaar.

Ton Kapinga en Prem

Ton Kapinga van Onderwijs Advisering 6 7 8, o.m. bekend van het Drempelonderzoek, schreef een open brief aan Prem. U weet wel, van dat t.v. - programma waarin Prem Radhakishun een poging deed kinderen beter te laten scoren op de Cito Eindtoets. We willen u de brief niet onthouden, mede vanwege de verhelderende beschrijving die Ton geeft van het begrip 'Leerachterstand'.

Dag Prem,

Met tien kinderen op weg naar een betere Citoscore. Wat was ik vanaf de eerste aankondiging nieuwsgierig. Hoe zou hij dat aanpakken, wat voor kinderen worden er gekozen, hoe laat je intensiever leren zien en hoe meet je het resultaat van de noeste arbeid?

Met plezier maar vaak ook met kromme tenen heb ik naar de programma’s gekeken. Een schuchtere groep kinderen ontwikkelt zich via een uitgelaten boel naar een zelfbewustere groep. Aan het eind stralende kinderen en een trotse Prem. Negen van de tien beter!

De keuze van de leerlingen en vooral de eerste presentaties vielen bij mij niet zo goed. Hier is Joep en hij heeft 4 maanden leerachterstand. Een commentaar stem heeft al gemeld dat de kinderen een leerachterstand hebben die veroorzaakt is door hun eigen basisschool. Prem gaat doen wat op de basisschool niet is gelukt. Hij vindt het belachelijk dat de kinderen zo onder druk gezet worden. Het onderwijssysteem faalt, hij twijfelt geen moment aan de capaciteiten van de kinderen.

Leerachterstand
Prem, je hebt mensen van enig formaat in de studio gehaald. Peter Tellegen, de maker van de NIO en Marleen van der Lubbe, verantwoordelijk voor de Cito Eindtoets kwamen langs en namen een grote hoeveelheid deskundigheid mee en ook John Biharie en Freeke Freriks van het IBOS weten van de hoed en de rand in het onderwijs. Toch staat er op 8 april 2009 nog als eerste zin op je website dat leerachterstand een wanprestatie van de school is. Het ligt anders Prem. Leerachterstand is een heel fout woord voor prestatieplek.

Als ik een toets maak en deze normeer in juni groep 8, dan zijn de 60 maanden basisonderwijs (tellend vanaf september in groep 3) vol. De leerling die de middelste prestatie levert geeft de maat aan. Hij/zij krijgt het getal 60, evenals alle leerlingen (ruim de helft dus) die evenveel of meer weten. Alle anderen krijgen een getal lager dan 60, die hebben “leerachterstand”. Als nu dezelfde toets gemaakt wordt door leerlingen in de maand januari in groep zeven, dan krijgt de middelste prestatie daar het getal 45. Er zijn 45 lesmaanden voorbij en er komen nog 15 maanden voor het juni is in groep 8. Nu kan het best zijn dat die middelste leerling in groep 7 maar 5 vragen minder goed heeft dan die in juni groep 8. Een vraag extra goed scheelt dan meteen 3 maanden!
Bijna de helft van de kinderen die in Nederland de basisschool verlaten hebben dus leerachterstand. Dat is vanwege de definitie van dat akelige woord en heeft niets met wanprestaties van scholen te maken. Leerachterstand veronderstelt dat er iets in te halen valt en dat het een kwestie van maanden is. Dat is onjuist want zouden alle kinderen naar de school van Prem mogen en daar stevig van profiteren, dan geldt nog steeds dat de middelste prestatie in juni groep 8 de maat slaat en dat bijna de helft van de kids leerachterstandscijfers krijgen. Het criterium schuift gewoon op.

4, 4, 4, 6, 7, 9, 12 en 15 maanden leerachterstand turf ik als ik de eerste programma’s nog eens doorkijk. Van twee leerlingen heb ik die score gemist. Schande dat deze leerachterstand het resultaat is van ons Nederlands onderwijs. Ik vind het nogal meevallen. Van ruim 25.000 leerlingen in groep 8 op gewone basisscholen heb ik gegevens. Die groep gedraagt zich precies volgens de definitie. 49,7% heeft een leerachterstand van 1 maand of meer. 45,5% heeft een voorsprong van 1 maand of meer maar daar hoor ik in het programma niets over. Bijna 5% scoort even hoog als die middelste leerling die de maat aangeeft.
Nu komt het. 19% heeft volgens de definitie een leerachterstand van 1 tot 5 maanden, 14% een achterstand van 6 tot 10 maanden en 8% van 11 tot 15 maanden. Op diezelfde basisscholen heeft 8% een achterstand van meer dan 15 maanden.
Op het speciaal basisonderwijs heeft 73% meer dan 15 maanden leerachterstand. Voor ongeveer 10% van de leerlingen in het voortgezet onderwijs geeft de Minister geld uit om extra hulp mopgelijk te maken. Meestal wordt dit geld uitgegeven door de groepsgrootte te verlagen naar ongeveer 15 leerlingen, dit naast de inzet van meer zorgleerkrachten.

De groep die voor de School van Prem is uitgekozen komt op een leerling als Denzel na voor deze extra zorg niet in aanmerking. De kinderen in jouw school Prem behoren tot de “normale” groep. Ik zei al, leerachterstand is een fout woord voor leerplek. Als 100 het midden is, kan nu eenmaal niet iedereen een IQ boven 100 hebben, ook niet als je dat nodig hebt om je dromen te verwezenlijken, om bijvoorbeeld piloot te worden.

Gewone kinderen dus en daar heb ik van genoten. Het saaie werk van John Bihari wordt in het programma flink naar de achtergrond gedrukt en voorop komt de interactie te staan. Joost verovert stuiterend over het beeld de harten van mij en Nederland, Denzel leert wat maskerende truckjes af, de kinderen worden zichzelf, groeien in zelfvertrouwen en postuur. Je hebt gelijk, daar gaat het om. Vertrouwen hebben in jezelf en niet bij de pakken neerzitten.

Een instituut als het IBOS weet daar goed mee om te gaan. Een kind komt uit school, je geeft hem een kop thee en je maakt een praatje. Dan gaat de tas open, komt de agenda op tafel en wordt het rijtje opdrachten een voor een afgewerkt. Gemaakt werk wordt doorgekeken en even besproken, leerwerk wordt overhoord. Is het werk om half zes nog niet klaar, dan ligt er een boterhammetje en het kind dat naar huis gaat heeft het werk af. De volgende ochtend blijkt de helft van de klas weinig gedaan te hebben, komt er een goed cijfer voor de overhoring en dat motiveert om na schooltijd de boeken weer open te doen.
Natuurlijk heeft het instituut een boel didactische en pedagogische kennis in huis, maar voornamelijk zijn het prima oudervervangers. Dat mis ik in het programma.

Ouders
De school heeft het fout gedaan en de School van Prem gaat er wat aan doen om te laten zien dat het anders kan. Dat gaat met extra uren werk, veel aandacht naar teambuilding, saamhorigheid, een goede conditie en een prima sfeer. Als slagroom op de taart komen er wereldkampioenen en beroemdheden langs. Zo doe je dat in een TV-programma.

De verhouding school-ouders wordt nog eens extra op scherp gezet als Denzel de Citotoets niet hoeft te maken. Gezien zijn leerachterstand en laag uitvallende IQ-score is dat een uitstekend advies. Niet mag maken maak je er van Prem en je hebt het maar meteen over een advocaat en een kort geding. De ouders worden op het matje geroepen en moeten uitleggen hoe het komt dat ze met het advies instemmen. Mij bekruipt het gevoel dat Denzel de Citotoets moet maken omdat er leerwinst bewezen moet worden.

Resultaat
Heel nieuwsgierig was ik naar het resultaat. Hoe “bewijs” je dat de extra inspanning resultaat heeft. Wat is de beginmeting, hoe betrouwbaar is de koppeling naar het uiteindelijke Citogetal? Uitzending 10 deed een aanslag op de al geplaagde tenen.

Justin heeft een percentielscore van 80 op de Entreetoets groep 7 en een NIO-score van 116. Ik heb de eerste uitzendingen nog eens bekeken maar de leerachterstand van Justin heb ik gemist. Was die er wel? Deze twee gemelde scores komen overeen en wijzen inderdaad naar minstens havo en mogelijk vwo. De bijlessen van het IBOS hebben het profiel van Justin zeker niet verbeterd. Dat is zonder specifiek oefenen niet mogelijk en John Bihari is te veel professional om dat zelfs maar te overwegen.
Nee, het advies van de school roept vragen op, maar we hebben Justin in de School van Prem zien winnen aan zelfvertrouwen. Zonder dat zelfvertrouwen is een keus voor theoretische leerweg wel te begrijpen. Het is beter dat een kind door goede prestaties gemotiveerd wordt dan dat het alle vertrouwen verliest als er te hoge eisen aan hem gesteld worden.

Joost is een intelligent joch maar reageert (enthousiast) op alle prikkels die langs komen. Niets ontsnapt aan zijn aandacht en als het wat saai wordt, zet hij eigenhandig de boel op stelten. Als iets zijn interesse heeft, dan leert hij, zo niet dan verlegt hij zijn aandacht naar leukere zaken. Het is een hele kunst om zijn neus in saaie boeken te houden en dat is je goed gelukt Prem. Joost gooit alles in de strijd en spant huilend op de achterbank ook zijn bezorgde ouders nog voor zijn karretje, maar het lukt je om hem bij de groep te houden. Met goed resultaat. Cito 537, havo! Nu maar hopen dat hij binnen die leerweg een team treft is dat het voor elkaar krijgt om hem gericht op zijn werk te houden. Zelf zou ik de veilige weg bewandelen en maximaal een plek zoeken met de naam theoretisch/havo op de gevel.

De eerste zes of zeven kids die plechtig de citoscore uitgereikt kregen werden uitgebreid bejubeld. Eén, twee, drie leerwegen hoger dan verwacht! Afgaand op de cijfers wil ik daar nog wel wat over discussiëren. Elke leerweg heeft een range van veel voorkomende scores en die van naast liggende leerwegen overlappen elkaar behoorlijk. Om een score die wijst naar stevig kader en mager theoretisch maar meteen als theoretisch en dus een leerweg beter te bejubelen, gaat wat ver en 534 wijst niet naar havo. Maar ja, het is televisie!

Dan komt Lisa wat bedremmeld naar voren. Ze voelt de bui hangen en dekt zich vast in. Toch niet zo goed gemaakt, fluistert ze. Met gevoel voor drama wordt verteld over een te verwachte score op basis van een eerdere toets van 523 en het is geworden…… 519! Niet vooruit gegaan! Hoe komt dat Lisa, heb ik iets verkeerd gedaan, vraagt Prem. Natuurlijk niet, snikt Lisa. Het is alleen haar fout. Tranen, treurmuziek, een ongemakkelijke zaal, troostende ouders. Lisa heeft gefaald.

Maar Prem, elke te verwachte score heeft een boven en een ondergrens en bij 523 zijn die grenzen een stuk ruimer dan bij scores rond het gemiddelde van 534. Is het niet zo dat 519 netjes in dit verwachtingsinterval ligt en dat het feitelijk betekent dat Lisa volgens verwachting gepresteerd heeft? Wie faalt er hier?

Dan komt Denzel en de zon kan weer schijnen. Denzel mocht de Citotoets niet maken. Hij heeft het toch gedaan en kijk nu eens, een score van 518, kader!
Nee, Prem, cito 518 samen met 15 maanden “leerachterstand” en een laag uitvallende NIO-score geeft aan dat de school voor voortgezet onderwijs via een beschikking voor leerwegondersteuning extra geld kan krijgen om Denzel de hulp te geven die hij nodig heeft, waar hij recht op heeft. Samen met misschien Lisa naar een kleine lwoo-klas en omringen met de nodige zorg zou ik zeggen. Daar is meer kans op succes en vertrouwen in de toekomst.

Tot slot
Negen van de tien beter is wat overdreven Prem. Klop niet te hard op de borst. Je hebt laten zien hoe je een groep kinderen alert kan krijgen, enthousiast, betrokken en je hebt vast de best mogelijk prestaties te voorschijn getoverd. Je hebt in tien programma’s laten zien hoe lastig en intensief het is om een groepje kinderen “bij de les” te houden en prima televisie gemaakt. Maar voor navolging komen we in Nederland wat wereldkampioenen te kort en deze kinderen staan er straks weer gewoon alleen voor.

En je hebt gezorgd voor gespreksstof op de scholen. Bravo dus Prem, want daar is niets mis mee en ja, het kan altijd wel beter. Volgend jaar gewoon weer, maar dan liever wat genuanceerder.

Ton Kapinga

De verontwaardiging over de COTAN verklaard ...

In de bijdrage 'De COTAN ziet DLE's het liefst geheel verdwijnen ...' wordt sterk verontwaardigd gereageerd op deze opvatting/uitspraak van de COTAN, omdat de vele gebruikers worden gebruuskeerd: ze zijn kennelijk heel dom bezig ...
In de (vorige) bijdrage werden de bezwaren tegen de COTANargumentatie al aangestipt, maar laten we die eens onder de loep nemen.

Dan blijkt dat de COTAN het afwijzen van de DLE’s volstrekt niet kan waarmaken.

De afwijzing van de DLE's door de COTAN is namelijk gebaseerd op anekdotische argumentatie, vooringenomenheid en een valse conclusie. In 2007 hebben twee leden van de COTAN in De Psycholoog het standpunt van de COTAN over de DLE’s uiteengezet. Ze komen tot de conclusie dat, gezien de vele bezwaren die tegen DLE’s opgeworpen kunnen worden, normering op basis van standaard- of rangordescores te prefereren is (Evers en Resing. 2007).

De anekdotische argumentatie bestaat er uit dat er mogelijke problemen met DLE schalen worden opgeworpen (bijv. bodem- en plafondeffecten), er een voorbeeld wordt gegeven van een DLE schaal waarbij dat optreedt en vervolgens geconcludeerd wordt dat DLE schalen dus niet deugen. Waarbij niet met zoveel woorden gezegd wordt, maar wel geimpliceerd, niet kunnen deugen!

De vooringenomenheid bestaat er onder andere uit dat er selectief gebruik gemaakt wordt van de literatuur. Veel van de argumenten van Evers en Resing tegen de DLE's komen uit het artikel van Oud en Mommers uit 1990. In 1991 heeft Gerard Melis - de auteur van het DLE boek - een verweer geschreven waarin hij uiteenzet dat volgens hem een aantal argumenten van Oud en Mommers ondeugdelijk is. Evers en Resing noemen Melis’ artikel en zijn argumenten niet. Zij geven dus alleen de argumenten die tegen DLE's zijn opgeworpen en andere standpunten negeren ze. Hiermee doen ze de door hen van belang geachte 'ontwikkelingen op het gebied van de testtheorie en testconstructie' geen recht. Want ontwikkeling is gebaat bij debat en argumentatie. Het kan natuurlijk zijn dat de COTAN de tegenargumenten van Melis ondeugdelijk vindt, maar laten ze dat dan beargumenteren. Dan kan je de argumenten (zowel voor als tegen) naar een hoger plan brengen.

De valse conclusie bestaat er uit dat Evers en Resing stellen dat, gezien de door hen gepresenteerde bezwaren, DLE’s moeten worden afgewezen en deviatienormen geprefereerd. In hun artikel laten ze echter na aan te tonen dat de door hen opgevoerde mogelijke problemen (laten we er nog eens eentje noemen: ondeugdelijke normgroepen) niet of in ieder geval in mindere mate voor de deviatienormen gelden. De conclusie van Evers en Resing volgt dus niet uit de door hen gepresenteerde argumenten. Analoog aan de manier van redeneren van Evers en Resing zou je kunnen stellen dat de kleur rood voor auto’s moet worden verboden: rode auto’s dragen immers bij aan de luchtvervuiling, aan het verkeersinfarct en verkeersslachtoffers. Om met Evers en Resing te spreken: het ziet er prachtig uit, maar het liefst zien we die kleur geheel verdwijnen ...

De COTAN ziet DLE’s het liefst geheel verdwijnen …

Op de website van de COTAN valt het volgende te lezen: 'Momenteel wordt gewerkt aan een herziening van het beoordelingssysteem. Deze
herziening betreft een ingrijpende aanpassing van het beoordelingssysteem in het licht van de ontwikkelingen die zich in de loop der jaren op het gebied van testtheorie en testconstructie hebben voorgedaan. De verwachting is dat deze herziene versie in het voorjaar van 2009 gereed zal zijn.'

Ik kreeg enkele fragmenten van het deze herziene versie onder ogen en las
daar o.m. ‘- maar de COTAN ziet rapportage in termen van DLE’s het liefst
geheel verdwijnen -‘.

Ik moest meteen denken aan al die scholen voor (speciaal) basisonderwijs in Nederland en aan de leden van de verschillende plaatsings- en verwijzingscommissies, maar ook aan de orthopedagogen/psychologen, interne begeleiders, remedial teachers en logopedisten. Zij maken namelijk allemaal al jaren (dankbaar en tevreden) gebruik van DLE’s.
Zij hebben de DLE-systematiek verankerd in hun registratie- en rapportagemodellen en in hun (dikwijls online) administratieprogramma’s. Wat moeten zij, maar ook al die bedrijven die de online applicaties exploiteren, hier wel niet van vinden? En wat te denken van onze Minister van Onderwijs Cultuur en Wetenschappen, die het gebruik van DLE’s nota bene verplicht stelt!?!

De herziening van het beoordelingssysteem vindt plaats ‘… in het licht van de ontwikkelingen die zich in de loop der jaren op het gebied van testtheorie en testconstructie hebben voorgedaan.’ Dat mag zo zijn, maar ik krijg de indruk dat de COTAN volledig voorbij is gegaan aan de ontwikkelingen in de praktijk (zoals hierboven geschetst). Realiseert de COTAN zich wel voldoende wat haar opvattingen/uitlatingen betekenen voor de honderdduizenden gebruikers (direct en indirect)?

Dat de COTAN vraagtekens zet bij het gebruik van DLE’s is prima; dat hoort zij –gelet op haar opdracht (zie verder)- te doen bij alle normeringswijzen. Er is namelijk géén schaal die vlekkeloos is: ze hebben alle hun voor- en nadelen. Maar om dan alléén de DLE’s volledig uit te willen sluiten?!? En dat dan ook nog voor een schaal die naast de Cito-schaal het meest gebruikt wordt voor didactische toetsen? Je mag vrezen dat een dergelijke uitspraak voor de COTAN onaardige reacties oproept: ‘Wie is die COTAN eigenlijk wel, dat zij meent onze praktijk zo ongegeneerd te moeten diskwalificeren? Moeten wij haar nog serieus nemen?’

Wie is de COTAN eigenlijk?
Van de website: 'De Commissie Testaangelegenheden Nederland (COTAN) van het NIP (het Nederlands Instituut van Psychologen is de landelijke beroepsvereniging van psychologen) heeft als opdracht ‘het bevorderen van de kwaliteit van tests en testgebruik in Nederland’. Door de COTAN worden psychodiagnostische instrumenten beoordeeld aan de hand van criteria als testconstructie, uitvoering van de handleiding en testmateriaal, betrouwbaarheid en validiteit.Verder informeert de COTAN testgebruikers over de stand van zaken op testgebied.'

De COTAN is dus een commissie van de beroepsvereniging van psychologen, die -voor eigen gebruik mag je aannemen- instrumenten van anderen beoordeelt. Die beoordeling vindt plaats op basis van criteria die in een beoordelingssysteem staan beschreven. Dat systeem heeft een inventariserend/beschrijvend karakter: zit dit erin, heeft de auteur dat gedaan, is beschreven hoe … enz. De COTAN gaat de test dus niet testen; zij probeert hem niet uit en controleert evenmin of alles wat er in de handleiding/verantwoording staat geschreven klopt …
Ze gaat dus ook niet na of de test werkt … Een test die goed beschreven is, kan voldoende beoordeeld worden, maar toch slecht werken. Andersom kan ook: een als onvoldoende beoordeelde test kan in de praktijk goed werken (!). De beoordeling moet dus niet worden verward met die van bijvoorbeeld de Consumentenbond, die proeven met de artikelen doet en vervolgens kan aangeven welk artikel het beste is. Bovendien hebben auteurs wel eens moeite met de werkwijze van de COTAN: de beoordelaars werken anoniem en er is onvoldoende duidelijk wat de (beroeps)rechten van de auteurs zijn als ze het met de beoordeling niet eens zijn. M.a.w. ze hebben wel eens het gevoel dat er vrij moeilijk over te praten is.

Veel gezag ...
Toch heeft het oordeel van de COTAN grote invloed. Met name sinds het moment waarop de Inspectie van het Onderwijs meedeelde dat testen een voldoende beoordeling van de COTAN moesten hebben, kreeg het oordeel veel gezag. Ook de Regionale Verwijzing Commissie wil dat er uitsluitend door de COTAN ‘goedgekeurde’ testen worden gebruikt.
Begrijpelijk, want het is in ons land het enige houvast m.b.t. de kwaliteit van een test. De COTAN kreeg hierdoor veel gezag.
Gelet op bovenstaande (Wie is de COTAN eigenlijk?) mag men zich afvragen of dat gezag niet ietwat te veel van het goede is. De COTAN is geen KEMA-keur ... Trouwens zij keurt niet, zij beoordeelt. De COTAN is evenmin een overheidsorgaan of een instantie aangewezen door de Minister. De COTAN is bovendien niet erg democratisch: we weten niet precies hoe de leden erin komen, we kunnen niet gemakkelijk iets aan de werkwijze doen; zij maken zelf hun eigen dienst uit …

Dus …
Als dan die COTAN ‘De DLE’s het liefst ziet verdwijnen …’, wat moet je daar dan bij denken?
Als de COTAN ‘het bevorderen van de kwaliteit van tests en testgebruik in Nederland’ als opdracht ziet, zou zij niet bepaalde praktijken –en zeker niet de inmiddels volledig geïmplementeerde- moeten uitsluiten, maar juist moeten verbeteren. De COTAN ziet de nadelen van DLE’s maar heeft –zo lijkt het- geen oog/oor voor de voordelen. Zij lijkt evenmin rekening te houden met het gepleegde verweer tegen de door haar opgesomde nadelen, die overigens voor een groot deel óók voor andere normeringswijzen gelden.

Ik zou wensen dat de COTAN aangeeft waar en hoe de toepassing van DLE’s te verbeteren is. De COTAN zou een betere zaak dienen als zij zou aangeven hoe zij de toepassing van DLE’s wèl acceptabel vindt. Kun je beter niet extrapoleren? Of misschien een beetje? En zo
ja hoe ver dan? En hoe zit het met het interpoleren bij cumulatieftesten (hetzelfde werk wordt in opeenvolgende leerjaren gemaakt en genormeerd), kan dat dan wel door de beugel? En zo ja onder welke voorwaarden? En mag één scorepunt leiden tot meerdere maanden vooruitgang? Misschien kan de COTAN een voorstel doen: de schaal wordt ongeldig wanneer één scorepunt leidt tot meer dan één maand vooruitgang. Steek de energie derhalve in het verbeteren van een bestaand fenomeen en niet in het verwijderen ervan. M.a.w. de huidige opvatting/uitspraak ‘- maar de COTAN ziet rapportage in termen van DLE’s het liefst geheel verdwijnen -‘ valt beslist niet lekker, zeker als je bedenkt wie de COTAN eigenlijk is …

Kies voor inhoudelijke redenen voor deze reactie: Nieuwer bericht.

Moet je bij een zittenblijver de Didactische Leeftijd doortellen?

Op de website van Boom test uitgevers vinden we bij de presentatie van het DLE BOEK* een heel goed antwoord op deze vraag ...

Wat dit betreft moet niks. Of je doortelt of de DL terugzet is een keuze en wat je kiest is afhankelijk van het gebruik van de DL. In het perspectief van leerlingzorg ligt terugzetten voor de hand. Als je toetst op schoolvorderingen ga je na of een leerling presteert op het niveau dat je mag verwachten. Een leerling halverwege groep vijf (DL=25) heeft een adequate prestatie als die een DLE haalt van 25. Een dergelijke leerling heeft op dit aspect dus geen extra aandacht nodig. Het maakt daarbij niet uit of deze leerling is blijven zitten of niet. De leerling presteert op het niveau van het onderwijs dat het op dat moment krijgt. Natuurlijk heeft de leerling die is blijven zitten een achterstand ten opzichte van de ex-klasgenoten die een groep hoger zitten, maar het zou unfair zijn om met de ex-klasgenoten te blijven vergelijken (er is toch niet voor niks besloten om de leerling niet te laten overgaan?). Doubleren kan je beschouwen als een herkansing. De leerling maakt een nieuwe start en je begint opnieuw te tellen.
Met andere woorden, wij beschouwen het DL in het kader van leerlingzorg niet als het aantal maanden genoten onderwijs, maar als een indicatie van het niveau van het onderwijs dat het kind krijgt. Voor leerlingen die een klas overslaan is dan de consequentie dat de DL vooruit wordt gezet.

In het kader van bijvoorbeeld een economische analyse van het onderwijs (hoeveel onderwijs is er gegeven en wat heeft het opgeleverd?) zou je DL's moeten doortellen. Dan is de didactische leeftijd niet meer het niveau van onderwijs van een leerling, maar het aantal maanden onderwijs dat de leerling in totaal heeft gehad.

De RVC's denken hier overigens anders over: '... de didactische leeftijd (DL) is het aantal maanden dat een leerling onderwijs heeft gehad. Elk schooljaar heeft 10 onderwijsmaanden te beginnen vanaf september groep 3. De DL wordt berekend op basis van de huidige groep van de leerling, het moment van toetsafname en het aantal doublures vanaf begin groep 3'. Volgens de richtlijn moet echter bij 60 gestopt worden, in groep 8 heeft een zittenblijver dus het hele jaar DL 60.

*) Het wettelijk verplichte naslagwerk voor het vaststellen van leerachterstand bij indicatiestelling.

Betrouwbaarheid en validiteit

Onder
gebruikers
van testen
en toetsen
leven dikwijls
vragen rond
bepaalde
‘testtermen’,
zoals
betrouwbaarheid
en validiteit.


Bij Boom test uitgevers kwam onlangs de ‘Testwijzer voor professionals’ uit.

Daarin staat op zeer heldere én kort-en-bondige wijze beschreven hoe het zit met al die dingen rond testen en toetsen. Bovendien worden hier en daar in een kadertje heel aardige ‘anekdotes’ verteld, die de spijker op z'n kop slaan en zeer verhelderend zijn.

In deze bijdrage hebben we er twee voor u geplaatst.

(Klik op de afbeelding voor een vergroting)

Alle kinderen aan de toets?

Met een toets kun je in het onderwijs twee* dingen
doen:

1) meten hoe ver de leerling is (wat is zijn vaardigheidsniveau?; hoe goed kan hij rekenen?);

2) meten wat de aanleg/potentie van de leerling is (wat zijn de mogelijkheden?; wat mag je van hem verwachten?).

Met deze twee gegevens kun je de belangrijkste vraag die de school zich in het kader van toetsing te stellen heeft, beantwoorden: komt eruit wat erin zit? Dat geldt voor de leerling, maar ook voor de school als geheel. Als de school eruit haalt wat erin zit, doet de school het goed en verdient een compliment (ook al ligt die uitkomst onder het gemiddelde).

Waar niet veel in zit, komt niet veel uit.
Een school kan dus nooit alléén beoordeeld worden op wat eruit komt. De onderwijsinspectie probeert, bij gebrek aan betere middelen, dat wèl te doen aan de hand van de uitslagen van de Eindtoets Cito en/of aan de hand van de stand van zaken in het leerlingvolgsysteem. Zij probeert daarbij rekening te houden met verschillen tussen de schoolpopulaties. Echter, omdat de zoon van de dominee niet slimmer hoeft te zijn dan de dochter van de stratenmaker, voelen scholen zich dikwijls oneerlijk behandeld en zoeken uitvluchten of alternatieven.

Laten zien wat je kunt (en niet wat je niet kunt).

Zo bezien is het verstandig álle kinderen te toetsen op twee inhouden:

- wat zit erin en

- wat komt eruit.

Omdat kinderen enorm verschillen, is het niet verstandig daarbij domeintoetsen (meten een bepaald niveau uit een leerstofgebied/de leerlijn), maar cumulatietoetsen (meten de leerstof van makkelijk naar moeilijk over de hele leerlijn) te gebruiken. In het laatste geval kunnen leerlingen namelijk maken wat ze kunnen en hoeven ze niet te maken wat ze niet kunnen (ze stoppen als ze het niet meer weten). Dat voorkomt frustraties èn de leerling laat zien wat hij kán (en niet wat hij niet kan). Bij domeintoetsen kan het namelijk voorkomen dat de leerling geen enkele opgave kan maken; hij heeft alles fout. Toch moet hij alle opgaven doen. Dáár wordt een kind niet beter van … (en de school ook niet). Bovendien wordt de onderwijsinspectie er niet wijzer van: ze weet alleen wat de leerling niet kan, maar niet wat de leerling wèl kan.

*) Naast het meten van de aanleg/persoonlijkheidsaspecten en het vaardigheidsniveau kun je een test ook nog inzetten als diagnostisch instrument (waar wringt de schoen?) als blijkt dat het niveau te laag is. Een voorbeeld is de nieuwe Tempo Test Automatiseren (opvolger van de Tempo Test Rekenen).

Hoe maak je een DLE-schaal?

Op deze plek willen we kort aangeven
hoe een DLE-schaal tot stand komt.

(Klik op de afbeelding voor een vergroting)

Voor het maken van een DLE-schaal moet de maker beschikken over tenminste twee gemeten/berekende gemiddelden (eerder en later in de schoolloopbaan) op hetzelfde werk. De DLE-TESTen werken met minimaal drie gemiddelden: hetzelfde werk wordt tevens gemaakt door de ‘belendende groepen’. Zo kan het voorkomen dat de gemiddelde scores op een spellingtest voor groep 5, afgenomen in bijvoorbeeld april, op dat moment de volgende zijn: groep 4: 20, groep 5: 30 en groep 6: 40. De tussenliggende scores kunnen dan door middel van interpolatie gemakkelijk worden geschat: het loopt namelijk in dit uitzonderlijke (!) geval keurig met 1 punt per onderwijsmaand (DL) op.

Door middel van extrapolatie mogen we op basis van onze regels de schaal ook nog naar buiten (naar voren en naar achteren) toe verlengen.

REGEL: Dat mag echter niet verder dan met de helft van de geschatte trend tussen de twee berekende voorgaande gemiddelden.

In dit geval krijgen we dan de schaal zoals hierboven. In dit voorbeeld hebben we te maken met een gefractioneerde test (per leerjaar een stukje). Mooier is het, wanneer we cumulatieftesten kunnen maken, zoals de DLE-TEST lezen zinnen A en B. Daarbij lezen alle groepen dezelfde kaart, alleen elke volgende groep leest méér. We krijgen dan één lange DLE-schaal. De DLE-TEST rekenen/wiskunde is een tussenvorm (gefractioneerd cumulatief) en geeft ook een DLE-schaal.*
Het is niet verstandig zelf de schalen nóg verder te verlengen of anderszins aan de schalen te gaan ‘rommelen’.

*) Bij de doorontwikkeling van de hier bedoelde testen (zoals bekend worden de DLE-TESTen in verbeterde vorm als Schoolvaardigheidstoetsen uitgebracht) worden thans nieuwe (geautomatiseerde) regressietechnieken gebruikt, waardoor de toetsen (ook die van het Cito) in nagenoeg elke onderwijsmaand kunnen worden afgenomen.

Afwijking op de DL

Leerlingen verschillen niet alleen qua aanleg van elkaar, maar ook qua leeftijd: ze beginnen niet op dezelfde leeftijd aan het onderwijs in groep 3. M.a.w. de leerlingen zijn op de didactische leeftijd niet even oud (!).

(klik op de afbeelding voor een vergroting)

Met behulp van de tabel 'Afwijking' kunnen we daar rekening mee houden.

Stel dat van een leerling op een moment voor een gemiddeld resultaat een niveau van DLE 30 wordt verwacht, terwijl die leerling zes maanden jonger is dan de gemiddelde leerling. Bij een tegenvallend resultaat (bijvoorbeeld drie maanden achter) kunnen we dan zeggen: ‘Maar…, hij is zes maanden jonger dan gemiddeld.’ Andersom geldt ook: van een zes maanden oudere leerling zouden we iets meer mogen verwachten.

Over testen voor het LVS

Voor groepsonderzoek in het kader van een LVS vindt de Cotan dat er per groep ten minste 100 leerlingen in de steekproef moeten zitten.
Voor beslissingen op individueel niveau (bijvoorbeeld verwijzing naar het SBO)
moeten dat tenminste 300 zijn. In de Schoolvaardigheidstoetsen van Boom test
uitgevers is de kleinste groepsgrootte 423 (bij zinnen lezen A en B) en de grootste 948 (bij hoofdrekenen), gemiddeld zitten er circa 650 leerlingen per groep in de steekproef. Dat is in vergelijking met andere testen erg veel…

Ondanks dat kunnen er zeker op individueel, maar ook op groepsniveau ‘gekke dingen’ gebeuren. De gebruiker moet daar rekening mee houden. Een test is geen meetlat! Het is altijd een schatting en dan ook nog op een bepaald moment. In de handleiding bij de testen wordt daarvoor uitvoerig gewaarschuwd. En let op: de omstandigheden per school kunnen erg verschillen. Een praktijkvoorbeeld van de NTS (woorden): in de steekproef zaten twee scholen (openbaar en protestants-christelijk) in dezelfde wijk (zelfde ouderpopulatie). Het gemiddelde groepsniveau (dus de hele groep!) van groep 6 op de ene school lag een vol leerjaar boven de achteraf berekende norm, op de andere school lag dat gemiddelde groepsniveau van groep 6 een leerjaar lager dan de achteraf berekende norm. Dus, het verschil in niveau op de beide scholen bedroeg in groep 6 maar liefst twee leerjaren! Toch waren de omstandigheden ongeveer gelijk. Er was één verschil: de spellingmethode en de tijd die werd besteed aan het spellingonderwijs.
Toch mooi dat je dan tenminste nog íets (min of meer objectiefs) hebt, om je mee te vergelijken.
Let wel, we praten hier over signaleringstoetsen.

‘Vreemde voorvallen’ en ‘gekke afwijkingen’ horen er gewoon bij.

Zeker als het individuele gevallen betreft. Dat geldt ook voor de vergelijking van een resultaat op een eerder afgenomen versie van de test met de huidige. Met name wanneer je een leerling test met een spellingtest (waarbij dit verschijnsel in het bijzonder voorkomt) van systeem A en vervolgens met een spellingtest van systeem B, kan het voorkomen dat er grote verschillen ontstaan. In sommige gevallen gaat een leerling (ogenschijnlijk) ‘achteruit’. Dat is natuurlijk zelden of nooit het geval. Het ligt in die gevallen dan ook niet aan de leerling, maar aan de test. Bij het IPMON (de voorganger van DLE-LVS) hebben we dan ook afgesproken dat een eens behaalde DLE blijft staan. Dat geldt nog steeds!

Hoe kan zoiets nu worden voorkomen?
Het maken van een test is altijd een compromis. Om ‘uitschieters’ te voorkomen, zouden de leerlingen bij een te testen onderdeel ruim tweehonderd antwoorden moeten geven. Voor een dictee zou dat dus betekenen dat er ruim tweehonderd woorden in zouden moeten zitten. En dan ook nog woorden die er toe doen! Dus ‘de’, ‘het, en ‘een’ zouden we buiten beschouwing moeten laten. Dat is voor de praktijk niet haalbaar: het moet ook nog eens een keer worden nagekeken! Bovendien zou de testlast voor de leerling veel te groot worden. De dictees van de DLE-TEST spellen zinnen A en B zijn dan ook beperkt tot circa 60 woorden, waarvan circa 30 er toe doen. Bovendien is de test gefractioneerd: voor elke groep een stukje, hetgeen wil zeggen dat in het dictee maar een deel van de (in het algemeen in die groep aangeboden/behandelde) spellingproblemen aan de orde komt. Dan drukken we de scores ook nog eens uit in DLE’s, hetgeen veel ‘griezeliger’ is dan bijvoorbeeld de Cito-indeling (A = de 25% beste leerlingen). In het eerste geval zit je er sneller naast… Bij een indeling in de groep van de 25% beste leerlingen schiet je vaak raak. De 99-ste en de 76-ste van de honderd zijn beide A. Een afwijking valt daar dus minder snel op (lekker veilig voor de maker van de test…). Ook de Cotan vindt dat trouwens beter. Je uitspraak is meer ‘waar’ als je zegt dat de leerling tot het beste kwart van de groep behoort. De praktijk vraagt echter om meer. Dat een leerling tot het beste kwart behoort, hebben ze zelf meestal al vastgesteld… Natuurlijk is het belangrijk te weten of de leerling ‘bij’ is, maar men wil met name weten: ‘Hoeveel is de leerling vooruitgegaan sinds de vorige keer?’

Boom test uitgevers streeft daarom naar het maken van cumulatietesten (zoals hoofdrekenen en lezen zinnen A en B). Die hebben het voordeel dat ze

- van gemakkelijk naar moeilijk zijn opgebouwd
- de (zwakke) leerling daarom niet frustreren (scoren kan altijd)
- de betere leerling de kans geven méér te laten zien
- laten zien wat de leerling wél kan en niet wat de leerling niet kan
- in één testbeurt meteen het eindniveau in beeld brengen
- bij een volgende afname een vooruitgang (kunnen) laten zien
- de leerling dus (ook) met zichzelf kunnen vergelijken
- herhaald afneembaar zijn in meerdere groepen
- daardoor weinig organisatie/administratie met zich mee brengen

Cito maakt domeintoetsen (een stukje uit de leerlijn dat aan de orde hoort te zijn in bijvoorbeeld de tweede helft van groep 6 [E6] wordt getoetst). Wanneer je daar als leerling nét niet aan toe bent, maak je heel veel fout. De volgende keer weet je de inhoud van E6 wel, maar helaas… M7 is aan de beurt en maak je weer heel veel fout… Bovendien, als de leerling ‘een E-tje’ blijkt te zijn (behoort tot de zwakste 10%), wat zegt dat dan nog? De vraag zou dan nog moeten zijn ’Hoe erg E ?’ De beste E-leerling kan in DLE’s wel drie jaar vóór liggen op de zwakste E-leerling. Anderzijds, ook tussen A-leerlingen kan er wel twee jaar niveauverschil bestaan … (!).

Boom test uitgevers wil de leerling ook en vooral vergelijken met zichzelf en minder met de groep.

Om praktische redenen kunnen er helaas niet voor alle onderdelen cumulatietesten worden gemaakt. Een tussenoplossing is de gefractioneerde cumulatietest (bijvoorbeeld rekenen/wiskunde). Ze hebben wel één lange DLE-schaal, maar kunnen in delen worden afgenomen.

Voor spellen en begrijpend lezen is het heel moeilijk om onze wensen te realiseren. We moeten daar helaas voor elke groep een apart (genormeerd) onderdeel maken. Je kunt kinderen uit groep 3 toch niet confronteren met woorden als accountant? Juist bij die testen zien we veel ‘afwijkingen’ en ‘merkwaardige verschijnselen’. Zo kan een leerling op een dictee voor groep 5 ‘alles’ fout maken en op het dictee voor groep 4 (omdat 5 te moeilijk was) ‘alles’ goed. Dat heeft wellicht te maken met het wél volledig begrijpen van de stof voor groep 4 en het nog niet begrijpen van de stof voor groep 5. Met een DLE-schaal kom je dan in de problemen: waar zit de leerling nu? Met een deviatieschaal was je in een keer uit de brand geweest: E (de zwakste 10%).
Een uitzondering wordt overigens het 150-woorden dictee (onveranderlijke woorden), dat qua constructie op reken/wiskunde lijkt en één lange DLE-schaal krijgt.

Inspectie gebruikt DLE - LVS

In het in september 2006 gepubliceerde Analyse en waardering van opbrengsten primair onderwijs van de Inspectie van het Onderwijs lezen wij het volgende:


‘De hoofdinspecteur heeft bevestigd dat de inspectie de toetsen van het DLE-LVS van Boom test uitgevers kan gebruiken om de tussentijdse en eindopbrengsten vast te stellen.’

Daar zijn we blij mee! Omdat de toetsen van Boom test uitgevers puur voor de praktijk zijn ontwikkeld, werd er in de verantwoording minder uitvoerig stilgestaan bij de wijze waarop de toetsen zijn ontstaan. Hoewel aan de kwaliteit niet werd getwijfeld, voldeden ze daardoor niet aan de beschrijvingseisen van de COTAN. De Inspectie van het Onderwijs vindt echter dat toetsen daar in principe wél aan moeten voldoen. Boom test uitgevers ging de toetsen daarop herschrijven, zonder dat er aan de constructie, de inhoud, de wijze van afnemen en de normen iets veranderde. Nu op dit moment eerste toetsen door de COTAN als voldoende tot goed zijn beoordeeld (en dus tóch goed blijken te zijn), acht de Inspectie van het Onderwijs de tijd rijp om de rest het voordeel van de twijfel te geven. Het laten beoordelen van toetsen door de COTAN is een langdurig en moeizaam proces. De verwachting is dat de resterende toetsen in de loop van 2009 door de procedure zijn en eveneens als voldoende tot goed worden beoordeeld.

‘De inspectie acht het van belang dat scholen betrouwbare, valide en genormeerde toetsen gebruiken. Of dit toetsen zijn die het resultaat uitdrukken in deviatiescores of in didactische leeftijdsequivalenten is op zichzelf niet relevant.’

Daar zijn we blij mee! Lange tijd is de toetswereld gedomineerd door de ‘deviatiedenkers’. We bedoelen dat niet hatelijk, maar er werd vanuit die optiek niet al te positief geoordeeld over de alternatieve benadering van de DLE’s. Natuurlijk zijn er kanttekeningen te plaatsen bij DLE’s; men moet er verstandig mee omgaan. Aan de andere kant zijn ook de deviatieschalen niet vlekkeloos. Zo kan er in groep 8 tussen de zwakste én de beste E-leerling wel DRIE leerjaren niveauverschil bestaan (!). Wat zegt zo’n E dan nog? Dan komen de DLE's dichter bij 'de waarheid' ...

‘Nadrukkelijk moet worden vermeld dat de Drempeltest van Boom test uitgevers niet geschikt is om te oordelen over de eindopbrengsten, omdat de toets de schoolvorderingen onvoldoende in beeld brengt. Als de school naast de Drempeltest beschikt over DLE-toetsen voor rekenen/wiskunde en begrijpend lezen, kunnen de eindopbrengsten daarmee worden beoordeeld.’

Klopt! De Drempeltest zegt (nagenoeg) niets over het schoolvaardigheidniveau. De Drempeltest meet wat erin zit en niet wat eruit komt, zoals de Cito Eindtoets doet. Vaak zien we de Drempeltest dan ook gebruikt náást de Cito Eindtoets (of naast de toetsen van het LVS) om na te gaan of eruit gekomen is wat erin zit. Dan kun je pas écht iets zeggen over de opbrengst van het onderwijs. Alleen de school die eruit haalt wat erin zit, verdient een voldoende oordeel.

Scholen stellen zèlf hun LVS samen

Steeds meer scholen stellen zèlf een pakket aan toetsen samen waarmee zij hun leerlingen volgen. Sinds de toetsen van het Cito LVS over DLE-schalen be-schikken en de toetsen van het DLE-LVS over Cito-schalen, vormt de verwerking van de ruwe scores geen probleem meer: de school kan er voor kiezen vast te houden aan de Cito-registratie, maar kan ook álle scores middels DLE’s verwerken. De laatste mogelijkheid wordt overigens meer en meer toegepast.

Scholen hebben het gevoel met behulp van de DLE’s ‘dichter bij het kind’ te kunnen rapporteren over de vorderingen. Ook ouders blijken die manier van rapporteren op prijs te stellen. Hoewel met behulp van het Cito-LVS ook heel goed een rapportage ‘dichtbij het kind’ mogelijk is, beperkt de communicatie zich in de praktijk toch vaak tot het spreken over A-tjes en E-tjes.

Wat daarbij overigens opvalt is het feit dat er een merkwaardig misverstand is ontstaan over de C-leerling: die zou ‘normaal’/voldoende presteren, omdat de C in het midden staat van de rij A, B, C, D en E. Echter, de Cito-verdeling van zeer zwak (E) naar goed (A) loopt over 10, 15, 25, 25 en 25 procent van de populatie, waardoor de C-leerling behoort tot het twééde kwart, dus onder het gemiddelde … (!). Dat scholen voor het verwijzen van leerlingen naar het PrO en LWOO (wettelijk verplicht) DLE’s moeten aanleveren, heeft de toepassing van DLE’s natuurlijk ook bevorderd.

Nu bovenstaande ontwikkeling stevig doorzet, kiezen ook ander toetsenmakers ervoor DLE- en/of Cito-schalen toe te voegen aan hun testen. Een goed voorbeeld hiervan is de Dyslexie OpsporingTest, de DOT van uitgeverij Libbe Mulder. Waar de test aanvankelijk uitsluitend stanine-scores bevatte, werken de auteurs nu met grote haast aan het maken van DLE-schalen (en voor het gemak ook Cito-schalen) bij de test. Hierdoor wordt het toepassingsgebied van de test aanmerkelijk vergroot: hij kan dan niet alleen ingezet worden voor het opsporen van dyslectische leerlingen, maar tevens dienst doen als spellingtoets in het kader van een LVS. De auteurs schrijven daarvoor zelfs een aparte B-versie. Voor de scholen is deze ontwikkeling gunstig: met de DOT slaan ze dan twee vliegen in één klap …

Voor wat betreft de ‘gewone’ leerlingvolgsysteemtoetsen hebben de scholen ook een voordeel: ze kunnen een toets kiezen die het beste bij hun populatie of werkwijze past. Een voorbeeld zien we in de toetsen voor begrijpend lezen van Cito en Boom test uitgevers. De laatste zijn ‘lichter verteerbaar’, zodat meer aan de zwakke leerling wordt tegemoet gekomen. Afhankelijk van de schoolpopulatie kan de school dan een keuze maken. Tot slot is er nog de keuze tussen domeintoetsen (Cito) en cumulatietoetsen (Boom test uitgevers). Domeintoetsen gaan over een deel uit de leerlijn en cumulatietoetsen gaan van gemakkelijk naar moeilijk. Ook hier kan in het laatste geval weer tegemoet worden gekomen aan de zwakkere leerling: hij kan maken wat hij kan en loopt niet het risico alles fout te maken.

Zo kunnen scholen dus een keuze maken uit verschillende (soorten) toetsen afhankelijk van hun eigen schoolsituatie. Ze hoeven zich daarbij niet meer zorgen te maken over het feit of de toets wel in hun systeem past. Nagenoeg alle administratiepakketten kunnen de ingebrachte ruwe scores namelijk verwerken op een wijze die hen past (DLE’s of Cito).

Perspectief VO op basis van DLE

Op verzoek projecteren we hiernaast
de werkwijze waarmee op basis van
de behaalde DLE een perspectief VO
kan worden geformuleerd.

(Klik op de afbeelding voor een vergroting)

Leerlingen verschillen. De een is slimmer dan de ander. De een leert sneller dan de ander. Daarom komen ze aan het eind van de rit (in groep 8) verschillend uit: van Praktijkonderwijs tot VWO.

Het heeft geen zin aan leerlingen te blijven dokteren, wanneer is komen vast te staan ‘dat er niet meer in zit’. De energie kan dan beter worden besteed aan aspecten waarmee de leerling wèl geholpen is (bijvoorbeeld sociale redzaamheid). Anderzijds kunnen leerlingen die over meer potentie beschikken, wellicht aanvullende aandacht krijgen.

Op basis van de geregistreerde resultaten rekent DLE-LVS het perspectief van de leerling uit: waar komt de leerling aan het einde van de rit uit, als het zo doorgaat? De gegevens daarvoor zijn ontleend aan het IPMON-Leerlingvolgsysteem (en het SAVU-Leerlingvolgsysteem).

De kernvraag in het kader van dit LVS is steeds: komt het gesignaleerde perspectief overeen met onze verwachtingen van de leerling? Stel dat een leerling een perspectief PR (Praktijkonderwijs) heeft en in de omgang met de leerling krijgt u de indruk dat er meer in zit. Dan is nader onderzoek gewenst. Blijkt na onderzoek echter dat het perspectief past bij de leerling, dan moet het doel zijn dat perspectief te realiseren. In het LVS zal namelijk blijken dat alle pogingen om de leerling ‘er-weer-bij’ te krijgen, doorgaans weinig resultaten opleveren.

De testen van Teije de Vos

Regelmatig bereiken ons vragen omtrent de testen en toetsen van Teije de Vos.
'Is er al een opvolger van ... , wat is de meest actuele versie, is de vorige versie nog te koop en bij wie, welke nieuwe staan er op stapel?', dat zijn dan zoal de vragen. In nevenstaand overzicht proberen we antwoord te geven op die vragen.

(Klik op de afbeelding voor een vergroting)

Begrippen en Regels - DL - DLE

Dikwijls wordt gevraagd naar een kort-en-bondig overzicht van de begrippen en regels rond het gebruik van de didactische leeftijd en het didactisch leeftijdsequivalent.

(Klik op de afbeelding voor een vergroting)

Meten is niet àlles weten ...

Er worden in ons land bij het interpreteren van toetsuitslagen door mensen die beter zouden moeten weten helaas nog steeds een aantal fouten gemaakt, die vèrstrekkende gevolgen hebben.
Een lage of hoge score alléén is niet voldoende voor een oordeel, je moet ook weten waar en hoe je die score moet plaatsen.


Hieronder een drietal van die misverstanden.

‘Als je Cito C hebt, zit je goed,
want die C valt mooi in het midden’.
Mis! De schaal van het Cito-Leerlingvolgsysteem kent de volgende verdeling: E = de laagste 10% van de scores, D = de daarop volgende 15% van de scores (samen 25%), C = de daaropvolgende 25% van de scores (we zitten nu op de helft van de scores, dus de onderste/laagste 50%), B= is de daarop volgende 25% van de scores en A = de laatste/hoogste 25% van de scores (B en A zijn samen alle scores boven het midden). M.a.w. alle C-scores zitten onder (aan de lage kant) van het midden, dus niks voldoende. Overigens kàn een C-score wel een goed resultaat zijn en een B-score daarentegen een zwak resultaat; zie daarvoor het derde probleem.

‘U hebt te veel E- leerlingen;
de volgende keer moeten de E’s veranderd zijn in D’s …’
Onzin! We hebben het hier niet over bijvoorbeeld DLE's, die een vaardigheidsniveau (op de leerlijn) aangeven, maar over deviatiescores die een positie op de frequentieschaal van zwak naar goed aangeeft. Een zwakke leerling kan op een DLE-schaal de volgende keer verder zijn, maar op een frequentieschaal wordt dat heel moeilijk. Als je een E-leerling bent, behoor je tot de 10% zwaksten en 10% zwaksten zullen/moeten er op een frequentieschaal altijd zijn, ook al worden alle E’s veranderd in D’s (er komen dan weer 10% àndere E-leerlingen voor in de plaats). We geven een voorbeeld van een zwakke lezer.
Marietje leest op de SchoolVaardigheidsToets Technisch Lezen in april groep 4 helaas slechts 30 woordjes in de minuut. Dat is DLE 3 (15 maanden ‘achter’); op de frequentietabel van Cito is dat E. De school maakt zich zorgen en gaat keihard met Marietje aan de slag. Een jaar later is de score 95 woordjes in de minuut, 65 woordjes méér! Dat is DLE 15, een vooruitgang van maar liefst 12 maanden, waar 10 gemiddeld is! Een prestatie van formaat, die je van zo’n zwakke lezer eigenlijk niet mag verwachten. Even kijken waar die 95 woordjes op de Cito-schaal staan … een E ?!?!?! Ja helaas, zij hoort met deze score op dat moment nog steeds tot de 10% zwakst scorende leerlingen ... Wat vraag je wel niet van deze zwakke, doorgaans minder begunstigde, leerlingen als je ze van E naar D wilt brengen?!? Het onmogelijke, zouden we zeggen. Toch lopen er in ons land projecten die dit als doelstelling hebben … (!).

‘Een zeer zwakke school is een school die onvoldoende onderwijsresultaten (eindopbrengsten) realiseert …’
Dat valt nog te bezien! Een school die (ruim) onder het landelijk gemiddelde scoort, kan een meer dan voldoende opbrengst hebben. Scholen die daar boven zitten en veel leerlingen verwijzen naar HAVO en VWO kunnen een onvoldoende (eind)opbrengst hebben. Hoe zit dat? Nou, wanneer je alléén meet wat eruit komt (bijvoorbeeld m.b.v. de Eindtoets Basisonderwijs van het Cito), heb je slechts de helft gedaan van wat je zou moeten doen. Het uitgangspunt is immers, dat scholen eruit moeten halen wat erin zit. Prima!
Maar dan moet je ook méten wat erin zit. Waar niet veel inzit, kan namelijk niet veel uitkomen … En stel dat je onder het landelijk gemiddelde scoort (dat zal in één van de twee gevallen voorkomen: de ene helft zit eronder, de andere erboven) en je kunt aantonen dat je eruit gehaald hebt wat erin zit, dan ben je toch niet een zwakke school?!? Ja, op school zitten wellicht kinderen die iets minder dan gemiddeld in hun mars hebben, maar daarom kun je de school –als onderwijsinstituut- toch niet bestempelen als ‘zwak’?

De Master Frankeskoalle in Earnewâld hakt al een aantal jaren met dit bijltje en heeft daarbij de Inspectie van het Onderwijs weten te overtuigen: van leerlingen met meer mogelijkheden mag je meer verwachten (en andersom). Aan het woord is directeur Harm de Vlas:
“Wij werken al jaren met dle-schalen tot grote tevredenheid van school, ouders en voortgezet onderwijs.
Om te weten of we met de leerlingen ook hebben bereikt wat we kunnen bereiken, gebruiken we naast de dle-toetsen halverwege groep 8 de Drempeltest. Deze combinatie maakt het mogelijk om de eindopbrengsten goed te beoordelen, zowel van de individuele leerling als van de groep/school. We kunnen prima vaststellen of ‘we er hebben uitgehaald wat er in zit’.
Bovendien blijken deze gegevens betrouwbaar te zijn in het kader van advisering naar het voortgezet onderwijs.
Met de Inspectie van het Onderwijs is op onze school vastgesteld dat de advisering van onze school naar het voortgezet onderwijs en de praktijk in de eerstvolgende drie jaren v.o. nauwelijks van elkaar verschillen”.

Hoe werkt dat, aantonen dat je eruit gehaald hebt wat erin zit?
In het Toezichtkader Primair Onderwijs 2005 spreekt de Inspectie van het Onderwijs bij het onderwerp ‘Opbrengsten’ van resultaten van de leerlingen die ten minste liggen op het niveau dat op grond van de kenmerken van de leerlingenpopulatie mag worden verwacht.

In afwachting van het nieuwe (software)pakket adviseren wij op dit moment de volgende werkwijze.

De kenmerken van de leerlingenpopulatie worden bepaald met de Begin-, de Vervolg- (in de maak), de Tussen- en de Drempeltest. Dat gebeurt eens in de twee jaar in groep 2, 4, 6 en 7/8 omdat de kenmerken van de leerlingenpopulatie (het gaat hier om de potentie/de aanleg/de mogelijkheden van de leerlingen) een betrekkelijk stabiele factor is. De kenmerken worden onder meer uitgedrukt in Cito A t/m E (kan desgewenst ook in Cito I t/m V, een IQ of iets dergelijks).
De resultaten van de leerlingen worden in het kader van het leerlingvolgsysteem doorgaans twee maal per leerjaar gemeten (voor het laatst halverwege groep 8) met methode-onafhankelijke en landelijk genormeerde toetsen voor technisch lezen, hoofdrekenen, spellen, rekenen/wiskunde en begrijpend lezen.
De toetsen van het Cito en Eduforce (thans Boom) worden hiervoor het meest gebruikt en voor dit doel worden de resultaten uitgedrukt in Cito A t/m E.
Sinds de DLE-TESTen als SchoolVaardigheidsToetsen verschenen, kunnen de gebruikers op de normensite van Boom dankzij de nieuwste regressietechnieken op basis van de ingevoerde DL (didactische leeftijd) en de ruwe score àlle gewenste schalen (DLE, Cito A t/m E of I t/m V, AVI, T-scores, Decielen enz.) oproepen. Die schalen (ook die van het Cito) gelden, dankzij die nieuwe technieken, bij een afname in nagenoeg èlke onderwijsmaand.

Met bovenstaande gegevens valt vervolgens na te gaan of eruit gekomen is wat erin zit. Dat kan per vak op leerling-, groeps- en schoolniveau. Eenvoudig gezegd, moet een leerling met ‘kenmerk’ B ook een ‘resultaat’ B halen. De Begin-, de Vervolg-, de Tussen- en de Drempeltest geven een keurig overzicht van deze A t/m E-kenmerken.
U kunt aan de hand van deze gegevens (op uw eigen manier) nagaan in hoeverre er sprake is van een ‘match’. De eenvoudigste manier is, nagaan hoeveel procent van de leerlingen een resultaat heeft dat overeenkomt met of hoger is dan hetgeen verwacht mag worden. Je hebt dan het percentage leerlingen waar (op z’n minst) uit gehaald is wat erin zit. Voor een genuanceerder beeld moet je eigenlijk de leerlingen die niet lieten zien wat ze kunnen, ‘wegstrepen’ tegen de leerlingen die méér lieten zien dan ze kunnen. Bijvoorbeeld: van de 100 leerlingen halen 50 wat ze moeten halen, 25 halen minder, maar 25 halen méér. De conclusie mag dan zijn dat de school 100% opbrengst heeft. Veel scholen gebruiken op dit moment voor hun DLE-TESTen nog de Combischalen en voeren de berekeningen uit met behulp van het experimentele computerprogramma NIBOP. Dat kan beter. We werken aan een handiger oplossing, die binnenkort beschikbaar komt.
We willen die werkwijze uniform maken (iedereen moet het op dezelfde wijze doen) en bovendien proberen we tot een zekere norm te komen: het is aannemelijk dat scholen er –landelijk gezien - niet in alle gevallen in slagen eruit te halen wat erin zit. Misschien ligt het percentage landelijk op 92% … Wanneer uw school dan op 96% zit, mag u niet ontevreden zijn.

Artikel verschenen in Zorg Primair No. 5/2007

DLE - LVS

DLE-LVS is een leerlingvolgsysteem voor het primair onderwijs, o.m. uitgebracht op cd-rom, die eigenlijk bedoeld is als ‘tool’ voor de IB’er (zie noot 1). Het systeem kan echter ook uitstekend als pen-en-papier-versie worden toegepast met behulp van de leerling- en groeps-profielen. En … het kan net zo gemakkelijk, in z’n geheel of gedeeltelijk, in andere registratie- en volgprogramma’s worden ondergebracht. We denken daarbij aan Tangram en Esis, maar ook aan ParnasSys en Dotcom-school. De toepassing van het systeem kan worden aangepast aan de wensen van de school en/of het bestuur. Het kan worden ingezet op leerkracht-/groepsniveau, maar ook als 'tool' voor de IB’er (zorgcoördinator).

Het systeem maakt leerling-, groeps- en schooloverzichten. Met de overzichten kan niet alleen de voortgang van de leerling, maar ook de kwaliteit van het onderwijs in de groep en op school worden bewaakt. De schooloverzichten kunnen bovendien door het bovenschools management en/of het bestuur worden verzameld om ook op dat niveau te kunnen sturen op kwaliteit.

Het systeem kent de volgende functies:

brengt het vaardigheidsniveau van de leerling in beeld en vergelijkt dit
- met de resultaten van de vorige metingen bij de leerling
- met de resultaten van de groepsgenoten
- met de resultaten van de leerlingen in de vorige en de volgende groepen
- met de landelijke norm
- met de resultaten bij andere (instrumentele) vaardigheden

brengt het vaardigheidsniveau van de groep in beeld en vergelijkt dit
- met de resultaten van de vorige metingen bij de groep
- met de resultaten van de voorgaande en volgende groepen
- met de landelijke norm
- met de resultaten bij andere (instrumentele) vaardigheden

brengt het vaardigheidsniveau van de school in beeld en vergelijkt dit
- met de resultaten van de vorige metingen op de school
- met de landelijke norm
- met de resultaten bij andere (instrumentele) vaardigheden

brengt het leerrendement van de leerling in beeld en vergelijkt dit*
brengt het leerrendement van de groep in beeld en vergelijkt dit**
brengt het leerrendement van de school in beeld en vergelijkt dit***

brengt de leersnelheid van de leerling in beeld en vergelijkt dit*
brengt de leersnelheid van de groep in beeld en vergelijkt dit**
brengt de leersnelheid van de school in beeld en vergelijkt dit***

berekent de opbrengst van het onderwijs bij de leerling en vergelijkt dit*
berekent de opbrengst van het onderwijs bij de groep en vergelijkt dit**
berekent de opbrengst van het onderwijs bij de school en vergelijkt dit***

geeft voor de leerling een perspectief in termen van een haalbare vorm van VO
houdt rekening met de kalenderleeftijd van de leerling

*) vergelijken kan met vorige metingen, groepsgenoten, leerlingen in de vorige en de volgende groepen, de landelijke norm en met de resultaten bij andere (instrumentele) vaardigheden

**) vergelijken kan met vorige metingen, de vorige en de volgende groepen, de landelijke norm en met de resultaten bij andere (instrumentele) vaardigheden

***) vergelijken kan met vorige metingen, de landelijke norm (eventueel andere scholen) en met de resultaten bij andere (instrumentele) vaardigheden

Bij het systeem werden aanvankelijk de onderstaande (methode-onafhankelijke) onderdelen/testen/instrumenten ontwikkeld, die op basis van grote landelijke steekproeven zijn genormeerd (de meeste onderdelen kunnen als pen-en-papierversie worden toegepast, een enkel onderdeel heeft ook een ‘eigen’ computerprogramma voor de verwerking):

1. Houding/Gedrag (sociaal-emotionele ontwikkeling)
voor groep 1 t/m 8

2. OPSEO, ObservatiePakket voor de Sociaal-Emotionele Ontwikkeling
voor groep 1 t/m 8

3. Woordenschattest (taalontwikkeling)
voor
groep1 [de versie voor groep 2 is in ontwikkeling, evenals een woordenschattest
voor 3 t/m 8]

4. LVS 1-2, (functie-ontwikkeling)
voor groep 1 en 2

5. OPFO, ObservatiePakket voor de FunctieOntwikkeling
voor groep 1,
2 en 3

6. Voorwaarden- en kennistoets (taal/lezen en rekenen)
voor
groep 2 en 3

7. DLE-TEST lezen klassikaal (technisch lezen)
voor
groep 3 t/m 8

8. DLE-TEST lezen zinnen A en B (technisch lezen)
voor
groep 3 t/m 8

9. DLE-TEST spellen zinnen A en B (zinnen met
werkwoordsvormen)
voor groep 3 t/m 8 [de versie met alleen woorden en één
lange DLE-schaal is in ontwikkeling]

10. DLE-TEST hoofdrekenen
(technisch rekenen)
voor groep 3 t/m 8

11. DLE-TEST rekenen/wiskunde
(inzichtelijk rekenen)
voor groep 3 t/m 8

12. DLE-TEST begrijpend
lezen A
voor groep 4 t/m 8

13. DLE-TEST begrijpend lezen B
voor
groep 4 t/m 8

14. DLE BOEK, met daarin de DLE-schalen van alle in
Nederland verkrijgbare testen

15. Combischalen, DLE- èn Citoschalen van
testen uit beide systemen

16. NIBOP, programma voor NIveauBewaking en
OPbrengstmeting met DLE èn Cito

Al deze onderdelen zijn overgenomen door Boom test uitgevers en worden daar onder (soms) een andere naam doorontwikkeld (zie noot 2). Kijk voor meer informatie op http://www.boomtestuitgevers.nl/

1) Het computerprogramma op cd-rom werd ontwikkeld door QPeer en is als zodanig niet meer te koop, omdat de content inmiddels nagenoeg volledig is ondergebracht in bijna alle op de markt zijnde administratieprogramma’s.
De profielen op A3-formaat, waarmee een registratie te realiseren was die thans door nog geen enkel computerprogramma is geëvenaard, waren nog lange tijd te koop bij uitgeverij Eduforce, maar ook die verkoop is inmiddels gestaakt.

2) De nummers 1 en 15 zijn niet meer te koop. De nummers 7 t/m 13 verschenen/verschijnen in de verbeterde reeks Schoolvaardigheidstoetsen bij Boom test uitgevers te Amsterdam.

Uit het Kennisnet-archief

Op het forum van Kennisnet Leerlingzorg beantwoordden deskundigen vragen van bezoekers.

Op deze pagina enkele van de veelgestelde vragen over het onderwerp 'testen en toetsen' beantwoord door drs. Teije de Vos.

Eindnorm lezen groep 3
Wat wordt er in het algemeen als eindnorm gehanteerd voor het lezen aan het eind van groep 3? Bijvoorbeeld 80% AVI 2 als streefdoel?
Wat wordt er op andere scholen gedaan als blijkt dat bijvoorbeeld 20% de norm niet haalt?

Antwoord:
Aan het eind van groep 3 hebben de leerlingen (in DLE-termen) tien maanden onderwijs (DL 10) achter de rug. Van een ‘gemiddelde’ leerlingen mag je dan ook een niveau van DLE 10 verwachten. In het DLE BOEK (Boom test uitgevers) kun je vinden met welke score op de DMT, AVI, Brus, TTL, DLE-TEST lezen, Schoolvaardigheidstoets Technisch Lezen enzovoort dat overeenkomt. Met andere woorden, in het DLE BOEK vind je van alle testen welke score je aan het eind van groep 3 mag verwachten. Overigens vind je niet alleen de scores aan het eind van groep 3, maar van alle onderwijsmaanden.

Een leerling met een leerrendement van minder dan 50% (dat is dus bijvoorbeeld een DLE van 27 = niveau maart groep 5 bij een DL van 55 = januari groep 8) 'moet' naar het PrO. Aan het eind van groep 3 zou een leerling met een DLE van minder dan 5 uiteindelijk op het PrO uitkomen als dat niet verandert … Een leerling die precies DLE 10 haalt, heeft een leerrendement van 100% en kan later naar de Havo ... (als het zo blijft!). Een potentiële VWO-er ‘moet’ een leerrendement van 117% hebben.

*

Didactische leeftijd
Als ontwikkelaar van een leerlingvolgsysteem, kom ik veel in aanraking met scholen die met 'dle-toetsen' werken. Bij de berekening van het leerquotient krijg je in de lagere dl-waarden soms 'vreemde' uitschieters, omdat de didactische leeftijd loopt van 0 tot 60.
Wat is er op tegen om de didactische leeftijd tot 80 (en dus ook de dle's van de toetsen) te laten lopen, waarbij dan 20 overeenkomt met het begin van groep 3?
Is de huidige berekening van de didactische leeftijd slechts een erfenis uit het verleden (zeg maar van voor de basisschool, klassen 1 t/m 6), of zit er een diepere bedoeling achter?

Antwoord:
Het getal van de DL (het aantal maanden onderwijs dat er is genoten vanaf het begin van klas 1, thans groep 3) is inderdaad gerelateerd aan de klasindeling van de lagere school. Aan het eind van klas 6 had een leerling dus 60 maanden onderwijs genoten. Dat zijn er tien per leerjaar, omdat juli en augustus niet meedoen i.v.m. de vakanties. Toen de kleuterschool en de lagere school steeds meer gingen samenwerken op weg naar de basisschool is er besloten deze indeling zo te laten, maar vanaf het begin van de basisschool te gaan tellen bij – 20. Nu wordt er zelfs met -30 gerekend, omdat de peuterspeelzaal steeds meer samenwerkt met de basisschool. Overigens stuiten we bij die onderwijsmaanden voor groep 3 wel op een probleem: de leerlingen hebben niet allemaal hetzelfde aantal maanden onderwijs genoten (ze komen op school als ze vier jaar zijn). Dat geldt na groep 3 ook, maar ondanks de bedoelingen van de basisschool is het op dit moment op de meeste scholen nog steeds zo, dat alle kinderen vanaf september groep 3 in principe hetzelfde onderwijs krijgen aangeboden.

De getallen tot 70 en 80 worden in een aantal situaties al gebruikt: voor VO-1 en VO-2 (kijk maar eens bij de OBD Noordwest-Holland (Lemon 414, LeerlingMonitor voor 4 – 14 jarigen). Ook een aantal testen hebben een DLE-schaal die doorloopt tot circa 70.
Uw voorstel ‘Wat is er op tegen om de didactische leeftijd tot 80 (en dus ook de dle's van de toetsen) te laten lopen, waarbij dan 20 overeenkomt met het begin van groep 3?’ lijkt dus in mijn ogen niet haalbaar. Bovendien zouden we dan nogal wat moeten aanpassen… Kent u het DLE BOEK? Al die honderden schalen zouden we dan moeten veranderen om nog maar te zwijgen over al die computerprogramma’s die op deze indeling zijn gebaseerd. En wat denkt u van de verwarring die zou ontstaan?

Overigens, zouden we dan niet beter meteen de 0 bij het begin van de peuterspeelzaal kunnen zetten? Begin groep 1 wordt dan 16 en begin groep 3 wordt 36. Eind groep 8 wordt 95 en eind VO-2 wordt dan 115 ...

*

Resultaat Drempeltest viel tegen
Mijn zoon heeft de Drempeltest gedaan en we zijn vorige week naar school geweest voor het resultaat. Het viel ons een beetje tegen en zelfs de leerkrachten hadden een hoger schoolniveau verwacht. Hoe kan dat? De resultaten van eigen testjes op school wijzen ook uit dat het niveau van mijn zoon hoger moet liggen.

Antwoord:
De Drempeltest meet iets anders dan de testen/toetsen op school. Daar wordt gemeten wat eruit komt; de Drempeltest meet wat erin zit. En… er hoeft niet altijd uit te komen wat erin zit. In dit geval lijkt er op school meer uit te komen dan erin zit. Is uw zoon erg gemotiveerd, plichtsgetrouw en ijverig? Dat kan (ook bij de leerkracht) wel eens een vertekend beeld opleveren. Let hierbij in het bijzonder op de uitslagen van ‘Boekje 9’ over de persoonlijkheid van uw zoon. Andersom kan echter ook voorkomen. Pas nog (weer) meegemaakt: een meisjes dat op school beoordeeld werd als ‘laag VMBO’ blijkt bij de Drempeltest te beschikken over een potentie op gymnasiumniveau! Een niet ‘ontdekte’ (hoog)begaafde leerling dus ... Wanneer u vragen houdt, kunt u contact zoeken met iemand van bijvoorbeeld de onderwijsbegeleidingsdienst.

*

Wat zijn mijn rechten?
Van de huidige school van mijn zoon en dochter wil ik graag een kopie ontvangen van het leerlingvolgsysteem, dit i.v.m. verandering van school. Dit is niet mogelijk (protocol), wel is het besproken met de juf, maar ik heb het niet daadwerkelijk in kunnen zien. Wat zijn mijn rechten in deze?

Antwoord:
De school kan (hoort) u over deze kwestie (te) informeren. Wanneer u niet tevreden bent, kunt u contact zoeken met het bestuur en eventueel de klachtencommissie van de school. Voor achtergrondinformatie moet u voor dit soort vragen bij de Inspectie van het Onderwijs zijn.

Het antwoord op uw vraag is echter eenvoudig. De school is wettelijk verplicht een Onderwijskundig Rapport te maken wanneer uw kind de school verlaat. In dat rapport staan natuurlijk ook de gegevens van het LVS. Op grond van de WPO (Wet op de PersoonsRegistratie) hebt u het recht dat rapport in te zien. Ook op de nieuwe school die het Onderwijskundig Rapport ontvangt, hebt u dat recht. U kunt dus in feite altijd alles (in)zien over uw kind.

Een kopie wordt iets lastiger! Dat hangt erg af van het beleid dat de school dienaangaande hanteert. Het kan best zijn dat de school heeft besloten voor het verstrekken van de gegevens een ‘vertaling’ voor de ouders te maken. Die zou u dan kunnen ontvangen.

De reden voor dit beleid kan zijn, dat een school dikwijls gegevens noteert rond het volgens van een leerling die uitsluitend voor intern gebruik zijn. Wanneer een school alles zou moeten ‘afgeven’ wat zij noteert over uw kind, zou dat de interne communicatie ernstig kunnen schaden. De school zou er namelijk voor kunnen kiezen heel weinig of niets zwart op wit te zetten, omdat ‘iedereen’ er een kopie van kan vragen. U moet bedenken dat in sommige aantekeningen ook ervaringen met of een oordeel over de ouders kan staan...

*

Toetsmateriaal VO-leerlingen
Als orthopedagoog heb ik moeite om aan geschikt (en genormeerd) toetsmateriaal voor VO-leerlingen te komen voor de gebieden begrijpend/studerend lezen, algemene taalkennis, woordenschat e.d. Zelfs op gebied van spelling is de markt dun gezaaid is mijn ervaring. Ik zoek met name diagnostisch materiaal omdat het signaleren vaak op de scholen zelf al gebeurt.

U signaleert terecht een probleem: het meeste materiaal is ontwikkeld voor het basisonderwijs. In het VO komt het nu duidelijk op gang. Het is dan ook nog maar sinds kort dat deze materie daar in de belangstelling staat. Dat heeft te maken met een de oude gewoonte: als je niet mee kunt komen, blijft je zitten en als dat niet helpt, ga je 'gewoon' een trapje lager... U kunt het beste informeren bij de onderwijsbegeleidingsdienst bij u in de buurt.

*

Toetsen rond voorwaarden
Welke toetsen kan ik gebruiken om te bekijken of een zwakke (Turkse) leerling voldoet aan de voorwaarden om naar groep 3 te gaan? CITO TVK en Ordenen is al afgenomen (E en E-score). Zou de UGT en Struiksma mogelijk zijn? Graag hoor ik uw suggesties.

Antwoord:
Er zijn vele middelen om na te gaan of de leerling voldoende toegerust is voor het volgen van onderwijs in groep 3. Van heel sober (LVS 1-2 van Boom test uitgevers) via een tussenvorm (OPFO van Boom) tot zeer gedetailleerd (NOK van Pearson). Misschien is de Eenvoudige Lees- en Rekenvoorwaardentoets (van Boom) in dit geval wel het handigste; dan pak je in elk geval de (technische) hoofdzaak. Je kunt ook de benadering van PRAVOO (Luc Koning) kiezen. Kortom, dit is niet in enkele woorden aan te geven.

Ik zou me beperken tot de taal/lees- en rekenvoorwaarden en de werkhouding (die vind je in elk geval stevig vertegenwoordigd in OPFO).

Vraag en Antwoord

Door leerkrachten die voor het eerst met DLE’s werken, worden dikwijls dezelfde vragen gesteld: ze lopen tegen dezelfde ‘verschijnselen’ aan. Daarom zetten we al die vragen en antwoorden hier op een rijtje. Mist u een vraag? Stuur dan een mailtje. Dat geldt ook voor vragen over de testen en toetsen van Teije de Vos.

Overigens, in de handleidingen bij de testen kunt u ook veel aan de weet komen …

De scores wijken nogal af…
De scores van de spellingtest wijken nogal af van hetgeen ik had verwacht; ze zijn veel lager (of hoger) dan ik dacht. In de methode doen ze het prima en bij de test scoren ze veel lager. Dit lijkt beslist niet realistisch, hoe kan dat? Bij een andere test voor spelling scoren ze wel ‘op niveau’.

Antwoord:
De eerste vraag die gesteld zou moeten worden, is, wie zijn ‘ze’? Alle leerlingen? Geldt de conclusie voor de hele groep? Of gaat het om een enkele uitschieter? Testmakers gaan uit van de (hele) grote getallen… Voor groepsonderzoek in het kader van een LVS vindt de COTAN dat er per groep ten minste 100 leerlingen in de steekproef moeten zitten. Voor beslissingen op individueel niveau (bijvoorbeeld verwijzing naar het SBO) moeten dat tenminste 300 zijn. In de DLE-TESTen van Boom test uitgevers is de kleinste groepsgrootte 423 (bij lezen zinnen A en B) en de grootste 948 (bij hoofdrekenen), gemiddeld zitten er circa 650 leerlingen per groep in de steekproef. Dat is in vergelijking met andere testen erg veel… Ondanks dat kunnen er zeker op individueel, maar ook op groepsniveau ‘gekke dingen’ gebeuren. De gebruiker moet daar rekening mee houden. Een test is geen meetlat! Het is altijd een schatting en dan ook nog op een bepaald moment. In de handleiding wordt daarvoor uitvoerig gewaarschuwd. En let op: de omstandigheden per school kunnen erg verschillen. Een praktijkvoorbeeld van de NTS (woorden): in de steekproef zaten twee scholen (openbaar en protestants-christelijk) in dezelfde wijk (zelfde ouderpopulatie). Het gemiddelde groepsniveau (dus de hele groep!) van groep 6 op de ene school lag een vol leerjaar boven de achteraf berekende norm, op de andere school lag dat gemiddelde groepsniveau van groep 6 een leerjaar lager dan de achteraf berekende norm. Dus, het verschil in niveau op de beide scholen bedroeg in groep 6 maar liefst twee leerjaren! Toch waren de omstandigheden ongeveer gelijk… Er was één verschil: de spellingmethode en de tijd, die werd besteed aan het spellingonderwijs.

Toch mooi dat je dan tenminste nog íets (min of meer objectiefs) hebt, om je mee te vergelijken…
Let wel, we praten hier over signaleringstoetsen.
‘Vreemde voorvallen’ en ‘gekke afwijkingen’ horen er gewoon bij. Dat geldt ook voor de vergelijking van een resultaat op een eerder afgenomen versie van de test met de huidige.
In sommige gevallen gaat een leerling (ogenschijnlijk) ‘achteruit’. Dat is natuurlijk zelden of nooit het geval. Het ligt in die gevallen dan ook niet aan de leerling, maar aan de test. Bij het IPMON (de voorganger van DLE-LVS) hebben we dan ook afgesproken dat een eens behaalde DLE gewoon blijft staan. Dat geldt nog steeds!
Hoe kan zoiets nu worden voorkomen? Het maken van een test is altijd een compromis. Om ‘uitschieters’ te voorkomen, zouden de leerlingen bij een te testen onderdeel ruim tweehonderd antwoorden moeten geven. Voor een dictee zou dat dus betekenen dat er ruim tweehonderd woorden in zouden moeten zitten. En dan ook nog woorden die er toe doen! Dus ‘de’, ‘het, en ‘een’ zouden we buiten beschouwing moeten laten. Dat is voor de praktijk niet haalbaar: het moet ook nog eens een keer worden nagekeken! Bovendien zou de testlast voor de leerling veel te groot worden. De dictees van de DLE-TEST spellen zinnen A en B zijn dan ook beperkt tot circa 60 woorden, waarvan circa 30 er toe doen. Bovendien is de test gefractioneerd: voor elke groep een stukje, hetgeen wil zeggen dat in het dictee maar een deel van de (in het algemeen in die groep aangeboden/behandelde) spellingproblemen aan de orde komt. Dan drukken we de scores ook nog eens uit in DLE’s, hetgeen veel ‘griezeliger’ is dan bijvoorbeeld de Cito-indeling (A = de 25% beste leerlingen). In het eerste geval zit je er sneller naast… Bij een indeling in de groep van de 25% beste leerlingen schiet je vaak raak. De 99-ste en de 76-ste van de honderd zijn beide A. Een afwijking valt daar dus minder snel op (lekker veilig voor de maker van de test…). Ook de COTAN vindt dat trouwens beter. Je uitspraak is meer ‘waar’ als je zegt dat de leerling tot het beste kwart van de groep behoort. De praktijk vraagt echter om meer detaillering: ‘Hoeveel is hij vooruit gegaan sinds de vorige keer?’

Boom test uitgevers streeft daarom naar het maken van cumulatieftesten (zoals hoofdrekenen en lezen zinnen A en B). Die hebben het voordeel dat ze

- van gemakkelijk naar moeilijk zijn opgebouwd
- de (zwakke) leerling niet frustreren (altijd te scoren)
- laten zien wat de leerling wèl kan en niet wat de leerling niet kan
- in één testbeurt meteen het eindniveau in beeld brengen
- bij een volgende afname een vooruitgang (kunnen) laten zien

Cito maakt domeintoetsen (een stukje uit de leerlijn dat aan de orde hoort te zijn in bijvoorbeeld de tweede helft van groep 6 [E6] wordt getoetst). Wanneer je daar als leerling nèt niet aan toe bent, maak je heel veel fout. De volgende keer weet je de inhoud van E6 wel, maar helaas… M7 is aan de beurt en maak je weer heel veel fout…

Om praktische redenen kunnen er helaas niet voor alle onderdelen cumulatieftesten worden gemaakt.
Een tussenoplossing is de gefractioneerde cumulatieftest (bijvoorbeeld rekenen/wiskunde). Ze hebben wel één lange DLE-schaal, maar kunnen in delen worden afgenomen.
Voor spellen en begrijpend lezen is het heel moeilijk om onze wensen te realiseren. We moeten daar helaas voor elke groep een apart (genormeerd) onderdeel maken. Je kunt kinderen uit groep 3 toch niet confronteren met woorden als accountant? Juist bij die testen zien we veel ‘afwijkingen’ en ‘merkwaardige verschijnselen’. Zo kan een leerling op een dictee voor groep 5 ‘alles’ fout maken en op het dictee voor groep 4 (omdat 5 te moeilijk was) ‘alles’ goed. Dat heeft wellicht te maken met het wél volledig begrijpen van de stof voor groep 4 en het nog niet begrijpen van de stof voor groep 5. Met een DLE-schaal kom je dan in de problemen: waar zit de leerling nu? Met een deviatieschaal was je in een keer uit de brand geweest: E (de zwakste 10%).

Een uitzondering is overigens het 150-woorden dictee (onveranderlijke woorden), dat qua constructie op rekenen/wiskunde lijkt (in ontwikkeling).

*

Onze beste speller scoort slechts gemiddeld. Hoe kan dat?
Hoe kan het dat zelfs onze beste speller onder het gemiddelde scoort? Deugt die normering wel?

Antwoord:
Eigenlijk kunnen we hier het beste een vraag van een andere school tegenover zetten: 'Hoe kan het dat zelfs onze zwakste speller nog gemiddeld scoort? Deugt die normering wel?'.

*

Een punt extra geeft maanden voorsprong…
Op sommige plekken in de DLE-schaal ga je met één punt meer goed, maar liefst drie maanden in niveau vooruit!

Antwoord:
Gelukkig zijn er ook schalen die beter in elkaar zitten. Ons streven is dat er gemiddeld drie scorepunten nodig zijn voor één DLE (een onderwijsmaand ‘verder’). Bij testen met relatief weinig scorepunten lukt dat niet. Zeker niet, wanneer we de schaal ook nog eens willen laten gelden voor de ‘belendende groepen’. In de handleidingen bij de testen wordt uitgelegd, hoe een DLE-schaal tot stand komt. Stel dat op een test met 35 opgaven de gemiddelde score in groep 5 ‘20’ is (dat is minimaal, want ze mogen niet gefrustreerd worden door veel fouten), in groep 6 ‘27’ en in groep 7 ‘31’ (een gemiddelde waarbij alle leerlingen alles goed hebben, bestaat niet).
Dan hebben we voor de schaal van 6 naar 7 maar 4 ruimtes om te overbruggen, terwijl er tien onderwijsmaanden zijn! Dat wordt lastig… We zien in die gevallen dezelfde score helaas bij meerdere DLE’s staan. Jammer, maar weinig aan te doen. Ook hier geven deviatieschalen weer de oplossing, maar zeggen veel minder.

Overigens, ook bij het Cito treffen we in extreme gevallen testen aan waarbij er maar 5 scorepunten beschikbaar zijn om de hele populatie te verdelen over A t/m E. Eén antwoord meer goed, is niet B, maar A…

*

Zelfde score bij meerder DLE’s
Wat moet ik doen wanneer een score bij meerdere DLE’s staat?

Antwoord:
We hebben daarvoor een nieuwe regel: U kiest de DLE die het dichtst bij de DL staat. Dat is voor de praktijk de beste oplossing en het is voor de leerling het ‘eerlijkst’. Bovendien geeft dit het meest realistische beeld.

*

Allemaal dezelfde scores
Aan het eind van de schaal staan allemaal dezelfde scores. Wat moet ik daarmee?

Antwoord:
Eigenlijk zou het antwoord moeten zijn: niets! Beter was geweest dat deel van de schaal maar niet af te drukken. De test is daar als het ware ‘uitgewerkt’. Zij differentieert niet meer. Je kunt dat vergelijken met het volgende. De leerlingen van uw groep moeten zich 100 meter verderop bij een hek melden en krijgen na uw fluitsignaal daarvoor een uur de tijd. Dat is onzin, want na een paar minuten zijn ze allemaal al bij het hek. Wachten heeft geen zin. Doortesten na een DL waarbij alle leerlingen (nagenoeg) alles goed maken, heeft ook geen zin. Waarom staat die schaal er dan, zult u vragen. Wel, dat heeft te maken met de systematiek: we geven steeds meerdere leerjaren weer. Dat kunnen we beter niet doen, het geeft verwarring en ‘gekke verschijnselen’. Je kunt daar namelijk met één punt meer dan een jaar vooruit gaan!?! In het DLE BOEK doen we dat dan ook niet.

*

DLE-schaal langer maken
Waarom wordt de DLE-schaal niet langer gemaakt? Hij houdt nu op en de hoogste en laagste scores hebben geen DLE.

Antwoord:
In de handleidingen bij de DLE-TEST leest u hoe de schalen worden gemaakt. Daar staat ook iets over extrapoleren. Dat doen we met maximaal de helft van de ‘bekende’ scores. M.a.w. wanneer we ergens een gemiddelde hebben van 10 en tien maanden verder ook een van 20, dan kunnen we met ‘zekerheid’ de tussenliggende scores ‘vaststellen’ (in feite schatten). We kunnen daarvoor en daarna ook nog iets doen (we redeneren als het ware door en terug). Dat mag niet verder dan de helft van wat we al weten. Dus in dit geval: 5 + 10 + 5 = 20 DLE’s. Wanneer we nóg verder gaan doorredeneren begeven we ons op zeer glad ijs!

*

Alles goed, wat nu?
Ik heb een leerling die alles goed heeft. Die score staat niet in de DLE-schaal. Hoe kan dat?

Antwoord:
In de DLE-schaal staan bij de onderwijsmaanden de gemiddelde scores van de steekproef op dát moment. Een steekproef waarbij alle deelnemers alles goed hebben, bestaat (in principe) niet. M.a.w. wij weten niet waar die DLE zich bevindt. Theoretisch zouden we dat nog wel kunnen realiseren, maar dan moeten we de test voor bijvoorbeeld groep 5 ook in groep 8 afnemen met de bedoeling dat iedereen daar alles goed heeft. Zoiets heeft weinig zin.
Overigens, voor dit probleem staat in de handleiding bij de test een oplossing: schakelen.

*

Alles fout, wat nu?
Ik heb een leerling die alles fout heeft. Die score staat niet in de DLE -schaal. Hoe kan dat?

Antwoord:
In de DLE-schaal staan bij de onderwijsmaanden de gemiddelde scores van de steekproef op dát moment. Een steekproef waarbij alle deelnemers alles fout hebben, bestaat (in principe) niet. M.a.w. wij weten niet waar die DLE zich bevindt. Theoretisch zouden we dat nog wel kunnen realiseren, maar dan moeten we de test voor bijvoorbeeld groep 8 ook in groep 5 afnemen met de bedoeling dat iedereen daar alles fout heeft. Dat doe je niet…
Overigens, voor dit probleem staat in de handleiding bij de test een oplossing: schakelen.

*

De test deugt niet; we scoren te laag!
Hoe kan het dat de leerlingen in onze methode het goed doen en op de test slecht?

Antwoord:
Tsja… dat stemt tot nadenken! We hebben een aardig voorbeeld uit de praktijk m.b.t. de Tempo Test Rekenen. Een school in een goede wijk met een goede leerlingpopulatie zat met name in de onderbouw behoorlijk onder de norm. Paniek! De test deugt niet! Maar, andere testen (die wel de gewenste uitslagen gaven, waren er niet). Nadere bestudering bracht echter aan het licht dat de nieuwe rekenmethode van de school nagenoeg niets aan automatiseren/hoofdrekenen deed. De school voerde in elke groep twee keer per week een kwartiertje ‘handig rekenen’ in. Na drie maanden zat de hele club ver boven de norm! Men moet bedenken: de DLE-TESTen zijn methode-onafhankelijk!

*

We zitten er boven!
Wij zitten met begrijpend lezen door de hele school ver boven de norm. Deugt die test wel?

Antwoord:
Gefeliciteerd, zou ik zeggen. We komen dezelfde vraag, maar dan andersom, net zo vaak tegen.

*

Te hoog en te laag
Ik test een leerling met een niet-cumulatieve test en heb dus voor elke groep een aparte DLE-schaal. Nu scoort de leerling in de test voor groep 5 zo laag dat hij buiten de schaal valt en (wonder boven wonder!) in de test voor groep 4 scoort hij zo hoog dat hij ook daar buiten valt! Wat moet ik doen?

Antwoord:
Kies de DLE er middenin (van de overgang), dus DLE 20.

*

Wat is nou je DL?
Waarom wordt een gedoubleerd jaar meegeteld bij de dle-meting? Je hebt dan automatisch een achterstand van een jaar, terwijl je gewoon meeleert met de rest van de klas. En als je op een aantal gebieden achterstand hebt t.o.v. de rest van de klas, nou, kijk dan maar uit want die DLE is gauw te laag! Dan zit je in groep 7, je werkt voor spelling en rekenen op niveau groep 6 en je wordt beoordeeld als zat je in groep 8. Terwijl je de stof van groep 8 nog nooit gehad hebt!!! Nou, dan heb je gauw een advies PrO te pakken, terwijl je best wel LWOO aankan. Je hebt wat extra zorg nodig, maar omdat je 12 bent, kan de basisschool je makkelijk lozen. Ik vind dit geen rechtvaardige beoordeling.

Antwoord:
Helemaal mee eens!Zo doen wij dat dus ook niet bij het IPMON en het DLE-LVS. Het kan nog erger: je bent nog geen zes en komt in groep 3 (je wordt eind september zes). Het valt tegen en je doet groep 3 nog een keer. Bij de tweede start ben je (bijna) even oud als de leerling die nog een jaartje in groep 2 bleef (die wordt half oktober zeven). En jij zou steeds die tien onderwijsmaanden aan de broek krijgen?!?
Overigens, een doublure meetellen is ook om andere redenen niet eerlijk: je doet (normaal gesproken) hetzelfde onderwijs nóg een jaar en je zou, door een hogere DL aangewreven te krijgen, worden afgerekend op een niveau waarvan je het onderwijs nooit hebt gehad?!?
Ook pedagogisch is het niet verantwoord: zo kan de leerling het natuurlijk nooit goed doen …

Nee, de DL is gelijk aan de onderwijsmaand waarin je vertoeft. Zit je in januari in groep 5? Dan is je DL 25. Niet meer en niet minder. In IPMON en DLE-LVS houden we wèl rekening met de kalenderleeftijd. We drukken dat uit in + en - t.o.v. de gemiddelde kalenderleeftijd per DL. Wanneer twee leerlingen op DL 25 een score halen van DLE 25, maar de ene leerling is tien maanden jonger dan de ander, dan is de prestatie van de jongere leerling natuurlijk wel beter... Heel precies kun je dat beoordelen wanneer je de leeftijden vergelijkt met de gemiddelde kalenderleeftijd op dat moment. Stel dat de een vijf maanden jonger is en de ander vijf maanden ouder... Dan valt het eerste mee en het tweede houdt niet over.
Lees 'Afwijking op de DL'.

*

Toetsmomenten in het SBO
Ik ben sinds kort als IB-er werkzaam op een SBO-school.Graag zou ik uw advies willen over de beste standaardmomenten van toetsafname in het sbo.Wij maken gebruik van Cito-toetsen en vragen ons af of het net als in het BO zinnig is de momenten januari en mei/juni aan te houden.

Antwoord:
Psychometrisch gezien (als het over de zuiverheid/betrouwbaarheid van de te berekenen resultaten gaat) komen de beste toetsmomenten overeen met de momenten waarop de steekproef het werk heeft gemaakt in het kader van de normering van de test (die momenten staan in de handleiding aangegeven). Met andere woorden, wanneer een bepaalde test voor een bepaalde groep in de maand april is genormeerd, dan is dát de beste (de meest zuivere) afnamemaand.Omdat vanwege praktische overwegingen andere momenten ‘beter’ kunnen zijn, zijn onder meer de DLE’s uitgevonden. Ik denk dan bijvoorbeeld aan leerlingen die nog niet het (gemiddelde) niveau beheersen dat op het afnamemoment door de test wordt gevraagd, maar waarvan je toch graag wilt weten ‘waar-ze-zitten’. De mooiste constructie is de cumulatieftest met DLE’s. Zo’n test begint makkelijk en wordt steeds moeilijker, bovendien is die test ‘door-de-jaren-heen’ genormeerd. Een heel goed voorbeeld daarvan is de nieuwe DLE-TEST lezen zinnen A en B. Die kun je op elk moment afnemen in groep 3 t/m 8 (en zelfs nog eerder en later) en bij elk afnamemoment (elke maand) heb je een norm.Wanneer je in de handleiding van die test leest hoe de normen en de DLE’s tot stand kwamen, weet je precies wat je nog wel en beter niet kunt doen als het over het hanteren van die normen gaat. DLE-TESTen zijn gemaakt voor deze wijze van afnemen. De Cito-toetsen hebben ook een DLE-schaal, maar die moet je zoeken in het DLE BOEK. Bovendien zijn de Cito-toetsen niet cumulatief; het zijn domeintoetsen, die de leerstof van dát moment (bijvoorbeeld tweede helft groep 6) tot onderwerp hebben.

Daarom drukt Cito de resultaten ook liever uit in termen van een afwijking van het gemiddelde (hij behoort tot de 10% zwakste leerlingen, de E-leerling).

DLE-testen geven het niveau aan in de vorm van een plek in de ‘schoolloopbaan’ (zijn niveau komt overeen met datgene wat gemiddeld in de 36-ste onderwijsmaand wordt gepresteerd). Wanneer die leerling dan al in de 46-ste onderwijsmaand zit, zou je kunnen zeggen dat hij een jaar ‘achter’ is…Concreet antwoord op je vraag: afnemen volgens ‘de voorschriften’ kan wel, maar ze zullen veel fouten maken, omdat de stof in de test voor de meeste leerlingen te moeilijk zal zijn. Dat ontmoedigt én de leerlingen vallen waarschijnlijk voor het grootste deel in E… (en dat wist je waarschijnlijk al…). M.a.w. wat voor informatie levert het op?

Mijn advies voor het SBO: gebruik cumulatieftesten met DLE-schalen (van makkelijk naar moeilijk; de leerling raakt niet ontmoedigd en maakt wat hij kan; hij laat zien ‘waar-hij-zit’/hoe ver hij is). Bijkomend voordeel: cumulatieftesten zijn dikwijls herhaald afneembaar, waardoor de leerling de volgende keer kan laten zien hoeveel hij is vooruitgegaan…

*

Welk niveau is goed?
Wat wordt er in het algemeen als eindnorm gehanteerd voor het lezen aan het eind van groep 3? Bijvoorbeeld 80% AVI 2 als streefdoel?Wat wordt er op andere scholen gedaan als blijkt dat bijvoorbeeld 20% de norm niet haalt? Op onze school wordt in groep 3 elke dag gelezen, we maken ook gebruik van het duolezen. In groep 4 proberen we de ‘achterstand’ op te vangen door het tutorlezen en speciale leesbegeleiding, maar we willen graag meer preventief werken.We hopen op reacties en tips. Bedankt alvast!

Antwoord:
Aan het eind van groep 3 hebben de leerlingen (in DLE-termen) tien maanden onderwijs (DL 10) achter de rug. Van een ‘gemiddelde’ leerling mag je dan ook een niveau van DLE 10 verwachten. In het DLE BOEK kun je vinden met welke score op de DMT, AVI, Brus, TTL, DLE-TEST lezen, enzovoort, dat overeenkomt. Met andere woorden, in het DLE BOEK vind je van alle testen welke score je aan het eind van groep 3 mag verwachten. Overigens vind je niet alleen de scores aan het eind van groep 3, maar ook van alle onderwijsmaanden.In ons DLE-LVS en bij de Drempeltest (nu ook de Tussentest en straks de Begintest) leveren wij ‘grenswaarden’ waarmee je kunt nagaan welk perspectief in termen van een positie in het VO hoort bij een bepaalde score. De RVC-VO doet dit ook (op last van OCW) bij de selectie van leerlingen voor het PrO en LWOO.

Zo ‘moet’ een leerling met een leerrendement van minder dan 50% (dat is dus bijvoorbeeld een DLE van 27 = niveau maart groep 5 bij een DL van 55 = januari groep 8) naar het PrO. Aan het eind van groep 3 zou een leerling meteen DLE van minder dan 5 uiteindelijk op het PrO uitkomen als dat niet verandert…

Een leerling die precies DLE 10 haalt, heeft een leerrendement van 100% en kan later naar de Havo… (als het zo blijft!). Een potentiële VWO-er moet’ een leerrendement van 117% hebben.
Wanneer u op www.boomtestuitgevers.nl de handleidingen van DLE-LVS, de Drempeltest en de Tussentest gaat downloaden, vindt u alle informatie. Daar vindt u ook dat het streven naar bijvoorbeeld 80% van de leerlingen ‘op-de-norm’ helemaal fout is… (!) Dat moet misschien wel 100% zijn en zelfs dát kan nog te weinig zijn. Anderzijds kan 60% ‘op-de-norm’ wel eens een heel goede prestatie zijn. Dit alles heeft te maken met de vraag: ‘Haalt de school eruit wat erin zit?’ Daarvoor moet u twee dingen weten: wat zit erin en wat komt eruit. Als er niet veel in zit, komt er ook niet veel uit.Zie daarvoor de schema’s bij het DLE-LVS over de potentie (te meten met de Drempeltest/Tussentest/Begintest) en het resultaat (te meten met uw LVS); de school die de minste leerlingen naar Havo/VWO stuurt, blijkt daar niettemin de beste te zijn…

*

Nummers van de onderwijsmaanden (DL) veranderen?
Als ontwikkelaar van een leerlingvolgsysteem, kom ik veel in aanraking met scholen die met 'DLE-toetsen' werken. Bij de berekening van het leerquotiënt krijg je in de lagere DL-waarden soms 'vreemde' uitschieters, omdat de didactische leeftijd loopt van 0 tot 60.Wat is er op tegen om de didactische leeftijd tot 80 (en dus ook de DLE's van de toetsen) te laten lopen, waarbij dan 20 overeenkomt met het begin van groep 3?Is de huidige berekening van de didactische leeftijd slechts een erfenis uit het verleden (zeg maar van voor de basisschool, klassen 1 t/m 6), of zit er een diepere bedoeling achter?

Antwoord:
Het getal van de DL (het aantal maanden onderwijs dat er is genoten vanaf het begin van klas 1, thans groep 3) is inderdaad gerelateerd aan de klasindeling van de lagere school. Aan het eind van klas 6 had een leerling dus 60 maanden onderwijs genoten. Dat zijn er tien per leerjaar, omdat juli en augustus niet meedoen i.v.m. de vakanties. Toen de kleuterschool en de lagere school steeds meer gingen samenwerken op weg naar de basisschool is er besloten deze indeling zo te laten, en dus vanaf het begin van de basisschool te gaan tellen bij – 20. Nu wordt er zelfs met -30 gerekend, omdat de peuterspeelzaal steeds meer samenwerkt met de basisschool. Overigens stuiten we bij die onderwijsmaanden voor groep 3 wel op een probleem: de leerlingen hebben niet allemaal hetzelfde aantal maanden onderwijs genoten (ze komen op school als ze vier jaar zijn). Dat geldt na groep 3 ook, maar ondanks de bedoelingen van de basisschool is het op dit moment op de meeste scholen nog steeds zo, dat alle kinderen vanaf september groep 3 in principe hetzelfde onderwijs krijgen aangeboden.

De getallen tot 70 en 80 worden in een aantal situaties al gebruikt: voor VO-1 en VO-2 (kijk maar eens bij de OBD Noordwest-Holland (Lemon 414, LeerlingMonitor voor 4 – 14 jarigen). Ook een aantal testen hebben een DLE-schaal die doorloopt tot circa 70.
Uw voorstel ‘Wat is er op tegen om de didactische leeftijd tot 80 (en dus ook de dle's van de toetsen) te laten lopen, waarbij dan 20 overeenkomt met het begin van groep 3?’ lijkt dus in mijn ogen niet haalbaar. Bovendien zouden we dan nogal wat moeten aanpassen… Kent u het DLE BOEK? Al die honderden schalen zouden we dan moeten veranderen om nog maar te zwijgen over al die computerprogramma’s die op deze indeling zijn gebaseerd. En wat denkt u van de verwarring die zou ontstaan? Overigens, zouden we dan niet beter meteen de 0 bij het begin van de peuterspeelzaal kunnen zetten? Begin groep 1 wordt dan 16 en begin groep 3 wordt 36. Eind groep 8 wordt 95 en eind VO-2 wordt dan 115…

*

Wettelijk verplicht?
Ik las dat DLE's wettelijk verplicht zijn. Waar vind ik hier meer informatie over?

Antwoord:
Het beste kunt u kijken op de website van de landelijke RVC-VO: http://www.rvc-vo.nl/

*

Ze scoren lager dan in de vorige groep!
In mijn groep denderen de scores op de TTR ineens naar beneden bij bijna alle leerlingen! Hoe kan dat?

Antwoord:
Is het mogelijk dat de leerkracht in de vorige groep zich niet precies aan de afnametijd heeft gehouden? Wanneer je er maar precies 1 minuut aan mag werken en je doet er tien seconden bij om ze wat tegemoet te komen (een hogere score bemoedigt natuurlijk wel en het staat naar de ouders toe ook leuk…). Helaas, de volgende leerkracht, die zich wél aan de regels houdt, moet het bezuren.

*

Van ‘Aantal goed’ naar DLE’s in TANGRAM…
Op onze scholen gebruiken we (tot grote tevredenheid) onder meer de NTS van Teije de Vos. Wij voeren de gegevens in TANGRAM in. Op dit moment zijn de toetsen apart ingevoerd: NTS woorden 4, 5, 6, 7, 8 en zinnen 4, 5, 6, 7, 8.
Als ik het dictee zinnen 5/6 afneem en het kind scoort 55 goed geschreven woorden, wat is dan mijn DLE? Ik kan dat nergens uit de normtabel halen!Op onze scholen zitten genoeg kinderen die aan of buiten de rand van detoets scoren. Wij kregen van de helpdesk van TANGRAM het advies om niet meer de scores, maar de DLE’s in te voeren.
Dat lijkt ons inderdaad veel handiger: je hebt dan maar één toetsplaats voor spellen (eventueel onderverdeeld in woorden en zinnen) en dus één grafiek van een leerling door de jaren heen (in plaats van nu 2 x 6 = 12 !!!). Wij werken dus niet meer met ‘aantal goed’, maar voeren zelf direct de behaalde DLE in bij het onderdeel ‘Spellen’. Maar… dan moet ik natuurlijk wel gegevens hebben! Waar vind ik die?

Antwoord:
Dat advies is klasse! Invoeren van de DLE is natuurlijk veel beter. Nadeel is wel dat het programma voor jou niet meer de DLE zoekt bij de score. Voordeel is dat je die toetsdefinities ook niet allemaal hoeft in te kloppen. En… dat je een veel overzichtelijker geheel krijgt (met minder kans op fouten!).

Dat zoeken van die DLE kan overigens wel weer automatisch met het DLE-BOEK digitaal, dat in een hoekje met TANGRAM kan meedraaien…
Dan over die score. Bij sommige scores (waaronder 'alles goed') is doorgaans geen DLE te maken, omdat er geen steekproef te vinden is waarin iedereen alles goed heeft. Bij de DLE staat namelijk de g e m i d d e l d e score. En wanneer heeft een groep nu gemiddeld alles goed? Er is altijd wel iemand die een foutje maakt... Dus, die DLE is er niet.

Wat te doen wanneer een individuele leerling wél alles goed heeft? We hanteren dan de volgende regels:

Is een score hoger dan de hoogste aan een DLE gekoppelde score, ken dan de hoogste in de schaal voorkomende DLE toe. Als daartoe de mogelijkheid bestaat (bij pen/papier versies), zet er dan een > teken voor. Is een score lager dan de laagste aan een DLE gekoppelde score, ken dan de laagste in de schaal voorkomende DLE toe. Als daartoe de mogelijkheid bestaat (bij pen/papier versies), zet er dan een < teken voor

Een andere oplossing is het zogenaamde 'schakelen'. De toets bleek dus te makkelijk/moeilijk (de leerling had meer dan de hoogste/laagste score goed/fout). Men kan dan een moeilijker/makkelijker toets afnemen om toch weer in de schaal te scoren.

*

Leerrendement en/of Leerachterstand of leersnelheid?
Wanneer ik het leerrendement wil berekenen, dan pas ik de volgende formule toe: dle (van nu) - dle (vorige keer) : dl (van nu) – dl (vorige keer). Ik ga dus altijd uit van een vorige score. Als ik echter in uw programma* de score van een leerling intoets die de toets pas voor de eerste keer maakt, dan krijg ik al meteen een leerrendement. Hoe is dat mogelijk?

*) bedoeld wordt het ‘DLE-BOEK digitaal’ van Boom test uitgevers (niet meer in de handel).

Antwoord:
U zegt het goed: je krijgt een leerrendement en niet een leersnelheid. Dát is namelijk wat u doet!
Ik heb even nagerekend wat u doet en dan krijg je inderdaad een getal dat de relatieve vooruitgang uitdrukt.

Eenvoudig gezegd doet u het volgende (als ik het goed begrijp): we zijn nu 5 maanden verder en het niveau is in die tijd 4 maanden vooruitgegaan, dus het ‘leerrendement (de vooruitgang)’, zoals u dat noemt, is 0,8 (80%). Dat geeft een goed beeld van de prestaties van de leerling, maar in feite spreken we hier van de leersnelheid. Deze valt alleen te berekenen wanneer we twéé DLE’s en twéé DL’s van hetzelfde moment hebben.

Met alleen één DLE en één DL (van hetzelfde moment) kunnen we ook iets, maar dan komen we op het leerrendement, waaraan wij dan ook nog het perspectief koppelen.

Echter, een ‘buitenstaander’ weet dan nog niet ‘waar de leerling zit’. Daarom past men in z’n algemeenheid een andere formule toe: (de op dit moment behaalde) DLE : (de huidige) DL. Bijvoorbeeld: een leerling haalt op dit moment een DLE van 15, terwijl de DL thans 20 is. We doen dan 15 : 20 = 0,75 (75%). De leerling beheerst dus 75% van hetgeen hij zou moeten beheersen. We weten dan meteen ‘waar hij zit’.
Het ministerie van OCW doet dat ook zo als het gaat over het verwijzen naar PrO en/of LWOO. Iemand met een leerrendement van 50% ‘moet’ naar het Pro; bij LWOO is dat 75%. Dit percentage kun je overigens al op elk moment in de schoolloopbaan berekenen (zie de informatie bij het DLE-LVS, te downloaden vanaf www.boomtestuitgevers.nl). Stel dat een leerling op DL 40 (eind groep 6) een DLE heeft van 20, dan ‘dreigt’ PrO…
Het ministerie spreekt overigens van Leerachterstand, maar dat is in dit geval eigenlijk het omgekeerde van Leerrendement. De rapportage van de Toelatingstoets van het Cito bevat ook DLE’s voor de leerling. Om de scores voor de RVC (verwijzing naar PrO en LWOO) te berekenen, bepaal je daar eerst wat de didactische leeftijd (DL) van de leerling is en pas je vervolgens voor de vier onderdelen de volgende formule toe: 1 - (DLE/DL).
In ons voorbeeld hierboven wordt de Leerachterstand dan 1 – (15 : 20) = 0,25. Het Leerrendement (wat heeft de leerling ‘opgepikt’) is het omgekeerde en dus 0,75 oftewel 75%.
Snap je het nog? Zie 'Begrippen en Regels DL - DLE'.

*

Er is geen DLE bij mijn score?!?
Ik hoop dat u mij kunt helpen. Er is bij ons pas de Cito-rekentoets afgenomen in groep 3 en daarna heb ik de DLE's bepaald aan de hand van bladzijde 5-14 van het DLE BOEK. Een kind scoorde erg laag: toetsscore 17. Dat komt in de tabel niet eens voor! Deze begint bij DLE 6. Hoe kan ik nu bepalen op welk niveau hij zit? Hopelijk kunt u mijn vraag beantwoorden.

Antwoord:
De DLE’s bij een test worden bepaald op basis van de normen in de handleiding van die de test. Bij het bepalen van de DLE gaan we op zoek naar de gemiddelde score die in een bepaalde onderwijsmaand wordt gehaald.

Wanneer die test bij bepaalde maanden geen scores heeft, kunnen er helaas geen DLE’s worden bepaald. Dus, als er geen DLE is, staat er in de test bij die maand ook geen (gemiddelde) score. Men moet namelijk bedenken dat de (min of meer) extreme scores als gemiddelde niet voorkomen. Zo is er bijvoorbeeld geen steekproef te vinden waarin iedereen alles goed (of fout) heeft. Het houdt dus een keer op (naar boven en naar beneden). Er is nog wel de mogelijkheid om vanuit de bekende (berekende) scores te extrapoleren (zie daarover een eerder gegeven antwoord hiervoor), maar ook dat heeft z’n beperkingen.

Dus, als bij de score geen DLE staat, komt dat omdat de test voor die score geen normen heeft. Bij Cito kun je met de hoogste (tot alles goed) en de laagste (tot alles fout) scores nog wel uit de voeten met A (behorend tot de beste 25%) en E (behorend tot de zwakste 10%). De vraag blijft daar echter altijd ‘Hoe erg E ?’ of ‘Hoe goed A ?’. Wanneer een leerling met zijn score naar onder of boven ‘uit de schaal loopt’, zal men moeten ‘schakelen’ naar een makkelijker of moeilijker (onderdeel van de) test. Overigens kleven ook daaraan bezwaren. Stel dat een leerling ‘volgens de regels’ M7 van Cito rekenen/wiskunde zou moeten doen. Hij heeft echter een vaardigheidsniveau dat overeenkomt met medio groep 5. Je doet dan M5 en vindt een score die wel in de DLE-schaal valt. Je weet dan wel iets over zijn niveau, maar je moet je wel realiseren dat je een elfjarige hebt getest met materiaal dat bestemd (en genormeerd) is voor achtjarigen (!).
Beter is het dan om een cumulatieftest te kiezen zoals de DLE-TEST rekenen/wiskunde die een doorlopende DLE-schaal heeft. Je komt dan dichter bij de waarheid. In uw geval is er geen gemakkelijker test(onderdeel), dus u kunt niet naar beneden schakelen. Een andere rekentest afnemen is dan de enige oplossing, mits die –in dit geval- wél lager dan DLE 6 gaat. Bij de DLE-TEST rekenen/wiskunde is dat het geval.

*

Wat zijn nou eigenlijk de regels voor DLE’s ?!?
Ik hoor de meest vreemde verhalen (ook van instanties!) over hoe je om moet gaan met DLE’s. Waar moeten we ons nu eigenlijk aan houden?

Antwoord:
Om aan de verwarring een einde te maken heeft drs. Teije de Vos (auteur van het DLE-LVS en van de voorloper daarvan, het IPMON dat in de tachtiger jaren van de vorige eeuw verscheen), de zaak nog eens op een rij gezet. We geven dat overzicht hieronder weer, waarbij soms naar de brochure van het DLE-LVS wordt vewezen (op te vragen bij de auteur). De regels zijn overigens sinds het verschijnen van de eerste leerlingvolgsystemen met DLE’s (het SAVU van Gerard Melis en het IPMON van Teije de Vos) niet veranderd!

BEGRIPPEN en REGELS
Didactische Leeftijd en Didactisch Leeftijds-Equivalent
Drs. Teije de Vos

DL = het aantal maanden onderwijs (uitgaande van tien onderwijsmaanden per leerjaar) dat de leerling vanaf begin groep 3 heeft gehad. Zie voor de maandnummering ‘Afwijking’.

REGEL: We negeren hierbij vertragingen en versnellingen (langdurige ziekte, doublures en klassen overslaan). Beter zou zijn te formuleren: “De DL van een leerling komt overeen met de onderwijsmaand waarin de leerling vertoeft.” Zit de leerling in januari groep 5? Dan is de DL 25 ongeacht vertragingen en versnellingen. We houden echter wél rekening met de kalenderleeftijd. Zie daarvoor ‘Afwijking’. Argumenten voor deze regel worden gegeven in ‘Over het wel en wee van DLE’.

DLE = het niveau van de leerling, de groep of de school bij één of meerdere vaardigheidsgebieden (samen) uitgedrukt in onderwijsmaanden.

REGEL: Een eens behaalde DLE blijft staan. Argumenten voor deze regel worden gegeven in ‘Over het wel en wee van DLE’.

Vaardigheidsniveau* = wordt berekend door DLE – DL = aantal maanden ‘voor’ of ‘achter’ (t.o.v. het gemiddelde).

Leerrendement* = wordt berekend door (DLE : DL) x 100 = … %

Leersnelheid* = wordt berekend door (2e DLE – 1e DLE) : (2e DL – 1e DL) x 100 = … %

Opbrengst = antwoord op de vraag ‘Komt eruit wat erin zit?’. Kan berekend worden met NIBOP, dat Potentie en Resultaat met elkaar vergelijkt.

Potentie = de (leer)mogelijkheden (gemeten met de Begin-, de Vervolg-, de Tussen- en de Drempeltest) uitgedrukt in Cito A t/m E.

Resultaat = het vaardigheidsniveau uitgedrukt in Cito A t/m E.

Perspectief = prognose van een haalbare vorm van VO op basis van het leerrendement.

Afwijking = aantal maanden dat de leeftijd van de leerling afwijkt van de gemiddelde kalenderleeftijd op de DL.

REGEL: Wanneer een score bij meerdere DLE’s staat, kiezen we de DLE die het dichtst bij de DL staat.

REGEL: Is een score hoger/lager dan de hoogste/laagste aan een DLE gekoppelde score, ken dan de hoogste/laagste in de schaal voorkomende DLE toe. Als daartoe de mogelijkheid bestaat (bij pen/papierversies) zet er dan een >/<> PrO/LWOO' (Boom test uitgevers).

REGEL: Mocht in bovenstaand geval de leerling bij de moeilijker toets (bv. groep 6) te laag en bij de makkelijker toets (bv. groep 5) te hoog scoren, dan kennen we de DLE op de overgang van beide groepen toe (in dit geval 30).

*) Ten overvloede: de DLE in de formule is gemeten op de in de formule gehanteerde DL.

*

Waarom is er geen foutenanalyse bij?
Ontbreken van een foutenanalyse. Test is toch al heel lang in gebruik? Is er al door een andere school een foutenanalyse ontworpen? Misschien is er een speciale reden dat er niets is. Het is tenslotte een test.

Antwoord:
Bij de testen/toetsen van Teije de Vos zijn geen foutenanalyses. De testen zijn namelijk ‘slechts’ bedoeld om het vaardigheidsniveau te bepalen: hoe ver is deze leerling in vergelijking met klasgenoten elders in het land? M.a.w. de testen/toetsen zijn niet diagnostisch bedoeld. Dat wil niet zeggen dat er geen diagnose mogelijk is. De Tempo Test Rekenen bijvoorbeeld, geeft de mogelijkheid na te gaan waar de leerling het meest ‘achter’ is (optellen, aftrekken, vermenigvuldigen of delen). Trouwens, de opvolger van de T.T.R., de T.T.A. (van Automatiseren) heeft daar nog weer een extra voorziening voor. Daar is zelf een computerprogramma bij om na te gaan met wèlk somtype (van bijvoorbeeld aftrekken) de leerling problemen heeft.
De lijn is dus eigenlijk het volgende: je gaat na waar de leerling zit. Als dat tot zorgen leidt, ga je pas diagnosticeren: hoe komt het dat de leerling ‘achter’ is? Er zijn dan vele wegen en middelen mogelijk. De oorzaak kan bijvoorbeeld ook zijn dat de leerling minder begaafd is. In dat geval is het niveau voor het kind ‘normaal’ en hoeven we helemaal niet te kijken waar de ‘rekenproblemen’ zitten …
Foutenanalyse hoort bovendien ook meer thuis binnen de methode: je legt iets uit en gaat na of de leerling het snapt. Daarop geef je remedial teaching of pas je het programma aan.
Als je dat bij een landelijk genormeerde test/toets zou doen, ben je niet meer methode-onafhankelijk bezig en verstoor je de betrouwbaarheid (je gaat werken voor de test). Voor een foutenanalysetoets is geen normering nodig: je zoekt niet naar het niveau (in vergelijking met een landelijke norm), maar naar de problemen.

*

Is er ook een test voor taal?
Kunnen de vorderingen op het gebied van taal ook worden getoetst door een onafhankelijke test van dhr. Vos?( Zijn er ook toetsen voor taal beschikbaar?)

Antwoord:
We verwijzen hiervoor naar het schema ‘De testen van Teije de Vos’.

*

Jammer …
Jammer dat kinderen bij het onderdeel rekenen/wiskunde een blad (2 kantjes) moeten maken met sommen die zij nog niet aangeboden hebben gekregen. Sommigen proberen maar wat en scoren hier wel punten mee. Dit zegt echter niets over het beheersen van de desbetreffende vaardigheden. Voor andere kinderen werkt het uiterst frustrerend en helpen geruststellende woorden op dat moment meestal niet. Ik zie er het nut niet van in. Misschien kan dhr. Vos mij overtuigen.

Antwoord:
In de handleiding staat trouwens aangegeven dat de leerlingen NIET ‘… een blad (2 kantjes) moeten maken met sommen die zij nog niet aangeboden hebben gekregen.’ Ze mogen maken wat ze (denken te) kunnen. M.a.w. sommen die hen onbekend voorkomen, mogen ze ‘gewoon’ overslaan. Dat geldt in principe voor alles testen/toetsen van Teije de Vos, met name voor de cumulatieftoetsen: een kind laat zien wat hij wel kan en niet wat hij niet kan … Echter, sommige kinderen kunnen/weten echter mèèr dan zij op school geleerd hebben (!). Omdat het hier een methode-onafhankelijke test betreft, kunnen de opgaven niet worden afgestemd op hetgeen op school wel dan niet is aangeboden. Voor een betrouwbare normering moeten alle leerlingen in de steekproef hetzelfde werk doen en dat zal altijd een ‘grote gemene deler’ zijn (een doorsnee van de methodes). De testenmaker weet niet wat er op de betreffende school al wel dan niet aan de orde is geweest. Zo begint de ene school al aan het eind van groep 3 met de tafels en de andere pas begin groep 5 (!). De laatste school zal dan weer dingen doen die de andere nog niet deed. M.a.w. een methode-onafhankelijke test zal nooit afgestemd zij op een specifieke methode. ‘Ik zie er het nut niet van in.’ Klopt! Het heeft ook geen nut, maar het kan helaas niet anders.

*

Begrijpende lezen, ik heb er een raar gevoel bij …
Begrijpend lezen wordt in groep 4 opgestart. Naar mijn idee zou januari een beter moment zijn om de test begrijpend lezen af te nemen in groep 4. Nu is het moment van toetsing oktober en zijn we nog te kort met de leerstof bezig. Het verrassende is echter dat een groot deel van de kinderen ver boven hun DL scoren. Dit heeft te maken met het aantal fouten dat je mag maken. Maak je ongeveer de helft van de opdrachten fout, dan kom je nog op een goede DLE uit. De uitslag van zo’n test zegt mij dus helemaal niets. Dan heb ik het nog niet eens gehad over de lay-out en de manier waarop de vragen worden gesteld. Soms lijkt het of er antwoorden moeten worden ingevuld op de stippellijn, maar moet er juist worden gekozen uit a,b,c of d. Dan de eerste vraag van test 1 begrijpend lezen groep 4: zet het verhaal in de goede volgorde; deze vraag roept al jaren verwarring op.

Antwoord:
Afhankelijk van de gehanteerde methode en werkwijze zal de school zelf moeten kiezen wanneer ze met het meten van het vaardigheidsniveau begrijpend lezen wil beginnen. In groep 4 is dat wel erg vroeg ... Een voor de hand liggend moment is medio groep 5. Het kan dan ook geen kwaad pas dan te starten met de eerste metingen. Het materiaal bestemd voor groep 4 laat men dan voor wat het is. Dat leerlingen in groep 4, wanneer de test daar toch wordt afgenomen, ver boven hun DL scoren, zal te maken hebben met het feit dat een deel van de scholen in de steekproef in groep 4 nauwelijks of geen aandacht besteedde aan begrijpend lezen. Wanneer een school dat dan wèl doet, zal de score al snel boven het landelijk gemiddelde uitkomen.
De lay-out is onderdeel van de moeilijkheidsgraad: teksten (in studieboeken) zijn soms ook lastig te doorgronden (wat moet ik nu waar invullen?). Wie dat evengoed (vlot) doorheeft, kan goed begrijpend lezen. In de nieuwe SVT begrijpend lezen (opvolger van de DLE-TEST) wordt de lay-out overigens wel iets ‘vriendelijker’.
‘Dan de eerste vraag van test 1 begrijpend lezen groep 4: zet het verhaal in de goede volgorde; deze vraag roept al jaren verwarring op.’ Op úw school, ja … Andere scholen besteden aan deze materie juist veel aandacht in hun methode en hebben met deze vraag geen problemen. We stuiten hier weer op het methode-onafhankelijke karakter van de test. ’t Is niet verstandig voor dit onderdeel extra te gaan oefenen, want dan zouden we de betrouwbaarheid verstoren. Op uw school kunnen ze weer iets goed, wat ze elders (nog) niet kunnen.

*

Nieuwe testen?
Worden de testen ook wel eens geactualiseerd? Naar mijn idee is dat hard nodig.

Antwoord:
De reeks DLE-TESTen is ontstaan in de jaren 2000/2003. Dat is voor testen nou niet bepaald oud … De SVT-reeks is in ontwikkeling. Zie voor de plannen het schema ‘De testen van Teije de Vos’.

*

Scores variëren!
Hoe kan het, dat de scores bij een leerling zo kunnen variëren ( dan weer hoog, dan weer laag)?. (Hoe kan het dat kinderen terugvallen in dle?)

Antwoord:
Los van oorzaken in en om het kind (de test is een momentopname en stel dat het kind voor de test heel erg gepest is …), moeten we de oorzaak zoeken in het methode-onafhankelijke karakter van de test. Bij een volgende afname kunnen er toevallig zaken aan de orde komen die de betreffende leerling nog net niet geeft gehad of nog net niet onder de knie heeft. Je moet de resultaten dan ook over een lange termijn beoordelen en je niet laten leiden door dat ene moment. M.a.w. je moet de uitslagen niet te absoluut zien. ‘Gekke dingen’ vinden hun oorzaak meestal in de toevalligheden van het moment of in een mankement van de test.

*

Hoe ontstaan de normen?
Hoe is de normering van de toetsen vastgesteld. Het gevoel overheerst, dat de kinderen veel fout mogen doen, om toch voldoende te scoren.

Antwoord:
Over de normering van de toetsen (wie zaten er in de steekproef, wanneer, hoeveel, waar; hoe is een en ander berekend en is dat betrouwbaar/valide?) vindt u alles in de handleiding. De toetsen voldoen ruimschoots aan de criteria die de Cotan aan dergelijke normbepalingen stelt.

‘Het gevoel overheerst, dat de kinderen veel fout mogen doen, om toch voldoende te scoren.’
Hier komen we op één van de moeilijkste onderdelen bij het maken van toetsen. Wanneer bijna alle kinderen alles goed maken, hebben we niets aan een methode-onafhankelijke toets die ons wil zeggen hoe goed het kind is. Er zullen hoog en laag scorende leerlingen moeten zijn om vast te kunnen stellen wie ‘voor’, ‘bij’ of ‘achter’ is. Voor de leerling die ‘achter’ is, zal de toets geen pretje zijn … Aan de andere kant moet de leerling die ‘voor’ is wel kunnen laten zien wat hij allemaal al kan. In de groep maken echter alle kinderen dezelfde toets. Daarom maakt een gemiddelde (‘normale’) leerling ongeveer tweederde goed. Tenminste, dat is de bedoeling van de toetsenmaker ... Dat pakt, na de proeven waarin dat is bepaald, in de uiteindelijke steekproef soms nog wel eens anders uit. De normen liggen dan iets anders dan wenselijk zou zijn. Zo willen we graag dat een hele zwakke leerling toch nog wel het een ander goed kan maken om zo’n leerling niet helemaal te ontmoedigen. Met name in de bovenbouw wordt dit heel erg lastig. In groep 8 bedraagt het verschil in niveau maar liefst vier (4) leerjaren! Om dan met al onze wensen de niveauverschillen te vangen in ca. dertig vragen?!? De toets langer/groter maken is ook geen optie: veel kinderen vinden het nu al zwaar en … het moet ook nog eens worden nagekeken! Lees over deze materie elders in dit document ook eens over het verschil tussen domein- en cumulatietoetsen. Bij de laatste soort kun je veel meer tegemoetkomen aan de grote verschillen tussen leerlingen.

*

Leerlingvolgsysteem optimaliseren?
Op welke manier kunnen we ons leerlingvolgsysteem nog meer optimaliseren?

Antwoord:
Het lijkt verstandig het LVS te beperken tot de instrumentele vaardigheden (technisch lezen, hoofdrekenen en spellen; het technisch rekenen [het cijferen, basisrekenen of koopmansrekenen] hoort daar eigenlijk ook bij, maar dat is sinds de negentiger jaren erg uit de mode geraakt). Rekenen/wiskunde (realistisch rekenen) en begrijpend lezen kunnen er aan worden toegevoegd, maar dan moet men weten dat deze vaardigheden een sterke relatie hebben met de aanleg van de leerlingen (en daar kan de school niet zoveel aan doen).
Uitbreiding naar de opbrengstmeting (halen we eruit wat erin zit?) is sterk aan te bevelen.
Dat kan ook voorkomen dat er jaren aan kinderen wordt ‘gedokterd’ terwijl dat niet nodig is.

*

Welke toetsen …
… zijn voor welk onderdeel het meest geschikt?

Antwoord:
Zie het schema ‘De testen van Teije de Vos’.

*

Niet zonder gevaar!
Wij communiceren de DLE uitslagen met de ouders. We hanteren hierbij het volgende principe:
De score kan minimaal de eerste score zijn van het leerjaar er onder en maximaal de laatste score van het leerjaar daar boven.
Dus een kind in groep 6 kan bij ons minimaal de eerste score halen van groep 5 en maximaal de laatste score van groep 7.
Hoe kijkt u tegen deze afspraak aan?

Antwoord:
Bovenstaande zou voor intern gebruik misschien nog kunnen als men zich er maar goed van bewust is, dat men zich hier op zeer glad ijs begeeft! Hoe komt het bijvoorbeeld aan het eind van de rit? Als het kind verwezen moet worden naar het PrO? De RVC-VO stelt, dat een leerling lager dan DLE 30 moet scoren om toegelaten te kunnen worden … Bij u kunnen ze nooit lager scoren dan DLE 41 (!). U kunt ook niets met de perspectieven die we aan bepaalde DLE’s (op bepaalde momenten) koppelen (zie elders in dit document). Er zijn nog meer bezwaren. Het doet me denken aan de school die bij de T.T.R. niet één minuut, maar één minuut en 15 seconden tijd gaf. Men kon niet leven met de lage scores … Kinderen die verhuisden naar een andere school vielen ineens heel erg terug in niveau. Dat kan u ook overkomen! En waarom? Een norm is een norm!
U kunt zich veel beter richten op de vraag: ‘Halen wij eruit wat erin zit?’ Als u daarin slaagt, ook al is het vaardigheidsniveau ver onder het landelijk gemiddelde, dan moet iedereen daarmee kunnen leven. Lees ‘Meten is niet àlles weten.’

*

DLE-TESTen makkelijker?
Onze inspecteur zegt dat de DLE-TESTen makkelijker zijn ... !?!

Antwoord:
N.a.v. deze opmerking van de inspectie hebben wij dit onderzocht.
De resultaten vatten wij hier kort samen.

De resultaten van de DLE-TEST Rekenen/Wiskunde (SVT Rekenen/Wiskunde) werden vergeleken met Cito Rekenen/Wiskunde, Schaal Rekenen Algemeen 2002.
Er werd vergeleken met zowel de M- als de E-versie, omdat de testen in feb/mrt (DL 6/7) werden afgenomen in de groepen 4, 6 en 8.
We vergelijken met DLE’s, omdat A/E geen verschil zou laten zien.

Conclusies (samengevat):

- In groep 4 geven SVT en Cito t.o.v. de DL een juist niveau aan
- In groep 4 geeft SVT t.o.v. Cito een halve DLE minder
- In groep 6 geeft SVT een juist niveau aan en Cito 3 DLE’s te weinig t.o.v. de DL
- In groep 6 geeft SVT t.o.v. Cito 4 DLE’s meer
- In groep 8 geeft SVT 2 DLE’s te weinig en Cito 1 DLE (of minder) t.o.v. de DL
- In groep 8 geeft SVT 1 DLE (of meer) minder t.o.v. Cito

T.o.v. Cito is de SVT in groep 4 iets moeilijker (een halve maand), in groep 6 makkelijker (vier maanden) en in groep 8 weer iets moelijker (één of meer maanden).
Dus, om nu te zeggen dat de SVT makkelijker is ... In groep 6 is dat zo, maar in groep 4 en 8 weer niet.

Wie belangstelling heeft voor de cijfers, kan een mailtje sturen.

Graag zouden wij van onze kant over de cijfers van de Inspectie van het Onderwijs beschikken om die eens naast de onze te leggen.

*

Wat ziet u zelf als bezwaren tegen DLE’s?
Je hoort vaak dat je met DLE's moet oppassen, wat zijn de gevaren?

Met de DLE’s is niks mis, het zijn vaak de testen die voor problemen zorgen.

Los van de leeftijd van de test (de test moet niet te oud zijn) zien we twee soorten waarbij we beter maar geen DLE-schaal kunnen maken:

1) Zoals bekend valt bij een test met één meetpunt geen DLE-schaal te maken, maar een test met slechts twee meetpunten, die vrij dicht op elkaar liggen, is ook niet echt handig. Wanneer er tussen die twee meetpunten tenminste één leerjaar zit (tien onderwijsmaanden), kunnen we er wel iets mee, maar de inzet is dan wel beperkt. In mijn ogen moet een test minimaal drie meetpunten hebben: in het jaar waarvoor de test bedoeld is en in het jaar ervóór en erna. Zo hebben we bij de SchoolVaardigheidsToets Begrijpend Lezen het werk voor groep 6 ook laten maken door groep 5 en groep 7. We kunnen dan –als we de schaal niet verlengen naar onderen en naar boven- in elk geval twee leerjaren overzien. Het mooiste is natuurlijk bijvoorbeeld de SchoolVaardigheidsToets Technisch Lezen met meetpunten in de groepen 3 t/m 8.

2) Wanneer de test niet met tenminste één scorepunt per onderwijsmaand omhoog gaat, wordt de DLE-schaal wel erg glibberig: een punt meer of minder gescoord scheelt meteen meerdere onderwijsmaanden in niveau. Eén scorepunt per maand is dus het minimum, mooier is wanneer dat er een stuk of drie of meer zijn.

Verder valt er te discussiëren over het verlengen van de schalen (extrapoleren). Mag dat en zo ja tot hoever? We hebben daar indertijd een regel voor afgesproken: dat mag met niet meer dan de helft van de afstand tussen twee meetpunten. Je begeeft je dan al op zeer glad ijs, omdat ook de DLE’s tussen de meetpunten geschat zijn. Met de nieuwe regressietechnieken is dat wel zo dicht mogelijk bij ‘de werkelijkheid’ gebeurd, maar toch, gemeten is het niet! Het beste is daarom, het niet te doen. Toch zijn er gevallen waarbij het voor indicatief gebruik zou kunnen, maar u moet heel goed weten wat u doet! Bovendien moet de schaal die u met (maximaal) een maand of drie verlengd, wel heel stevig en robuust zijn. Dus een schaal met minimaal drie meetpunten en een ‘scoreklim’ van minimaal twee à drie punten.