Onderwerpen

vrijdag 22 mei 2009

De COTAN ziet DLE’s het liefst geheel verdwijnen …


Op de website van de COTAN valt het volgende te lezen: 'Momenteel wordt gewerkt aan een herziening van het beoordelingssysteem. Deze
herziening betreft een ingrijpende aanpassing van het beoordelingssysteem in het licht van de ontwikkelingen die zich in de loop der jaren op het gebied van testtheorie en testconstructie hebben voorgedaan. De verwachting is dat deze herziene versie in het voorjaar van 2009 gereed zal zijn.'

Ik kreeg enkele fragmenten van deze herziene versie onder ogen en las
daar o.m. ‘- maar de COTAN ziet rapportage in termen van DLE’s het liefst
geheel verdwijnen -‘.

Ik moest meteen denken aan al die scholen voor (speciaal) basisonderwijs in Nederland en aan de leden van de verschillende plaatsings- en verwijzingscommissies, maar ook aan de orthopedagogen/psychologen, interne begeleiders, remedial teachers en logopedisten. Zij maken namelijk allemaal al jaren (dankbaar en tevreden) gebruik van DLE’s.
Zij hebben de DLE-systematiek verankerd in hun registratie- en rapportagemodellen en in hun (dikwijls online) administratieprogramma’s. Wat moeten zij, maar ook al die bedrijven die de online applicaties exploiteren, hier wel niet van vinden? En wat te denken van onze Minister van Onderwijs Cultuur en Wetenschappen, die het gebruik van DLE’s nota bene verplicht stelt!?!

De herziening van het beoordelingssysteem vindt plaats ‘… in het licht van de ontwikkelingen die zich in de loop der jaren op het gebied van testtheorie en testconstructie hebben voorgedaan.’ Dat mag zo zijn, maar ik krijg de indruk dat de COTAN volledig voorbij is gegaan aan de ontwikkelingen in de praktijk (zoals hierboven geschetst). Realiseert de COTAN zich wel voldoende wat haar opvattingen/uitlatingen betekenen voor de honderdduizenden gebruikers (direct en indirect)?

Dat de COTAN vraagtekens zet bij het gebruik van DLE’s is prima; dat hoort zij –gelet op haar opdracht (zie verder)- te doen bij alle normeringswijzen. Er is namelijk géén schaal die vlekkeloos is: ze hebben alle hun voor- en nadelen. Maar om dan alléén de DLE’s volledig uit te willen sluiten?!? En dat dan ook nog voor een schaal die naast de Cito-schaal het meest gebruikt wordt voor didactische toetsen? Je mag vrezen dat een dergelijke uitspraak voor de COTAN onaardige reacties oproept: ‘Wie is die COTAN eigenlijk wel, dat zij meent onze praktijk zo ongegeneerd te moeten diskwalificeren? Moeten wij haar nog serieus nemen?’

Wie is de COTAN eigenlijk?
Van de website: 'De Commissie Testaangelegenheden Nederland (COTAN) van het NIP (het Nederlands Instituut van Psychologen is de landelijke beroepsvereniging van psychologen) heeft als opdracht ‘het bevorderen van de kwaliteit van tests en testgebruik in Nederland’. Door de COTAN worden psychodiagnostische instrumenten beoordeeld aan de hand van criteria als testconstructie, uitvoering van de handleiding en testmateriaal, betrouwbaarheid en validiteit.Verder informeert de COTAN testgebruikers over de stand van zaken op testgebied.'

De COTAN is dus een commissie van de beroepsvereniging van psychologen, die -voor eigen gebruik mag je aannemen- instrumenten van anderen beoordeelt. Die beoordeling vindt plaats op basis van criteria die in een beoordelingssysteem staan beschreven. Dat systeem heeft een inventariserend/beschrijvend karakter: zit dit erin, heeft de auteur dat gedaan, is beschreven hoe … enz. De COTAN gaat de test dus niet testen; zij probeert hem niet uit en controleert evenmin of alles wat er in de handleiding/verantwoording staat geschreven klopt …
Ze gaat dus ook niet na of de test werkt … Een test die goed beschreven is, kan voldoende beoordeeld worden, maar toch slecht werken. Andersom kan ook: een als onvoldoende beoordeelde test kan in de praktijk goed werken (!). De beoordeling moet dus niet worden verward met die van bijvoorbeeld de Consumentenbond, die proeven met de artikelen doet en vervolgens kan aangeven welk artikel het beste is. Bovendien hebben auteurs wel eens moeite met de werkwijze van de COTAN: de beoordelaars werken anoniem en er is onvoldoende duidelijk wat de (beroeps)rechten van de auteurs zijn als ze het met de beoordeling niet eens zijn. M.a.w. ze hebben wel eens het gevoel dat er vrij moeilijk over te praten is.

Veel gezag ...
Toch heeft het oordeel van de COTAN grote invloed. Met name sinds het moment waarop de Inspectie van het Onderwijs meedeelde dat testen een voldoende beoordeling van de COTAN moesten hebben, kreeg het oordeel veel gezag. Ook de Regionale Verwijzing Commissie wil dat er uitsluitend door de COTAN ‘goedgekeurde’ testen worden gebruikt.
Begrijpelijk, want het is in ons land het enige houvast m.b.t. de kwaliteit van een test. De COTAN kreeg hierdoor veel gezag.
Gelet op bovenstaande (Wie is de COTAN eigenlijk?) mag men zich afvragen of dat gezag niet ietwat te veel van het goede is. De COTAN is geen KEMA-keur ... Trouwens zij keurt niet, zij beoordeelt. De COTAN is evenmin een overheidsorgaan of een instantie aangewezen door de Minister. De COTAN is bovendien niet erg democratisch: we weten niet precies hoe de leden erin komen, we kunnen niet gemakkelijk iets aan de werkwijze doen; zij maken zelf hun eigen dienst uit …

Dus …
Als dan die COTAN ‘De DLE’s het liefst ziet verdwijnen …’, wat moet je daar dan bij denken?
Als de COTAN ‘het bevorderen van de kwaliteit van tests en testgebruik in Nederland’ als opdracht ziet, zou zij niet bepaalde praktijken –en zeker niet de inmiddels volledig geïmplementeerde- moeten uitsluiten, maar juist moeten verbeteren. De COTAN ziet de nadelen van DLE’s maar heeft –zo lijkt het- geen oog/oor voor de voordelen. Zij lijkt evenmin rekening te houden met het gepleegde verweer tegen de door haar opgesomde nadelen, die overigens voor een groot deel óók voor andere normeringswijzen gelden.

Ik zou wensen dat de COTAN aangeeft waar en hoe de toepassing van DLE’s te verbeteren is. De COTAN zou een betere zaak dienen als zij zou aangeven hoe zij de toepassing van DLE’s wèl acceptabel vindt. Kun je beter niet extrapoleren? Of misschien een beetje? En zo ja hoe ver dan? En hoe zit het met het interpoleren bij cumulatieftesten (hetzelfde werk wordt in opeenvolgende leerjaren gemaakt en genormeerd), kan dat dan wel door de beugel? En zo ja onder welke voorwaarden? En mag één scorepunt leiden tot meerdere maanden vooruitgang? Misschien kan de COTAN een voorstel doen: de schaal wordt ongeldig wanneer één scorepunt leidt tot meer dan één maand vooruitgang. Steek de energie derhalve in het verbeteren van een bestaand fenomeen en niet in het verwijderen ervan. M.a.w. de huidige opvatting/uitspraak ‘- maar de COTAN ziet rapportage in termen van DLE’s het liefst geheel verdwijnen -‘ valt beslist niet lekker, zeker als je bedenkt wie de COTAN eigenlijk is …

Lees ook: 
De verontwaardiging verklaard

Lees ook: De geschiedenis van de DLE's

Lees ook: Kritiek op DLE's weerlegd