Onderwerpen

woensdag 3 september 2014

Update van de Cito-normen: inflatie van de score en de desastreuze gevolgen voor het onderwijs

Op Wij-leren staat een bijzondere bijdrage van Marjolein Zwik, die ik u niet wil onthouden.   
Haar bijdrage wordt hieronder integraal weergegeven.


Aanpassing normering Cito toetsen

Cito heeft per september 2013 de landelijke normen van de huidige LVS-toetsen Begrijpend lezen, Spelling en Rekenen-Wiskunde gecontroleerd en gewijzigd. Deze nieuwe normen moesten het liefst voor 1 mei 2014 zijn doorgevoerd in de leerlingvolgsystemen, maar uiterlijk voor 1 augustus. Dit heeft grote gevolgen voor het onderwijs, zowel voor leerkrachten, leerlingen en ouders. Het betekent dat een leerling een nog grotere inspanning zal moeten leveren om hetzelfde Cito-niveau vast te houden dat bij eerdere toetsen in voorgaande jaren bij hem gemeten is.
Op de site van Cito wordt het als volgt uitgelegd: “De omzetting van de ruwe score (aantal goed) naar de vaardigheidsscore blijft gelijk: hetzelfde aantal goed leidt tot dezelfde vaardigheidsscore als voorheen. De interpretatie van de vaardigheidsscore - hoe scoort de leerling ten opzichte van de normgroep – is wel veranderd. De omzetting van vaardigheidsscores naar de niveaus A t/m E, I t/m V en functioneringsniveaus verandert.


Inflatie van de vaardigheidsscore

Over het algemeen zal een leerling een hogere vaardigheidsscore nodig hebben dan voorheen om bijvoorbeeld tot de groep gemiddeld scorende leerlingen te behoren. Dat is dus een inflatie van zijn huidige vaardigheidsscore – deze is ‘minder waard’. Het kan dus betekenen dat een leerling bij een eerdere toets (bijv. E4) een II scoorde (diezelfde vaardigheidsscore zou met de nieuwe norm met een III gewaardeerd kunnen worden, maar het leerlingvolgsysteem geeft dat nu nog niet aan, wel na 1 augustus). De leerling maakt een half jaar later de toets van M5 (na de update van de normen) en wat blijkt; de vaardigheidsscore is conform de groei flink toegenomen, toch hoort bij deze score een III. De leerling lijkt gezakt, terwijl de vaardigheidsscore tussen de twee toetsen wel flink is gestegen, wat betekent dat deze leerling een goede ontwikkeling doormaakt. Ditzelfde doet zich niet alleen op leerlingniveau voor, maar ook op groeps- en schoolniveau. De lagere score is slechts te wijten aan de nieuwe normering. Een hele geruststelling…of niet.


Ouderbrief

Op de site van Cito staat een ouderbrief die te downloaden is, zodat ook ouders deze herwaardering van scores goed begrijpen. Ze maken daarin de vergelijking met de lichaamslengte: “Vergeliijk dit maar met de lengte: kinderen van nu worden gemiddeld groter dan hun ouders. Begin vorige eeuw zou je een reus zijn als je 1.70 m lang was, nu ben je als man klein met een dergelijk lengte. Een lengte van 1.70 m heeft nu dus een andere betekenis dan vroeger.”
Nu is bovenstaande ‘update’ van de lichaamslengte goed te verklaren. Ten eerste betreft het hier een periode van honderd jaar en in deze periode zijn de leefomstandigheden drastisch veranderd. Te denken valt aan betere voeding, veel betere gezondheidszorg en hygiëne en betere leefomstandigheden. Ook wordt hier duidelijk gemaakt dat het hier gaat om de vergelijking van de lichaamslengte in de tijd, tussen verschillende generaties. De uitkomst van de groei van het individu zélf wordt tijdens de duur zijn eigen leven niet verondersteld te veranderen. Deze eindlengte is een redelijk vaststaand gegeven. Artsen maken geen (be)handelingsplannen naar aanleiding van een groeicurve - behalve wanneer dit leidt tot een voorspelbare reuzengroei en dan alleen nog maar om de groei af te remmen -, maar voor verreweg de meeste kinderen heeft de groeicurve geen directe individuele gevolgen.


Te snelle update van normering?

Anders is het met toets scores. Bij de Cito toetsen gaat het niet om een periode van honderd jaar. Dit is natuurlijk ook wel te begrijpen. De afgelopen eeuw is de kennis en het kennisniveau erg veranderd. Ook gaat het niet om een vergelijking tussen generaties. Maar Cito maakt deze update al na vier jaar wat betreft Rekenen-wiskunde (normering 2009) en na drie jaar wat betreft Begrijpend lezen (normering 2010). Gezegd moet worden dat de gegevens voor de normering verzameld werden in respectievelijk, de periode van 2003 tot en met 2007 en 2005 tot en met 2009. Is deze update na zo’n korte tijd wel te begrijpen of hebben we hier te maken met een ander fenomeen?
Cito zegt dat de leerlingen vandaag de dag de toetsen beter maken dan de leerlingen in de normeringsonderzoeken van jaren geleden. Betekent dit dat kinderen daadwerkelijk slimmer zijn geworden? Een snelle blik op de PISA uitkomsten laat echter een ander beeld zien. In PISA 2012 werd nog opgemerkt dat Nederlandse leerlingen sinds 2003 een voortdurende dalende score laten zien bij rekenen-wiskunde. Bij lezen is de vaardigheid significant gelijk met 2003. Desondanks worden de Cito toetsen beter gemaakt. Cito geeft vier mogelijke oorzaken.


De verklaringen van Cito

Als eerste geven zij aan dat de leerlingpopulatie is veranderd. Onzin! De leerlingpopulatie in Nederland is niet zo drastisch gewijzigd ten opzichte van tien jaar geleden dat daardoor het landelijk gemiddelde op de Cito toetsen significant hoger is. Een schóól kan wel met een andere leerlingpopulatie te maken krijgen of met een minder goed scorende groep, maar op landelijk niveau en zelfs al op gemeentelijk niveau hebben deze wijzigingen geen of nauwelijks invloed op het gemiddelde. Of is er buiten mijn weten een immigratiegolf van hoogbegaafden onze grenzen gepasseerd? Bovendien verwijs ik hier nogmaals naar PISA.
Ten tweede merkt Cito op dat het onderwijsaanbod is veranderd. Zeer onwaarschijnlijk! De spellingregels zijn sinds 1995 niet meer veranderd. Veel scholen hebben in deze periode slechts enkele methoden vervangen en de inhoud van de verschillende methoden is niet zo drastisch veranderd als bovenstaande reden doet vermoeden. Als de toetsen die tussen 2003 en 2009 zijn geconstrueerd, in 2013 al geherwaardeerd moeten worden, kan hier maar één verklaring voor zijn: het onderwijsaanbod wordt afgestemd op de Cito toetsen (teaching to the test). Een vooruitziende blik van Cito in 2003 en 2005 op de in de toekomst aangeboden leerstof lijkt mij een stuk onwaarschijnlijker.
Een grotere gerichtheid in het onderwijs op de opbrengsten wordt als derde oorzaak aangegeven. Daarbij wordt verwacht dat naar aanleiding van de scores een groepsplan of zelfs een individueel handelingsplan wordt gemaakt, waarin de leerkracht aangeeft hoe er de komende periode met de groep en de leerling gewerkt wordt. Een zeer goed streven! In de praktijk wordt dat echter nogal eens uitgelegd om te komen tot hogere toetsresultaten, waarvan Teije de Vos in zijn artikel ‘Meten is niet alles wéten’ aangeeft hoe onmogelijk dit eigenlijk is. Hoewel? Aangezien het toetsen betreft van een leerlingvolgsysteem en deze toetsen niet jaarlijks vervangen worden is de inhoud van de toetsen bij scholen bekend. Hier kun je als school je voordeel mee doen. Of je de leerling hier mee helpt…en uiteindelijk het onderwijs…valt nog te bezien.
Eigenlijk onderschrijft Cito dit zelf met de vierde en laatste reden: het bekend raken van de inhoud van de toetsen.


Conclusie

Drie van de vier redenen die Cito aangeeft wijzen op ‘teaching to the test’ en op het oefenen van de toetsen. Wil dit daadwerkelijk effect hebben op het landelijk gemiddelde, moet dit op grotere schaal plaats vinden dan tot nu toe werd aangenomen en dat is een zeer verontrustende conclusie. Nog verontrustender wordt het als Cito de vraag beantwoordt of de normen vaker vervangen gaan worden. “Dit zal afhangen van de mate waarin de resultaten van leerlingen veranderen in de tijd. Wel is Cito van plan om jaarlijks de normen van de toetsen te controleren. Als de verschillen te groot worden, zullen we een update van de normen uitbrengen. Dat zullen we in overleg met de Inspectie van het Onderwijs doen, om verwarring bij de scholen te voorkomen.”
Dit betekent dat scholen die de toetsen oefenen of anderszins positief beïnvloeden voor een nieuwe ophoging van de normen gaan zorgen. Echter scholen die te goeder trouw een breed onderwijs aanbod creëren, zich minder richten op alléén taal, rekenen en toetsuitslagen, toetsen gedurende het schooljaar daar laten waar ze horen: achter slot en grendel, zien zich in de toekomst geconfronteerd met onmogelijke inspectienormen. Deze scholen kunnen een aantal dingen doen:
  • Doorgaan op de ingeslagen weg en je verlies nemen. Echter geen enkele school wil het predicaat ‘zwak’ krijgen en al helemaal niet om deze reden, namelijk integriteit;
  • Doorgaan op de ingeslagen weg en de oude normen hanteren. Deze zijn namelijk tot stand gekomen door de toetsen voor te leggen aan een normgroep die nog niet in aanraking was gekomen met de opgaven. Geen voorkennis dus. Methode-onafhankelijke toetsen moeten onder dezelfde omstandigheden worden afgenomen als de omstandigheden van de normgroep. Maak je je als school dus niet schuldig aan wanpraktijken, dan lijkt het geoorloofd om de oude normen te hanteren;
  • Met een andere toetsaanbieder in zee gaan, liefst kleinschaliger, waarvan de toetsen niet geoefend worden. Dit levert veel minder toets stress op bij leerlingen, leerkrachten, IB, directies en besturen en een veel betere verantwoording van je resultaten naar ouders, leerlingen en inspectie;
  • Ook Cito toetsen gaan oefenen of in ieder geval de toets inhoud in je lessen verwerken (teaching to the test). Dit vind ik principieel verwerpelijk.
Het lijkt mij een verstandig besluit om landelijk af te spreken geen toetsen meer te oefenen en het leerstofaanbod minder te richten op de inhoud van deze toetsen. Zorg dat de toetsresultaten op een integere manier tot stand komen. Maak als school zelf keuzes in je onderwijsaanbod, zolang je voldoet aan de kerndoelen. Elke school heeft zijn eigen leerlingpopulatie en de leerkrachten op die school weten het best wat hun leerlingen nodig hebben, niet het instituut Cito. De toetsen worden dan weer genormeerd volgens reële normen, kunnen weer gebruikt worden waarvoor ze bedoeld zijn en Cito (en de overheid) houdt het lesprogramma niet in een wurggreep.
Is er nog één probleem: de Cito-toets oefeninstituten. Daar heeft de school geen invloed op, maar deze worden wel door onze leerlingen bezocht. Deze ‘trainings- en adviesbureautjes’ zijn meer gericht op de Eindtoets. Deze site herbergt een aantal artikelen, waarin genoeg argumenten geven worden waarom deze toets overbodig lijkt. Als er minder nadruk op de toetsuitslagen komt te liggen en de eindtoets afgeschaft wordt, lossen de oefenbureaus mogelijk vanzelf weer op. Ze voldoen nu nog in een behoefte. Hef de behoefte op!
Binnenkort zal Cito een wetenschappelijke verantwoording publiceren hoe de nieuwe normen tot stand zijn gekomen. Dit zal waarschijnlijk een statistische verantwoording zijn van toets gegevens aangereikt door de scholen zelf. Daarvan mogen we echter vermoeden dat deze deels al door scholen gemanipuleerd zijn. Een wetenschappelijk en transparant onderzoek naar de werkelijke oorzaken zou Cito sieren.