Eigenlijk weten we nog maar heel weinig over de werking van adaptieve leersystemen zoals Snappet, Muiswerk en Rekentuin: ze werken soms, maar soms alleen voor leerlingen met een hoger niveau, soms juist alleen voor leerlingen met een lager niveau. Dit blijkt uit een onderzoek dat Marcel Tillema als stagiair bij OCW deed. Onze conclusie: hoog tijd voor een onderzoeksagenda om werking en effectiviteit van adaptieve systemen beter te begrijpen.
In het kader van het Doorbraakproject ICT is door Marcel Tillema, als stagiair van het Ministerie van OCW, een literatuurstudie uitgevoerd naar de effecten van Adaptieve Leersystemen (ALS’en) op het leren van leerlingen. De resultaten van deze studie zouden een opmaat kunnen zijn naar een onderzoeksagenda waarin publieke (lees: universiteiten) en private (lees: commerciële uitgeverijen) partijen met elkaar samenwerken.
De conclusie van de studie is dat er eigenlijk nog erg weinig bekend is over de effecten van ALS’en. Het onderzoek ernaar wordt vaak onsystematisch uitgevoerd en slaat geen brug naar de praktijk. Daarnaast geeft het onderzoek veelal geen antwoord op de vraag waarom een systeem effectief is. Het gaat vaak om onderzoek met controlegroepen die op te veel variabelen verschillen van de experimentele groep waardoor de waaromvraag niet beantwoord kan worden. Tot slot wordt te weinig gebruik gemaakt van onderwijskundige theorieën om de resultaten te kunnen duiden. Ook uit de bespreking van de effecten van ALS’en als Snappet, Rekentuin, Muiswerk of SlimStampen wordt niet duidelijk waarom die soms wel optreden en soms niet. En waarom soms alleen hoogpresteerders ervan profiteren en soms alleen laagpresteerders. Tillema haalt Park en Lee (2004) aan om te betogen dat veel ALS’en worden ontwikkeld op basis van onbevestigde theoretische aannames.
Tillema ging daar, los van de hierboven genoemde ALS’en, in zijn algemeenheid in zijn studie overigens wel naar op zoek en gebruikte een meta-analyse van Hattie die op zijn beurt 800 meta-analyses heeft geanalyseerd op factoren die leersucces bepalen, geordend naar effectgrootte. Tillema heeft vervolgens bekeken hoe deze factoren een rol zouden kunnen spelen bij het ontwerpen van ALS’en. Belangrijke factoren bleken te zijn: de voorkennis die een leerling al heeft en het geven van feedback. Het achterhalen van de voorkennis en daarop voortbouwen is daarmee een van de belangrijke interventiestrategieën voor ALS’en te noemen.
Er is hoe dan ook nog veel onderzoek nodig om de kwaliteit van ALS’en te onderzoeken en te verhogen. Het is te hopen dat het Ministerie van OCW in samenwerking met het Nationaal Regieorgaan Onderwijsonderzoek (NRO) op korte termijn zo’n agenda weet samen te stellen. De overheid kan toch moeilijk aan de kant blijven staan als het gaat om kwaliteitsborging van de kwaliteit van leermiddelen in zijn algemeen en die van ALS’en in het bijzonder.
Bronnen:
Marcel Tillema (2016). Waarop, wat, en hoe kan worden gepersonaliseerd in het onderwijs? Een studie naar de effecten van adaptiviteit in digitale leersystemen op leren en kansen voor toekomstig onderzoek hiernaar. Den Haag: Ministerie van Onderwijs, Cultuur en Wetenschap.
Park, O. & Lee, J. (2004). ‘Adaptive Instructional Systems’. In D. Jonassen (Ed.), Handbook of Research on Educational Communications and Technology. Mahwah, NJ: Lawrence Erlbaum Associates.
Kennisnet hield een interview met Marcel Tillema.