Search

School performance feedback can be a tool for school improvement. However, when educational professionals do not comprehend the data they are provided with, they will not arrive at valid inferences and correct diagnoses. We interviewed 23 Flemish primary school teachers and principals, asking them to explain authentic feedback from a national assessment. Framework analysis of think-aloud data reveals that participants’ comprehension of typical concepts is clouded by a range of misconceptions. We observed that that visual, verbal and mathematical building blocks in the report can become stumbling blocks. Moreover, misconceptions can be attributed to a certain extent to disconnects between feedback providers’ and feedback users’ frames of reference. These findings have important implications for data providers, considering they have a responsibility to cater to the interpretability of the data they provide. ispartof: Pedagogische Studien vol:100 issue:1 pages:67-97 status: published

status: Published online

status: Published online

status: Published online

In mei 2021 vond de (vierde) peiling naar de eindtermen wiskunde in het basisonderwijs plaats. In totaal namen 6163 leerlingen verspreid over 230 Vlaamse scholen deel. De resultaten van de leerlingen op de peilingstoetsen zijn heel wisselend. Er zijn 5 toetsen waarbij minstens 75% van de leerlingen de eindtermen behaalt, met name de toetsen ‘Getalwaarden en gelijkwaardigheid’, ‘Bewerkingen’, ‘Zakrekenmachine’, ‘Maateenheden’ en ‘Ruimte en ruimtelijke oriëntatie’. Er zijn ook 6 toetsen waarbij slechts de helft of minder dan de helft van de leerlingen de eindtermen behaalt, namelijk de toetsen ‘Procent berekenen’, ‘Functies en voorstellingswijzen’, ‘Snelrekenen (onderdeel vermenigvuldigen)’, ‘Betekenisvolle herleidingen’, ‘Omtrek, oppervlakte en inhoud’ en ‘Problemen oplossen bij meten, ruimte en meetkunde’. In vergelijking met de vorige peilingen wiskunde basisonderwijs van 2009 en 2016 is er een achteruitgang merkbaar in de beheersing van de eindtermen wiskunde, voor 13 toetsen. Bij 4 toetsen zien we een vooruitgang en bij 4 toetsen een status quo. Enkele leerlingkenmerken hangen samen met de prestaties op de peilingstoetsen wiskunde. Zo behalen jongens (vergeleken met meisjes), leerlingen die voor op leeftijd zitten, leerlingen die thuis enkel Nederlands spreken (vergeleken met leerlingen die thuis geen Nederlands spreken of Nederlands combineren met een andere taal) en leerlingen met een hogere SES vaker de eindtermen. Hierbij dient wel vermeld te worden dat de prestatiekloof voor thuistaal voor veel toetsen verdwijnt wanneer we verschillen in SES in rekening brengen. Leerlingen met schoolse achterstand, leerlingen die dyslexie of dyscalculie hebben, leerlingen die extra zorg binnen of buiten school krijgen, leerlingen die recht hebben op redelijke aanpassingen tijdens de toetsen en leerlingen die altijd hulp of uitleg kunnen vragen aan een logopedist (als ze iets niet begrijpen), doen het over de hele lijn minder goed. We stellen verder vast dat leerlingen met een hogere motivatie, leerlingen met een sterker zelfconcept, leerlingen met sterkere probleemoplossende vaardigheden, leerlingen die zichzelf goed kunnen reguleren tijdens wiskundetoetsen, leerlingen met een sterke motivatie voor wiskunde, leerlingen met een positieve houding ten aanzien van wiskunde en leerlingen die altijd hulp of uitleg kunnen vragen aan hun leerkracht (als ze iets niet begrijpen), voor nagenoeg alle toetsen beter presteren. status: Published online

In mei 2021 vond de (tweede) peiling naar de eindtermen informatieverwerving en -verwerking (IVV) en ICT in het basisonderwijs plaats. In totaal namen 2597 leerlingen verspreid over 83 Vlaamse scholen deel aan de schriftelijke peilingstoetsen IVV, waarvan 447 leerlingen ook de praktische proef ICT aflegden. In totaal behaalt 81% van de leerlingen de eindtermen voor plannen en tekeningen. Hiermee doen de leerlingen het significant beter dan in 2012 (+4%). Voor tabellen en grafieken behaalt 83% van de leerlingen de eindtermen. Dit is een significante daling ten opzichte van 2012 (-5%). In de peiling van 2021 werd ook een toets teksten toegevoegd. Voor deze toets behaalt 80% van de leerlingen de eindtermen. Enkele leerlingkenmerken hangen samen met de prestaties op de peilingstoetsen IVV. Zo behalen leerlingen die voor of op leeftijd zitten (vergeleken met leerlingen met schoolse achterstand), leerlingen die thuis enkel Nederlands spreken (vergeleken met leerlingen die thuis geen Nederlands spreken of Nederlands combineren met een andere taal) en leerlingen met een hogere SES vaker de eindtermen. Hierbij dient wel vermeld te worden dat de prestatiekloof voor thuistaal voor veel toetsen verdwijnt wanneer we verschillen in SES in rekening brengen. Leerlingen met schoolse achterstand, leerlingen met dyslexie, dyscalculie of ADHD, leerlingen die extra zorg krijgen binnen op buiten de school, leerlingen die recht hebben op redelijke aanpassingen tijdens toetsen, leerlingen met een lagere motivatie en leerlingen met een minder sterk zelfconcept doen het over de hele lijn minder goed. Wat betreft ICT, beschikken leerlingen over het algemeen over voldoende technische vaardigheden om hun weg te vinden in een online omgeving. ICT op een veilige manier gebruiken is voor veel leerlingen echter een struikelblok. Ook op een sociaal aanvaardbare manier communiceren en de relevantie van gevonden informatie inschatten blijkt voor veel leerlingen moeilijk. status: Published online

status: Published online

In this dissertation, we examine how teachers and school leaders make sense and make use of school performance feedback (SPF) from external standardized assessments, and we explore factors that promote or hinder these processes. The conceptual framework is rooted in research on data-based decision making in education, SPF systems, and score reporting. We also incorporated perspectives from social and cognitive psychology, such as attribution theory, the theory of planned behavior, and, particularly, sensemaking. Theoretical insights are presented, as well as findings from original empirical research that was conducted within the context of the Flemish national assessments and parallel tests. The different studies highlight that making sense and making use of educational data in general, and SPF in particular, is not a rational, linear, predictable endeavor. Findings confirm that the mere availability of data such as SPF does not necessarily drive data-driven or data-based decision making in schools, and illustrate that SPF use is no one-size-fits-all phenomenon. Implications for policy and practice include that more emphasis should be placed on data cultures and collective sensemaking, on (the balance between) ownership and clear expectations regarding data use, and on the provision of sufficient cues in SPF to aid sensemaking. By involving users and taking into account actual user interpretations to a greater extent, (the delivery of) SPF can be improved. Such measures are necessary to ensure that SPF lives up to its potential: to effectively inform educational decisions and truly contribute to school improvement. By examining how teachers and school leaders engage with SPF from external standardized assessments, this dissertation is at the nexus of educational effectiveness and school improvement research.