Search

Magazin erwachsenenbildung.at (2014) 23, 10 S., Stimmen die Anforderungen eines Arbeitsplatzes und die Skills und Kompetenzen der jeweiligen StelleninhaberInnen nicht überein, wird von einem Skills-Mismatch gesprochen. Wie aber kann ein solches Missverhältnis erkannt und gemessen werden? Die OECD etablierte im Rahmen des Programme for the International Assessment of Adult Competencies, kurz PIAAC einen Skills-Mismatch-Indikator und versprach sich damit, erstmals eine methodisch gut abgesicherte Datenlage für die Messung von Skills-Mismatch zu schaffen und die Messung selbst zu „objektivieren“. Der vorliegende Beitrag zeigt in einer kritischen Analyse jedoch die mangelnde Qualität des OECD-Mismatch-Indikators auf Ebene der theoretischen Modellierung, der Implementierung des Messkonzeptes auf Basis der PIAAC-Daten und der empirischen Validität auf. Angesichts dieser Kritikpunkte scheint, wie der Autor argumentiert, die Validität des Indikators nicht gegeben zu sein, um die Mismatch-Datenlage des OECD-Indikators auf Basis von PIAAC künftig als Evidenz für bildungspolitische Steuerungsprozesse heranziehen zu können. (DIPF/Orig.), A skills mismatch refers to the situation in which the demands of a job do not match the skills and competences of the job holder. How can such a discrepancy be recognized and measured? As part of the Programme for the International Assessment of Adult Competencies (PIAAC), the OECD established a skills mismatch indicator and pledged to create a methodologically sound pool of data for measuring skills mismatch and to make the measurement itself “objective“. Through critical analysis, this article demonstrates the poor quality of the OECD mismatch indicator at the level of theoretical modelling, implementation of the measuring concept based on the PIAAC data and empirical validity. In view of these points of criticism, the author argues, it does not seem that the PIAAC based OECD indicator is valid enough that its mismatch data can be used as evidence for educational policy controlling processes. (DIPF/Orig.)

Magazin erwachsenenbildung.at (2014) 23, 11 S., Die ersten Ergebnisse von PIAAC (Programme for the International Assessment of Adult Competencies) liegen vor. Die inhaltliche Auseinandersetzung mit den Ergebnissen ist wichtig, nicht weniger wichtig sind aber methodische Analysen – das eine ist ohne das andere nur unzureichend möglich. Was also zeigen die Erfahrungen mit der ersten Erhebungswelle in methodischer Hinsicht? Welche Potenziale wurden bisher nicht vollständig ausgeschöpft? In welchen Bereichen könnten Verbesserungen erfolgen und welche Zielkonflikte bzw. Trade-offs sind damit verbunden? Der vorliegende Beitrag geht auf verschiedene Arten der Methodenkritik ein. Einzelne strategisch wichtige und innovative Elemente der ersten Erhebung werden herausgegriffen, um zu zeigen, dass PIAAC in einigen Bereichen Neuland betritt, dass aber gerade diese wichtigen Bestandteile noch verbessert werden sollten, um zu tatsächlich belastbaren bzw. robusten Ergebnissen zu gelangen. Plädoyiert wird für eine breitere Diskussion zur methodischen Weiterentwicklung von PIAAC auf internationaler wie nationaler Ebene. (DIPF/Orig.), The first findings of the PIAAC (Programme for the International Assessment of Adult Competencies) are available. Examining the content of the findings is important; no less important are analyses of the methods – the one without the other is insufficient. What does the experience with the first wave of surveys reveal in terms of methodology? What potential has not been completely exploited? In which areas could there be improvements and what conflicts in objectives or trade-offs are connected with this? This article examines different critiques of methodology. Several strategically important and innovative elements from the first survey have been chosen to show that the PIAAC has entered into new territory in certain areas but that these important elements should still be improved in order to achieve reliable and robust findings. The case is made for a broader discussion of the methodological development of the PIAAC at both the international and national levels. (DIPF/Orig.)

Knigge, Jens [Hrsg.]; Niessen, Anne [Hrsg.]: Musikpädagogisches Handeln. Begriffe, Erscheinungsformen, politische Dimensionen. Essen : Die Blaue Eule 2012, S. 316-334. - (Musikpädagogische Forschung; 33), Sozialwissenschaftlich orientierte Evaluationsstudien sind mit denselben methodologischen Problemen konfrontiert wie jede sozialwissenschaftliche Forschung. Inwiefern darüber hinaus grundsätzliche methodologische Besonderheiten evaluativer Forschung bestehen, wird an verschiedenen Stellen diskutiert. Gerade in der Musikpädagogik spielt Evaluationsforschung in jüngster Vergangenheit eine zunehmend wichtige Rolle, methodologische und speziell musikpädagogisch fokussierte Reflexionen sind dabei jedoch bislang noch rar. Im vorliegenden Beitrag möchten wir daher den methodischen Diskurs aufgreifen und anhand einer aktuellen eigenen Studie eine Reihe von Besonderheiten bzw. Problemen aufzeigen. Zunächst erfolgt die Vorstellung des musikpädagogischen Modellversuchs, den die Studie evaluiert: das „Stuttgarter Modell“. Eine wichtige Grundlage für jede Evaluationsstudie stellen die Ziele des jeweiligen Projekts dar, die entsprechend zunächst im Vordergrund stehen (Abschnitt 2). Der folgende Abschnitt (3) zeigt, wie die einzelnen Erhebungsmethoden der Evaluationsstudie auf die verschiedenen Ziele der Maßnahme abgestimmt sind. Daraufhin wird erläutert, inwiefern sich aus der – in Evaluationsstudien notwendigen – Orientierung an den Projekt-Zielen die zu erörternden Probleme ergeben und inwieweit sich für die identifizierten Probleme formativer Evaluationsstudien erste Lösungsimpulse aus einer triangulativen Studienanlage ergeben können. (DIPF/Orig.), The central theme of this paper is the discussion of problems that arose in an ongoing formative evaluation study. We identify a number of problems that have methodical or methodological implications: (1) the problem of normativeness, (2) the problem of willful modification of the research object and (3) the problem of time restriction. Finally, we discuss a Mixed-Methods-approach to counter these specific problems. (DIPF/Orig.)