Visions and reality: the idea of competence-oriented assessment for German medical students is not yet realised in licensing examinations

Objective: Competence orientation, often based on the CanMEDS model, has become an important goal for modern curricula in medical education. The National Competence Based Catalogue of Learning Objectives for Undergraduate Medical Education (NKLM) has been adopted in Germany. However, it is currently unknown whether the vision of competence orientation has also reached the licensing examination procedures. Methods: Therefore, a prospective, descriptive, single-centre, exemplary study design was applied to evaluate 4051 questions/tasks (from 28 examiners at 7 two-day licensing oral-practical exams) for undergraduate medical students at the University of Ulm. The oral and practical questions/tasks as well as the real bedside assessment were assigned to specific competence roles (NKLM section I), categories (NKLM section II) and taxonomy levels of learning domains. Results: Numerous questions/tasks were set per candidate (day 1/2: 70±24/86±19 questions) in the licensing oral-practical exam. Competence roles beyond the “medical expert” were scarcely considered. Furthermore, practical and communication skills at the bedside were hardly addressed (less than 3/15 min). Strikingly, there was a significant predominance of questions with a low-level taxonomy. Conclusions: The data indicate a misalignment of competence-oriented frameworks and the “real world” licensing practical-oral medical exam, which needs improvement in both evaluation and education processes.
Zielsetzung: Kompetenzorientierung basierend auf dem CanMEDS Model hat sich zu einem wichtigen Bildungsinhalt innerhalb der medizinischen Ausbildung entwickelt. Im Nationalen kompetenzbasierten Lernzielkatalog Medizin (NKLM) wurde diese als Ziel festgeschrieben. Es ist jedoch bisher nicht bekannt, inwiefern in den Prüfungen des medizinischen Staatsexamens tatsächlich kompetenzbasierend geprüft wird. Methoden: In dieser prospektiven, deskriptiven, monozentrischen, exemplarischen Studie wurden 4051 Fragen/Aufgaben (gestellt von 28 Prüfer in n=7 zweitägigen mündlich-praktischen Prüfungen) an Medizinstudierende der Universität Ulm evaluiert. Die mündlichen und praktischen Fragen/Aufgaben wurden, ebenso wie die Prüfung am Patientenbett, auf die spezifischen Kompetenzrollen (gemäß NKLM Abschnitt I), die unterschiedlichen Kategorien (gemäß NKLM Abschnitt II) und die Taxonomielevel der unterschiedlichen Fragen/Aufgaben analysiert. Ergebnisse: Im mündlich-praktischen Prüfungsteil wurden den Kandidaten zahlreiche Fragen/Aufgaben gestellt (Tag 1/2: 70±24/86±19 Fragen). Die Kompetenzrollen außerhalb des “Medizinischen Experten” wurden dabei selten adressiert. Zudem wurden praktische und kommunikative Fertigkeiten in der Prüfung am Patientenbett kaum geprüft (weniger als 3/15 min). Auffallend war die Dominanz an Fragen auf niedrigem taxonomischem Niveau. Schlussfolgerungen: Die Daten zeigen ein deutliches Missverhältnis zwischen den Vorgaben zur Kompetenzorientierung und den tatsächlich geprüften Inhalten der mündlich-praktischen Prüfungen. Diese Diskrepanz sollte zukünftig mit einer verstärkten Prüfer-Schulung und -Evaluation begegnet werden.
GMS Journal for Medical Education; 34(2):Doc25