Search

Introduction: Progress tests provide students feedback on their level of proficiency over the course of their medical studies. Peer-assisted learning and competency-based education have become increasingly important in medical education. Although progress tests have been proven to be useful as a longitudinal feedback instrument, there are currently no progress tests that have been created in cooperation with students or that focus on competency in medical education.In this study, we investigated the extent to which students can be included in the development of a progress test and demonstrated that aspects of knowledge related to competency can be represented on a competency-based progress test.Methods: A two-dimensional blueprint for 144 multiple-choice questions (MCQs) covering groups of medical subjects and groups of competency areas was generated by three expert groups for developing the competency-based progress test. A total of 31 students from seven medical schools in Germany actively participated in this exercise. After completing an intensive and comprehensive training programme, the students generated and reviewed the test questions for the competency-based progress test using a separate platform of the ItemManagementSystem (IMS). This test was administered as a formative test to 469 students in a pilot study in November 2013 at eight medical schools in Germany. The scores were analysed for the overall test and differentiated according to the subject groups and competency areas.Results: A pool of more than 200 MCQs was compiled by the students for pilot use, of which 118 student-generated MCQs were used in the progress test. University instructors supplemented this pool with 26 MCQs, which primarily addressed the area of scientific skills. The post-review showed that student-generated MCQs were of high quality with regard to test statistic criteria and content. Overall, the progress test displayed a very high reliability. When the academic years were compared, the progress test mapped out over the course of study not only by the overall test but also in terms of the subject groups and competency areas.Outlook: Further development in cooperation with students will be continued. Focus will be on compiling additional questions and test formats that can represent competency at a higher skill level, such as key feature questions, situational judgement test questions and OSCE. In addition, the feedback formats will be successively expanded. The intention is also to offer the formative competency-based progress test online.

Background: Objective Structured Clinical Examinations (OSCEs) often involve a considerable amount of resources in terms of materials and organization since the scores are often recorded on paper. Computer-assisted administration is an alternative with which the need for material resources can be reduced. In particular, the use of tablets seems sensible because these are easy to transport and flexible to use.Aim: User acceptance concerning the use of tablets during OSCEs has not yet been extensively investigated. The aim of this study was to evaluate tablet-based OSCEs from the perspective of the user (examiner) and the student examinee.Method: For two OSCEs in Internal Medicine at the University of Heidelberg, user acceptance was analyzed regarding tablet-based administration (satisfaction with functionality) and the subjective amount of effort as perceived by the examiners. Standardized questionnaires and semi-standardized interviews were conducted (complete survey of all participating examiners). In addition, for one OSCE, the subjective evaluation of this mode of assessment was gathered from a random sample of participating students in semi-standardized interviews.Results: Overall, the examiners were very satisfied with using tablets during the assessment. The subjective amount of effort to use the tablet was found on average to be “hardly difficult”. The examiners identified the advantages of this mode of administration as being in particular the ease of use and low rate of error. During the interviews of the examinees, acceptance for the use of tablets during the assessment was also detected.Discussion: Overall, it was found that the use of tablets during OSCEs was well accepted by both examiners and examinees. We expect that this mode of assessment also offers advantages regarding assessment documentation, use of resources, and rate of error in comparison with paper-based assessments; all of these aspects should be followed up on in further studies.

[english] Aim: Student tutorials are now firmly anchored in medical education. However, to date there have only been isolated efforts to establish structured teacher training for peer tutors in medicine. To close this gap, a centralized tutor training program for students, culminating in an academic certificate, was implemented at Heidelberg University Medical School. The program also counts within the scope of the post-graduate Baden-Württemberg Certificate in Academic Teaching (Baden-Württemberg Zertifikat für Hochschuldidaktik).Method: Based on a needs assessment, a modular program comprised of four modules and a total of 200 curricular units was developed in cooperation with the Department for Key Competencies and Higher Education at Heidelberg University and implemented during the 2010 summer semester. This program covers not only topic-specific training sessions, but also independent teaching and an integrated evaluation of the learning process that is communicated to the graduates in the form of structured feedback. In addition, to evaluate the overall concept, semi-structured interviews (N=18) were conducted with the program graduates.Results: To date, 495 tutors have been trained in the basic module on teaching medicine, which is rated with a mean overall grade of 1.7 (SW: 0.6) and has served as Module I of the program since 2010. A total of 17% (N=83) of these tutors have gone on to enroll in the subsequent training modules of the program; 27 of them (m=12, f=15) have already successfully completed them. Based on qualitative analyses, it is evident that the training program certificate and its applicability toward the advanced teacher training for university instructors pose a major incentive for the graduates. For successful program realization, central coordination, extensive coordination within the medical school, and the evaluation of the attained skills have proven to be of particular importance.Conclusion: The training program contributes sustainably to both quality assurance and professionalism, as well as to solving the issue of resources in medical education. The introduction and continued development of similar programs is desirable.

[english] The 2002 licensing regulation for doctors significantly increased the importance of school-specific assessment during the clinical phase of medical education. School-specific assessment should strengthen the practical element of medical training; due to the licensing reform, students now obtain individual grades for each clinical subject, which then count toward the final degree. In order to gain an overview of how the assessment procedure has evolved in light of this reform, a survey was carried out in all medical schools in Germany in autumn 2007. The dean of each school received a questionnaire containing questions on central organization. The questionnaire inquired about and recorded information on the format of all graded assessments and whether a structured appraisal and a statistical analysis were carried out for exam questions. Thirty-one out of 36 medical schools responded. Twenty-eight schools provided information on the 15 graded assessments taken during the pre-clinical phase of medical training, and all 31 provided information on the 38 subjects that comprise the clinical phase of the degree course. Multiple choice examinations dominate in both phases of medical training. Structured practical assessments are seldom used. Regulated evaluation procedures and statistical analysis of the questions take place in approximately 40% of all assessments, whereby differences between the individual schools of medicine do exist. In summary, the results show that although considerable effort has been made to carry out high-quality assessments, overall a stronger focus on practical elements within medical education has not yet been achieved. Often, assessment has not yet become an integral part of studies and it is doubtful that international minimum standards on assessment quality are being maintained. Necessary measures to improve the quality of assessments include training courses and cooperation between universities to help with content and organizational aspects of establishing assessment forms with strong practical components; the specification of adequate quality standards; and the creation of examination boards. [german] Mit der im Jahr 2002 novellierten Ärztlichen Approbationsordnung gewannen die fakultätsinternen Prüfungen im klinischen Studienabschnitt erheblich an Bedeutung. Sie sollen die Stärkung des Praxisbezugs der medizinischen Ausbildung abbilden und sind Teil des Abschlusszeugnisses. Um eine Übersicht zu gewinnen, wie sich dadurch die „Prüfungskultur“ an den medizinischen Fakultäten entwickelt hat, wurde im Herbst 2007 eine Umfrage an allen medizinischen Fakultäten in Deutschland durchgeführt. Allen Studiendekanaten wurde ein Fragebogen zugesandt, welcher Fragen zur zentralen Organisation enthielt. Für alle Leistungsnachweise wurde das Prüfungsformat erfragt und erhoben, ob für die Prüfungsaufgaben eine strukturierte Begutachtung und eine statistische Auswertung der Ergebnisse erfolgt. Von den 36 medizinischen Fakultäten antworteten 31 Fakultäten. Zu den 15 Leistungsnachweisen im vorklinischen Abschnitt des Studiums machten 28 Fakultäten Angaben, zu den 38 Fächern im klinischen Abschnitt alle 31 Fakultäten. In beiden Abschnitten des Studiums dominieren Klausuren mit Mehrfachauswahlfragen. Strukturierte praktische Prüfungen werden selten eingesetzt. Geregelte Begutachtungsverfahren der Aufgaben und statistische Auswertungen erfolgen bei etwa 40 % der Prüfungen, wobei sich hier charakteristische Unterschiede zwischen Fakultäten zeigen. Zusammenfassend folgt aus den Ergebnissen, dass zwar erhebliche Anstrengungen zur Durchführung qualitativ hochwertiger Prüfungen unternommen werden, sich insgesamt aber die angestrebte höhere Praxisorientierung des Studiums noch nicht hinreichend abbildet, die Integration von Prüfungen als wesentlicher Bestandteil der Lehre häufig noch nicht erfolgt und die Einhaltung internationaler Mindeststandards an die Qualität der Leistungsmessung zweifelhaft ist. Als Maßnahmen zur qualitativen Verbesserung der Prüfungen werden Schulungen und universitäre Kooperationen zur logistischen und inhaltlichen Etablierung praxisnaher Prüfungsformen, die Festlegung adäquater Qualitätsstandards sowie die Bildung von Prüfungsverbünden als notwendig erachtet.

[english] Introduction: Communicative competence is essential for daily medical routine. The usefulness of communication-trainings for physicians is described in various publications. However, specific trainings in paediatrics are rarely found. A characteristic for paediatric work is that the primary communication is not only with the patient – the child – but also with the parents. Beside self-assessment external assessment by parents can be used for evaluation of paediatrician’s communicative skills.Methods: 28 paediatric residents (intervention group n = 14; control group n = 14) of the University Children’s Hospital of Heidelberg took part in a communication training using standardised parents and -patients (SP), video recording and feedback by peers, SPs and supervisors. Data of self-evaluated communicative competence in contact with parents was collected from all participants before and after the training of the intervention group. In addition there was an assessment of parents’ satisfaction with the paediatricians-parents communication concerning their children’s treatment nine weeks before and nine weeks after the training (n = 248). A follow-up survey to record the transfer into clinical practice was conducted with the participants after six months.Results: After the training participants of the intervention group showed an increased feeling of communicative competence in reference to communicative situations that were explicitly practiced in the training. The external assessment by parents generally showed a positive evaluation of paediatricians’ communication skills. However, a group effect was not found. In the follow-up survey participants reported an improved self-perception and specific elements of the training that facilitated the daily clinical practice with parents and their children. Discussion: The training of specific relevant clinical situations lead to an increase in perceived communicative competence and competence in handling difficult encounters with parents. Communication trainings should be integrated not only into the medical student education but also into post-graduate education curricula. [german] Einführung: Kommunikative Kompetenzen sind wesentlich für den ärztlichen Alltag. In der Literatur wird vielfach der Nutzen von Kommunikationsschulungen für Ärzte beschrieben, über gezielte Schulungen für den Fachbereich Pädiatrie finden sich nur vereinzelt Berichte. Die Besonderheit der pädiatrischen Versorgung besteht dabei im Wesentlichen darin, dass nicht nur die Kommunikation zum Patienten – dem Kind –, sondern auch zu dessen Eltern oder Bezugspersonen eine entscheidende Rolle spielt. Zur Überprüfung kommunikativer Fähigkeiten von Pädiatern können neben Selbsteinschätzungen auch Fremdeinschätzungen durch Eltern dienen.Methode: 28 Assistenzärzte (Interventionsgruppe n = 14; Kontrollgruppe n = 14) der Universitätsklinik für Kinder- und Jugendmedizin in Heidelberg nahmen an einer Kommunikationsschulung teil. Diese beinhaltete Übungsgespräche mit standardisierten Eltern und -Patienten (SP), Videoaufzeichnungen sowie Feedback von SPs, Peers und Supervisoren. Daten zur Selbsteinschätzung der eigenen kommunikativen Kompetenz wurden vor und nach der Schulung der Interventionsgruppe von allen Teilnehmern erhoben. Weiterhin wurde neun Wochen vor und neun Wochen nach Abschluss der Schulung eine Elternbefragung bei n = 248 Eltern durchgeführt, in der die Zufriedenheit mit dem Arztkontakt hinsichtlich der Arzt-Eltern Kommunikation erfasst wurde. Nach 6 Monaten schloss sich eine Nachbefragung bei den Teilnehmern zum Transfer in den Klinikalltag an.Ergebnis: Bei den Teilnehmern der Interventionsgruppe zeigte sich im Gegensatz zur Kontrollgruppe nach Abschluss der Schulung eine signifikante Steigerung der subjektiven Kompetenzeinschätzung in Bezug auf die kommunikativen Situationen, die speziell in der Schulung trainiert wurden. Die Fremdeinschätzung durch die Eltern ergab eine generell sehr positive Bewertung der Ärzte, es ließ sich jedoch kein Gruppeneffekt nachweisen. Im Langezeitverlauf berichteten die Teilnehmer von einer verbesserten Selbstwahrnehmung und benannten konkrete Elemente der Schulung, die ihnen die tägliche klinische Arbeit im Kontakt mit Eltern erkrankter Kinder erleichterten.Diskussion: Das Training von spezifischen, für den klinischen Alltag typischen Situationen führt zu einer Verbesserung der Selbsteinschätzung kommunikativer Kompetenzen bezüglich des Umgangs mit schwierigen Situationen im Elternkontakt. Eine Integration von Kommunikationsschulungen nicht nur in das Medizinstudium, sondern auch in postgraduierte Ausbildungs-Curricula erscheint daher sinnvoll.

[english] Aims: The new law for medical education (ÄAppO 2002) requires the establishment of at least 98 hours of integrated seminars with inclusion of appropriate clinical subjects. The newly established curriculum committee for the reform of pre-clinical studies (Medicine I) developed a concept for these integrated seminars at Hamburg Medical School. The seminars are taught during the first four semesters every fortnight. Subjects of the seminars are related to other courses taking place at the same time. Important didactic elements of the seminars are multidisciplinarity and case based learning. Other elements are small group work, self- study and short student presentations. Representatives from the different scientific and clinical subjects developed horizontal and vertical connections within Medicine I by planning these seminars.Methods: Integrated seminars were evaluated by the first cohort of students between 2003 and 2005 for quality control. With special instruments seminars were evaluated formatively for each seminar and summatively at the end of every semester. Besides descriptive explanations data were analyzed for systematic connections and differences.Results: Evaluation of the integrated seminars at Hamburg Medical School by students from the first cohort demonstrated high acceptance of the concept. Certain aspects of the course like practical relevance of basic sciences, integration of basic sciences and individual learning progress reached high marks of satisfaction.Conclusion: The integrated seminars at Hamburg Medical School represent a coherent concept for horizontal and vertical connection of scientific and clinical aspects which is well accepted by the students. Evaluation results also indicate possibilities of improvement which will be addressed by modification of individual cases and in the faculty development program.[german] Zielsetzung: Die neue ÄAppO (2002) fordert für den ersten Studienabschnitt (Medizin I) die Einrichtung von mindestens 98 Stunden Integrierter Seminare unter Einbezug geeigneter klinischer Fächer. Das an der Medizinischen Fakultät der Universität Hamburg zur Reform des Studienabschnitts Medizin I eingesetzte Curriculum-Komitee erarbeitete ein Konzept für Integrierte Seminare, die in den ersten vier Semestern in 14-tägigem Rhythmus durchgeführt werden. Die Themen orientieren sich inhaltlich an parallel stattfindenden Unterrichtsveranstaltungen. Wichtige didaktische Elemente der Integrierten Seminare sind Interdisziplinarität und das fallbasierte Lernen. Darüber hinaus prägen die Veranstaltung Kleingruppenarbeit, Selbststudium und Kurzreferate. Vertreter naturwissenschaftlicher und medizinischer Grundlagenfächer sowie klinischer Fächer erarbeiteten durch das Seminar horizontale und vertikale inhaltliche Verknüpfungen im Abschnitt Medizin I.Methodik: Zur Qualitätskontrolle wurden die Integrierten Seminare der ersten Studierendenkohorte von Wintersemester 2003/04 bis Sommersemester 2005 wissenschaftlich begleitet. Anhand spezieller Instrumente wurde die Veranstaltung mit Terminevaluationen formativ und mit Abschlussevaluationen summativ evaluiert. Neben einer deskriptiven Darstellung wurden die Daten auf systematische Zusammenhänge und Unterschiede analysiert.Ergebnisse: Die Evaluation der Integrierten Seminare durch die erste Studierendenkohorte belegt eine große Akzeptanz des Konzepts und eine hohe Zufriedenheit mit zentralen Einzelaspekten der Veranstaltung, z. B. Verdeutlichung der Praxisrelevanz der Grundlagenfächer, Aufzeigen der Vernetzung der Grundlagenfächer und subjektiver Lernerfolg.Schlussfolgerung: Die Integrierten Seminare an der Hamburger Medizinischen Fakultät liefern ein schlüssiges und von den Studierenden akzeptiertes Konzept für horizontale und vertikale inhaltliche Verknüpfungen von Grundlagenfächern mit klinischen Fächern. Außerdem zeigen die Evaluationsergebnisse Verbesserungsmöglichkeiten auf, die u. a. durch Modifikationen einzelner Fallgeschichten und im Faculty-Development-Programm der Fakultät umgesetzt werden können.

[english] Introduction: “Standardised patients” are finding increased application within medical training and have become an indispensable component of communication training for medical students. In the Anglo-American world, “standardised patients” are also employed in the postgraduate curriculum for resident physicians. In the German-speaking realm, however, there are currently no publications indicating the use of “standardised parents” in the specialist field of paediatrics. The basic recurring question concerning the extent to which training with “standardised parents” can be considered adequately realistic - a question which has already been raised in connection with the use of “standardised patients” - is of particular relevance in the case of highly experienced clinical staff. The degree to which feedback from “standardised parents” proves helpful in everyday clinical life also remains to be ascertained. Methods: In the current project, a communication training course involving “standardised patients”, who simulated the parents and caregivers of ill children, was carried out with residents of Heidelberg University Clinic for Paediatric and Adolescent Medicine. 28 Accident and Emergency were trained in dealing with problems and difficult situations arising in communication with parents. Following the physician-parent dialogue, the respective physician received feedback from the actors, fellow medical peers and supervisors. The authenticity of the cases and their relevance in the context of a realistic training course for communication skills was assessed by means of a questionnaire for participants. Additionally, participants evaluated the quality of the feedback received following the physician-parent dialogue. Results: Physicians considered the training cases to be extremely authentic and of relevance regarding both the improvement of communication skills and confidence in dealing with the parents of ill children. Feedback from actors (Likert scale: M = 1.08; SD = 0.28), from supervisors (M = 1.25; SD = 0.68) and medical peers (M =1.29; SD = 0.55) received very high ratings. Discussion: In the project presented here, the application of “standardised parents” represents a valuable tool which can be considered a suitable and obligatory component within a structured communication training course for paediatric residents. Furthermore, the employment of “standardised parents” could prove of interest in the context of graduate medical education. [german] Einführung: "Standardisierte Patienten“ (SP) sind simulierte Patienten, die sorgfältig und gewissenhaft trainiert wurden, um ihre erlernte Erkrankung in einer standardisierten und gleich bleibenden Art und Weise für didaktische Lehrzwecke zu präsentieren. SP werden in der Medizinischen Ausbildung zunehmend eingesetzt und sind inzwischen ein unverzichtbarer Bestandteil eines Kommunikationstrainings von Medizinstudenten. Auch für die Ausbildungscurricula von Assistenzärzten auf dem Weg zum Facharzt werden im angloamerikanischen Raum inzwischen SP eingesetzt. In der Pädiatrie wird die Verwendung von Schauspielern zu Schulungszwecken bisher nur vereinzelt beschrieben. Die wiederkehrende Frage nach einer ausreichenden Realitätsnähe und nach dem Nutzen ihres Feedbacks, wie sie bereits hinsichtlich des Einsatzes von SP aufgeworfen wurde, bleibt auch bei Schulungen mit "standardisierten Eltern“, bei denen der Patient - das Kind - gar nicht oder nur teilweise anwesend ist, bestehen. Methode: In dem vorliegenden Projekt wurde für 28 Ärzte der Universitätsklinik für Kinder- und Jugendmedizin Heidelberg mit einer mittleren Berufserfahrung von 4,2 Jahren ein Kommunikationstraining mit "standardisierten Eltern“ durchgeführt. Dazu wurden 13 Schauspieler anhand ausführlicher Rollenskripte für den Einsatz als „standardisierte Eltern“ trainiert. Die Auswahl der Schauspieler erfolgte aus einem umfangreichen Pool an erfahrenen Schauspieler, die bereits Vorerfahrung im Einsatz als "standardisierte Patienten“ hatten. Berufserfahrene pädiatrische Dienstärzte wurden anhand neun klinischer Szenarien im Umgang mit Problemen und schwierigen Gesprächssituationen im Kontakt mit Eltern erkrankter Kinder geschult. Im Anschluss an das Arzt-Eltern-Gespräch erhielten die trainierten Ärzte ein Feedback von den Schauspielern selbst, den teilnehmenden ärztlichen Kollegen ("peers“) sowie den Supervisoren der Unterrichtsveranstaltungen. Mittels einer schriftlichen Evaluation der Teilnehmer wurde die Authentizität der "standardisierten Eltern“ sowie die Relevanz der Fälle für eine praxisnahe Schulung hinsichtlich kommunikativer Fähigkeiten erfasst. Darüber hinaus wurde eine Einschätzung der Teilnehmer hinsichtlich der Qualität der nach dem Arzt-Eltern-Gespräch erhaltenen Feedbacks eingeholt. Ergebnis: Die Fälle der Schulungen wurden von den Ärzten als äußerst authentisch und relevant hinsichtlich der Verbesserung der eigenen kommunikativen Fertigkeiten und der Sicherheit im Umgang mit Eltern erkrankter Kinder gewertet. Die Teilnehmer bewerteten (sechsstufige Likert Skala:1 = und 6 = ) das Feedback der Schauspieler (Mittelwert (M) = 1,08; Standardabweichung (SD) = 0,28), der Supervisoren (M = 1,25; SD = 0,68) und der „peers“ (M =1,29; SD = 0,55) als etwa gleich relevant und nützlich. Diskussion: "Standardisierte Eltern“ werden von angehenden Fachärzten der Pädiatrie als sehr authentisch eingeschätzt. Das Feedback der "standardisierten Eltern“ wird als sehr hochwertig angesehen. Die Grundlage für diese Einschätzungen bildet eine fundierte Vorbereitung und Konzeption der Schulungsfälle sowie ein umfassendes Training der "standardisierten Eltern“ hinsichtlich der Feedbackgabe. Ein weitreichender Einsatz von "standardisierten Eltern“ wäre auch für die Ausbildung von angehenden Ärzten im Fachbereich Pädiatrie wünschenswert.

Aim: Student tutorials are now firmly anchored in medical education. However, to date there have only been isolated efforts to establish structured teacher training for peer tutors in medicine. To close this gap, a centralized tutor training program for students, culminating in an academic certificate, was implemented at Heidelberg University Medical School. The program also counts within the scope of the post-graduate Baden-Württemberg Certificate in Academic Teaching (Baden-Württemberg Zertifikat für Hochschuldidaktik)., Method: Based on a needs assessment, a modular program comprised of four modules and a total of 200 curricular units was developed in cooperation with the Department for Key Competencies and Higher Education at Heidelberg University and implemented during the 2010 summer semester. This program covers not only topic-specific training sessions, but also independent teaching and an integrated evaluation of the learning process that is communicated to the graduates in the form of structured feedback. In addition, to evaluate the overall concept, semi-structured interviews (N=18) were conducted with the program graduates., Results: To date, 495 tutors have been trained in the basic module on teaching medicine, which is rated with a mean overall grade of 1.7 (SW: 0.6) and has served as Module I of the program since 2010. A total of 17% (N=83) of these tutors have gone on to enroll in the subsequent training modules of the program; 27 of them (m=12, f=15) have already successfully completed them. Based on qualitative analyses, it is evident that the training program certificate and its applicability toward the advanced teacher training for university instructors pose a major incentive for the graduates. For successful program realization, central coordination, extensive coordination within the medical school, and the evaluation of the attained skills have proven to be of particular importance., Conclusion: The training program contributes sustainably to both quality assurance and professionalism, as well as to solving the issue of resources in medical education. The introduction and continued development of similar programs is desirable.