Search

Since the 1980's, scientific interest in applicants' reactions to admission procedures has been growing. Several theoretical frameworks and evaluation questionnaires were developed. Many researchers have asked potential participants about their attitudes—what is missing, however, are studies of applicants who have actually taken part in the selection procedures. In addition, applicants' reactions to student selection procedures receive less attention than applicants' reactions to personnel selection procedures. Furthermore, tests and testing conditions continue to develop, e.g., through online-based testing and test supervision at home (“proctoring”). Therefore, we used a standardized questionnaire for measuring the overall test evaluation and different dimensions of acceptance including face validity, controllability, and the absence of strain to examine six scholastic aptitude tests. We added items to get deeper insights into situational aspects. According to the results of 2,052 test participants, applicants prefer specific tests and shorter tests. Situational aspects, such as privacy, working conditions, and prior information, have an influence on the perceptions of applicants. Proctored testing is evaluated positively, but taking the test at a test center is still rated more favorably. This study discusses the practical implications.

Diese kurze Zusammenfassung dient einem ersten Überblick über das Konzept eines Online Self-Assessments für Studieneinsteiger*innen, welches an der Justus-Liebig-Universität Gießen (JLU) auf Basis des Promotionsprojektes von Petri (2020b) entwickelt und im Rahmen des Online-Tools Start @ Justusumgesetzt wurde.

Das Forum Assessment (www.forum-assessment.de) hat 2021 die zweite Fassung der Interview Standards (https://www.forum-assessment.de/publikationen/standards) publiziert. Qualitätsstandards formulieren Prinzipien und Regeln für einen Anwendungsbereich, im Fall der Interview Standards für eignungsdiagnostische Interviews. Die hier vorgestellte Checkliste erleichtert den Transfer der Qualitätsleitlinie in die Praxis, indem zentrale Inhalte des Standards in Form einer Liste von leicht zu erfassenden Einzelaussagen präsentiert werden, die man einzeln prüfen kann. Das bedienungsfreundliche Checklistenformat hilft dabei, keine Aspekte zu übersehen, das Ankreuzformat impliziert eine Dokumentation.

Since its establishment in 2004, the German Data Forum (RatSWD), which is funded by the German Federal Ministry of Science and Research (BMBF), has been advising the federal government and the governments of the federal states (Länder) on issues relating to the expansion and improvement of the research infrastructure for the empirical social, behavioral, and economic sciences (SBE). In late 2010, the RatSWD addressed the question of how the quality of survey instruments in the social and economic sciences, and especially in social and economic survey research, could be controlled and assured. At a meeting on November 9, 2012, the RatSWD therefore decided to set up a Quality Assurance of Survey Instruments Working Group under the leadership of Professor Beatrice Rammstedt. The establishment of the working group was prompted in particular by the desire to define quality standards in order to assure and optimize the quality of survey instruments. Hence, the working group made the formulation of these standards its primary objective. They are presented in this paper.

Moeglichkeiten und Grenzen innovativer eignungsdiagnostischer Instrumente und Trainings-Tools werden eroertert. Dabei werden zunaechst problematische Kennzeichen computergestuetzter Problemloeseszenarien aufgezeigt, und es wird verdeutlicht, warum sich Szenarien mit solchen Defiziten fuer bestimmte Einsatzformen in der Diagnostik und im Training disqualifizieren. Anschliessend werden Mindestanforderungen aufgestellt, die in der Diagnostik und im Training angewandte Szenarien erfuellen muessen. Das Beispiel der computergestuetzten Problemloeseszenarien wird abschliessend genutzt, um Ueberlegungen zum Forschungs-Praxis-Transfer anzustellen und Empfehlungen fuer eine gelungenere Zusammenarbeit zwischen Wissenschaft und Anwendung abzuleiten.

Das Anliegen der Arbeit war, den aktuellen Stand der Forschung zu Anforderungsanalysen in ein Instrument zu integrieren und dabei den Ansprüchen von Anwendern nach Praxistauglichkeit gerecht zu werden. Dafür wurden die Task-Analysis-Tools (TAToo) entwickelt und im Rahmen dieser Arbeit umfangreich geprüft. Die TAToo sind multimodal aufgebaut: Das Instrument basiert in der Theorie auf der Critical Incident Technique, enthält zusätzlich aber auch den Ansatz der Aufgabenbeschreibung, der Beschreibung von Knowledge, Skills, Abilities, der zukunftsorientierten Anforderungsanalyse und verschiedene methodische Durchführungsvarianten für die Datenerhebung in "Tool 1 – Erheben". Die Anforderungsanalyse mittels TAToo besteht aus drei Arbeitsschritten: (1) Erheben von Informationen zur analysierten Stelle in "Tool 1 – Erheben", (2) Erstellen eines Anforderungsprofiles aus diesen Informationen in "Tool 2 – Gruppieren" und (3) Bewerten des Anforderungsprofiles in "Tool 3 – Bewerten". Studien 1 und 2: "Tool 1 – Erheben" als Fragebogen, Workshop und Interview: Die Informationen zu einer Stelle oder Tätigkeit können in "Tool 1 – Erheben" in einem Workshop, einem Interview oder mit einem Fragebogen erhoben werden. Diese Durchführungsvarianten wurden in zwei Studien miteinander verglichen, wofür Datenmenge, Datenqualität und Teilnehmerbeurteilungen herangezogen wurden. Für die Datenmenge zeigte sich, dass mit dem Interview pro Teilnehmer die meisten erfolgsentscheidenden Situationen (5,4 pro Teilnehmer) und Verhaltensweisen (13,1 pro Teilnehmer) geschildert wurden. Workshop und Fragebogen lieferten insgesamt weniger Informationen als das Interview. Pro Situation wurden im Interview durchschnittlich 2,4 Verhaltensweisen, im Workshop 3,4 und im Fragebogen 2,0 geschildert. Damit schilderten die Teilnehmer im Workshop zu jeder Situation mehr Verhaltensweisen als im Interview und Fragebogen. Zur Datenqualität zeigte sich, dass allein mit einem Workshop, kein vollständiges Anforderungsprofil erstellt werden konnte. Hingegen waren 8 Interviews oder 29 Fragebögen ausreichend, um ein vollständiges Anforderungsprofil zu erstellen. Die Teilnehmer beurteilen die Handhabbarkeit und Verständlichkeit von Interview und Workshop vergleichbar positiv, den Fragebogen hingegen weniger positiv. Insgesamt zeigte sich, dass mit dem Interview, Fragebogen und Workshop grundsätzlich die Daten für "Tool 1 – Erheben" gesammelt werden können. Von der Datenqualität und der Datenmenge sollte das Interview bevorzugt vor dem Fragebogen als alleinige Methode eingesetzt werden. Der Workshop sollte entsprechend der Ergebnisse aus den Studien dieser Arbeit nur ergänzend zum Interview oder Fragebogen genutzt werden. Studien 3 bis 6: Gütekriterien der TAToo: Die Objektivität wurde für "Tool 3 – Bewerten" als Übereinstimmung der Teilnehmer bei der Bewertung der Wichtigkeit der Anforderungen und der jeweils operationalisierenden Kriterien bestimmt. Insgesamt wurde die Beurteilerübereinstimmung für elf Mitarbeitergruppen aus elf verschiedenen Tätigkeitsbereichen ermittelt, die jeweils ihr Anforderungsprofil anhand einer 5-stufigen Skala von gar nicht wichtig bis sehr wichtig bewerteten. Die prozentuale Übereinstimmung für die einzelnen Anforderungsprofile lag in einem Bereich 70-80%. Die ermittelten weighted Kappa-Koeffizienten lagen in einem Bereich, der als slight bis fair zu klassifizieren ist. Obwohl die Beurteilerübereinstimmung insgesamt eher niedrig war, können die Ergebnisse im Vergleich zu vorliegenden Studien als zufriedenstellend bezeichnet werden. Besonders positiv war, dass auch für kleinere Stichproben (hier N=3) noch akzeptable Werte für die prozentuale Übereinstimmung und den Kappawert erreicht werden konnten. Das spricht für einen effektiven Einsatz der TAToo in der Praxis. Zusammenfassend konnte gezeigt werden, dass mit "Tool 3 – Bewerten" Anwender aus der Praxis die Wichtigkeit von Anforderungen und den dazu gehörenden operationalisierenden Kriterien übereinstimmend bewerten. Zur Prüfung der Validität wurden die Güte der Gruppierung von Verhaltensweisen zu Anforderungen in "Tool 2 – Gruppieren" und die Vollständigkeit der Anforderungen anhand der Beurteilung von Mitarbeitern untersucht. Die Ergebnisse waren sehr positiv und zeigten, dass 94% der Verhaltensweisen inhaltlich und begrifflich passend zu Anforderungen gruppiert wurden. Die Mitarbeiter beurteilten auch die Passung der Anforderungsprofile zu den tatsächlichen Anforderungen im Arbeitsalltag. Der Großteil der Mitarbeiter fand die eigene Tätigkeit zu 76-100% passend in den Anforderungsprofilen abgebildet. Diese Passung bestätigte sich auch bei der wiederholten Bewertung der Anforderungsprofile nach mindestens 16 Monaten. In einer weiteren Studie wurden die TAToo mit dem Fragebogen für Arbeitsanalysen und einem beobachteten erfahrungsgeleitet-intuitiven Vorgehen verglichen. Das Anforderungsprofil des FAA enthielt sehr viele irrelevante Items und wenig brauchbare Beschreibungen zur analysierten Tätigkeit. Das Anforderungsprofil der EIM enthielt nur abstrakte, nicht näher operationalisierte Anforderungsbegriffe. Es unterschied sich damit im Detailliertheitsgrad deutlich vom Anforderungsprofil der TAToo, das zusätzlich zu den Anforderungen umfangreiche Operationalisierungen in Form von Verhaltensweisen enthielt. Das Anforderungsprofil der TAToo war deshalb am besten für die Personalarbeit nutzbar. Diese Ergebnisse bestätigten sich auch in den Beurteilungen durch Subject Matter Experts (SME). Sie beurteilten verschiedene Kriterien aus Qualitätsstandards für Anforderungsanalysen sehr positiv für die TAToo und deutlich negativ für den FAA. Das Anforderungsprofil der EIM wurde im Vergleich zu den TAToo ähnlich positiv beurteilt, war für die SME allerdings zu wenig konkret. Zusammenfassend konnte gezeigt werden, dass mit den TAToo Anforderungsprofile zutreffend und passgenau erstellt werden können. Es zeigen sich deutliche Vorteile gegenüber dem FAA und der EIM hinsichtlich der zutreffenden Beschreibung einer Position, hinsichtlich wichtiger Qualitätskriterien für Anforderungsprofile und in Bezug auf den Nutzen der Ergebnisse für die Personalarbeit eines Unternehmens. Die Nebengütekriterien Ökonomie und Nützlichkeit wurden anhand der Kriterien von Lienert und Raatz beurteilt. Es zeigten sich dabei zufriedenstellende Beurteilungen für die Durchführungszeit, die anhand des tatsächlichen Aufwandes und anhand von Mitarbeiterbeurteilungen erfasst wurde. Es zeigte sich, dass im Vergleich zur Erstversion der TAToo der zeitliche Aufwand für die Mitarbeiter verringert werden konnte. Ebenso positiv zu beurteilen sind der geringe Materialaufwand und die Möglichkeit der Gruppendurchführung der TAToo als Fragebogen oder Workshop. Mitarbeiter der Personalabteilung einer Organisation beurteilten die Nützlichkeit der TAToo ebenfalls positiv und konnten sich einen erneuten Einsatz des Instrumentes gut vorstellen. Studie 7: Entwicklung und Prüfung einer Instruktion für das Gruppieren von Verhaltensweisen zu Anforderungen: In der letzten Studie der Arbeit wurde für die Gruppierung der Verhaltensweisen zu Anforderungen in "Tool 2 – Gruppieren" eine Instruktion erstellt und bei der Anwendung geprüft. An der Prüfung der Instruktion nahmen Laien, ohne Vorerfahrung in der Gruppierung teil. Sie gruppierten je-weils zu dritt in insgesamt 10 Workshops allein anhand der Instruktion 79 Verhaltensweisen zu An-forderungen. Anhand von Beurteilerübereinstimmungen wurden die Anforderungsprofile dieser Gruppen miteinander verglichen. Für die prozentuale Übereinstimmung wurden hohe Werte von durchschnittlich 74% erzielt. Diese hohe Übereinstimmung zeigte sich auch in einem mittleren Wert für Cramers V von .47 sowie unerwartet hohen Kappa-Koeffizienten in einem Bereich von fair bis moderate. Diese hohen Beurteilerübereinstimmungen spiegelten sich auch in sehr positiven Beurteilungen zur Verständlichkeit und Handhabbarkeit der Instruktion aus dem Blickwinkel der Anwender wider. Schlussfolgerungen Aus der Arbeit lässt sich insgesamt ableiten, dass es gelungen ist, verschiedene Durchfüh-rungsvarianten für die Datenerhebung in "Tool 1 – Erheben" zu integrieren. Mit dem Instrument kön-nen Anforderungen für eine Stelle oder Tätigkeit objektiv und valide beschrieben werden. Für den Arbeitsschritt des Gruppierens von Verhaltensweisen zu Anforderungen in "Tool 2 – Gruppieren" konnte eine Instruktion entwickelt werden, die sich als geeignet erwiesen hat, ein objektives Vorgehen sicherzustellen. In weiteren Studien soll vorrangig die prädiktive Validität des Instrumentes und die Anwendbarkeit der Instruktion in Unternehmen geprüft werden.