Search

Large-scale surveys are increasingly moving from (face-to-face or telephone-based) interviewer-administered to self-administered online modes. To ensure high measurement quality and maximum comparability and equivalence between the source questionnaire and its adaptation - across modes as well as across survey waves - various aspects of question design must be considered and several decisions need to be made concerning question presentation and wording. This survey guideline summarizes good practices on how to transition questionnaires from interviewer- to self-administered web surveys and gives recommendations and examples for major adaptation issues as well as general questionnaire design elements relevant to web surveys. In this context, we focus on the switch from an interviewer-based to an online mode (although mixed-mode designs are also conceivable). Groß angelegte Studien werden zunehmend von interviewerbasierten (persönlichen oder telefonischen) Befragungen auf selbstverwaltete Onlineerhebungen umgestellt. Um eine hohe Datenqualität und ein Höchstmaß an Vergleichbarkeit und Äquivalenz zwischen dem Ausgangsfragebogen und seiner Adaptation - sowohl über verschiedenen Modi als auch Erhebungswellen hinwe - zu gewährleisten, müssen verschiedene Aspekte des Fragebogendesigns berücksichtigt und eine Reihe von Entscheidungen in Bezug auf die Präsentation und Formulierung von Fragen getroffen werden. Dieser Erhebungsleitfaden fasst bewährte Methoden zur Umwandlung der Fragebögen von interviewgestützten zu selbstgestützten Onlineerhebungen zusammen und gibt Empfehlungen und Beispiele für wichtige Anpassungsfragen sowie zu allgemeinen Gestaltungselementen von Fragebögen, die für Onlineumfragen relevant sind. In diesem Zusammenhang konzentrieren wir uns auf den Wechsel von einem interviewergestützten zu einem Onlinemodus (obwohl auch gemischte Modi denkbar sind).

Die Studie „FReDA – Das familiendemografische Panel“ wird gemeinsam vom Bundesinstitut für Bevölkerungsforschung (BiB), GESIS Leibniz-Institut für Sozialwissenschaften und dem pairfam-Konsortium aufgebaut. Es handelt sich um eine Infrastruktur in Deutschland, die das Gender & Generations Programme (GGP) und pairfam unter einem Dach verbindet. Im Kern von FReDA stehen jährliche Wiederholungsbefragungen von 18- bis 49-jährigen Frauen und Männern sowie deren Partnerinnen und Partnern. Hierdurch soll es Datennutzern ermöglicht werden verschiedene familiendemographische, familiensoziologische und familienpsychologische Fragestellungen zu beantworten. Fachartikel zur Studie: Schneider, N. F.; Bujard, M.; Wolf, C.; Gummer, T.; Hank, K. & Neyer, F. J. (2021). Family Research and Demographic Analysis (FReDA): Evolution, Framework, Objectives, and Design of “The German Family Demography Panel Study”. Comparative Population Studies, 46. https://doi.org/10.12765/CPoS-2021-06, GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Die Testpersonen waren zwischen 18 und 49 Jahren alt und wurden auf Basis der folgenden Kreuzquoten rekrutiert: Geschlecht (m/w) x Alter (18 – 34 Jahre/35 – 49 Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung). Zudem sollten mindestens 160 Testpersonen mit einem oder mehreren Kindern im Haushalt leben. Jeweils 120 Testpersonen sollten sich in einer festen Partnerschaft befinden bzw. ohne Partner*in sein.

Das vom BMBF geförderte Projekt "LoneCovid" untersucht die langfristige Entwicklung sozialer Beziehungen im Verlauf der Covid-19-Pandemie sowie deren Einfluss auf die psychische Gesundheit, das Vertrauen in Politik und Wissenschaft und die Befolgung politischer Maßnahmen. Hierfür werden längsschnittliche Daten des GESIS Panels mit neu erhobenen egozentrierten Netzwerkdaten in einem Mixed-Methods-Design kombiniert. Einige der zur Erhebung egozentrierter Netzwerkdaten verwendeten Fragen sollten einem kognitiven Pretest unterzogen werden, um die Verständlichkeit der Fragen zu überprüfen, Probleme zu identifizieren, die die Befragten bei der Beantwortung der Fragen haben und um die Ursachen für diese Probleme zu ermitteln. Darüber hinaus sollte der Pretest Hinweise darauf liefern, welche Probleme bei einer videobasierten Befragung auftauchen können und wie diesen in einer konkreten Interviewsituation begegnet werden kann.

Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) wurde 2012 gegründet. Es gibt den staatlichen und nicht-staatlichen Organisationen der Entwicklungszusammenarbeit unabhängige und wissenschaftsbasierte Evidenz an die Hand, um ihre Strategien, Instrumente und Programme zu optimieren (https://www.deval.org/de/ueber-uns/das-institut/aufgaben-und-ziele ). Zur Vorbereitung der Studie „DEval - Meinungsmonitor Entwicklungspolitik“ wurden insgesamt neun Fragen zum entwicklungspolitischen Meinungsbild, Wissen und Engagement einem kognitiven Online-Pretest unterzogen. Ziel des Pretests war es, die Verständlichkeit der Fragen und zentraler Begriffe zu überprüfen, Probleme zu identifizieren, die die Befragten bei der Beantwortung der Fragen haben und die Ursachen für diese Probleme zu ermitteln., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Die Testpersonen waren zwischen 18 und 75 Jahren alt und wurden auf Basis der folgenden Kreuzquoten rekrutiert: Geschlecht (m/w) x Alter (18 – 45 Jahre/46 – 75 Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung). Nach der Datenbereinigung ergab sich die folgende realisierte Stichprobe: 31 Frauen und 26 Männer, 18 – 45 Jahre, keine Hochschulzugangsberechtigung 32 Frauen und 28 Männer, 18 – 45 Jahre, Hochschulzugangsberechtigung 29 Frauen und 31 Männer, 46 – 75 Jahre, keine Hochschulzugangsberechtigung 32 Frauen und 31 Männer, 46 – 75 Jahre, Hochschulzugangsberechtigung

Das am Institut für Politikwissenschaft der Universität Duisburg-Essen angesiedelte Forschungsprojekt „Soziale Offenheit, soziale Kontrolle und Integration muslimischer Zuwanderer – Eine Panelstudie in Nachbarschaften ausgewählter deutscher Städte“ wird vom 01.04.2021 bis zum 31.03.2024 von der Deutschen Forschungsgemeinschaft (DFG) gefördert. Im Rahmen des Projekts soll untersucht werden, in welcher Weise unterschiedliche Konfigurationen sozialer Austauschprozesse in Nachbarschaften sozio-kulturelle Einstellungen von Zuwanderern aus muslimisch geprägten Herkunftsländern beeinflussen. Konkret wird der Frage nachgegangen, wie sich nachbarschaftliche soziale Kontrolle und soziale Offenheit auf egalitäre Einstellungen in Bezug auf Geschlechterrollen und Pluralismus auswirken. Die zum Projekt gehörende Panelbefragung wird unter dem Namen „Leben im Viertel“ (LiV) durchgeführt., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Es wurden nur Testpersonen befragt, die in einer Großstadt, einem Vorort bzw. Randgebiet einer Großstadt oder einer Kleinstadt leben. 13 der 240 Testpersonen gaben an, nicht in Deutschland geboren zu sein. Kreuzquoten nach Geschlecht (m/w) x Alter (18 – 45 Jahre/46 – 75 Jahre) x Bildung (mit/ohne Hochschulzugangsberechtigung = 2 x 2 x 2 Gruppen). Nach der Datenbereinigung ergab sich die in Tabelle 1 dargestellte realisierte Stichprobe.

Das Zusammenhaltspanel des Forschungsinstituts Gesellschaftlicher Zusammenhalt (ZHP-FGZ) stellt eine Datenbasis für systematische Analysen zum Zusammenhang zwischen sozio-ökonomischen Lebenslagen, der individuellen Lebensführung, den gruppen- und gesellschaftsbezogenen Einstellungen und Werten der Bevölkerung und ihren politischen Orientierungen und Verhaltensweisen bereit. Damit sollen Fragen des gesellschaftlichen Zusammenhalts auf den Ebenen von Individuen, Gruppen und Netzwerken erfasst und durch strukturelle Lageparameter und kulturelle Dispositionen erklärt werden. Das ZHP-FGZ eröffnet damit auch die Möglichkeit, neue Erhebungskonzepte für die Analyse und das Monitoring gesellschaftlichen Zusammenhalts zu entwickeln und einzusetzen. Zur Vorbereitung der zweiten Welle des ZHP-FGZ sollten zehn Fragen zu den Themen Klimawandel, Antisemitismus und Geschlechtergleichstellung in einem kognitiven Online-Pretest auf ihre Verständlichkeit hin untersucht werden.

Im Rahmen des DFG-Projekts „The Role of Internalised Efficacy Beliefs for Participation in Educa-tion and Political Life – DFG Research Group RISS / FOR 5173“ sollen Jugendliche mittels Online-Fragebogen zum Thema Wirksamkeitsüberzeugungen in den Bereichen Bildung und Politik befragt werden. Zur Vorbereitung der Befragung sollen teilweise bestehende Skalen auf ihre Anwendbar-keit in einer jugendlichen Zielgruppe untersucht, sowie neue Skalen entwickelt werden., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Jugendliche im Alter von 15 bis 17 Jahren; innerhalb der Zielgruppe Mindestquoten. Auswahl nach Schulform, Migrationshintergrund und Geschlecht. Schulform: Mindestens drei Testpersonen sollten eine Schulform besuchen, die kein Gymnasium darstellt (bspw. Realschule, Hauptschule, IGS, Berufsschule) Migrationshintergrund: Mindestens zwei Testpersonen sollten einen Migrationshintergrund (erste oder zweite Generation) haben. Dies wurde über das Geburtsland der Testperson bzw. ihrer Eltern operationalisiert. Bei der Auswahl der Testpersonen mit Migrationshintergrund wurde darauf geachtet, dass die Testpersonen Gruppen zugehören, die nachweislich im deutschen Bildungssystem Benachteiligung aufgrund ihrer ethnischen Herkunft erfahren. Darunter fallen alle Länder, die für den Erhalt öffentlicher Entwicklungshilfe infrage kommen, sowie zahlreiche osteuropäische Länder, Italien und die Türkei (Kristen 2003; BMZ 2022; OECD 2022; UN 2022). Geschlecht: Eine Gleichverteilung nach Geschlecht wurde angestrebt, war aber nachrangig gegenüber den anderen Kriterien. Realisierte Stichprobe: 2 Frauen und 1 Mann, mit Migrationshintergrund, andere Schulform 2 Männer, ohne Migrationshintergrund, Gymnasium 1 Mann, ohne Migrationshintergrund, andere Schulform

Eurofound has developed three regularly repeated pan-European surveys (ECS, EQLS and EWCS) to contribute to the planning and establishment of better living and working conditions. The surveys offer a unique source of comparative information on the quality of living and working conditions across the EU. Detailed analysis of the survey data allows Eurofound to identify new and emerging trends, as well as to gain deeper insight in the issues central to European policy. The results provide a strong basis for policymakers to identify opportunities for improvement and to develop forward-looking perspectives. The surveys are a key element in Eurofound’s mission to provide high-quality information and advice for EU and national-level policymakers, social partners, researchers and European citizens alike. The EWCS is the longest running survey, and has become an established source of information about working conditions and the quality of work and employment. Having been implemented since 1990, it enables monitoring of long-term trends in working conditions in Europe. Themes covered include employment status, working time arrangements, work organisation, learning and training, physical and psychosocial risk factors, health and safety, worker participation, work–life balance, earnings and financial security, as well as work and health., GESIS Project report, Self-administered questionnaire: Web-based, Cognitive Pretest, The target group in the web probing study included the working population ages 18 to 65 in the UK, Germany, and Poland. Respondents were recruited via a non-probability online panel based on a quota scheme (quotas: working status, gender, age). The target group in the cognitive interviewing study included the working population ages 18 to 65 years in Germany and Poland. They were recruited based on quotas for working status (employed, self-employed, in atypical working situations), number of jobs or businesses (one, more than one), gender (male, female), age (18-44, 45-65), and education (with/without university entrance degree).

Im Rahmen des DFG-geförderten Forschungsprojektes "Ensuring Valid Comparisons of Self-Reports in Heterogenous Populations and Marginalized Groups (ENSURE)" (Projektnummer 409654512) an der Professur für empirische Sozialforschung (Institut für Soziologie, Technische Universität Dresden) werden bereits etablierte Messinstrumente quantitativer Befragungen in der Gesundheitsforschung einem kognitiven Pretest unterzogen, um sicherzustellen, dass sie auch in anderen Sprach- und Kulturkreisen eingesetzt werden können (sprach- und kulturübergreifende Messinvarianz). Die Zielgruppe stellen in Deutschland lebenden Personen mit Fluchterfahrung (Fluchtmigration) aus Syrien, dem Irak und Afghanistan dar. Getestet wurden die Fragen mithilfe von kognitiven Remote-Interviews unter Einsatz von per Video zugeschalteten Konsekutivdolmetschern in den Sprachen arabisch und dari.

Im Rahmen des Projekts „Komplexität und intrinsische Motivation im Klimaschutz“ an der Fakultät für Wirtschafts- und Sozialwissenschaften der Universität Hamburg soll ein Feldexperiment durchgeführt werden, in dem die Komplexität von Informationstexten zur Intervention im Klimaschutz variiert wird. Der Informationstext der zu testenden Frage aus der Baseline-Bedingung sollte vor der Implementierung in der Onlinebefragung einem kognitiven Pretest unterzogen werden, um zu prüfen, ob die genannten Informationen verständlich und die Befragten in der Lage sind, darauf basierend eine Entscheidung zu treffen. Der Informationstext soll anhand der Ergebnisse ggf. überarbeitet werden. Zu diesem Zweck wurde das GESIS-Pretestlabor beauftragt, einen kognitiven Pretest durchzuführen., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Quotenauswahl, Erwachsene ab 18 Jahren in Deutschland. Der Pretest wurde mit sechs Testpersonen durchgeführt, wobei der Schwerpunkt auf älteren Menschen (über 60 Jahre) und Menschen mit mittlerer oder niedrigerer Bildung lag.

Im Rahmen eines DFG-Projektes ist eine Online-Vignettenstudie geplant, die über das GESIS Panel und die Understanding America Study (OPPA Panel Alliance) mit jeweils 2.000 Teilnehmern in Deutschland und den USA durchgeführt werden soll. Das Gesamtprojekt untersucht Demokratiekonzeptionen von Bürger*innen und Eliten in Deutschland und den USA in vergleichender Perspektive. Eine Grundlage des Vorhabens ist die Unterscheidung von vier konkurrierenden bzw. alternativen Demokratiekonzeptionen: einer liberal-technokratischen Konzeption, einer deliberativ-prozeduralistischen Konzeption, einer populistisch-majoritaristischen Konzeption und einer radikal-sozialistischen Konzeption. Diese Demokratiekonzeptionen unterscheiden sich hinsichtlich ihrer normativen Zielvorstellungen für demokratische Ordnungen in vier Dimensionen: politische Repräsentation, Volks- und Regierungssouveränität, Modus der Entscheidungsfindung und Bürgerbeteiligung. Entsprechende Demokratiekonzeptionen werden mit einer bereits erprobten Item-Batterie abgefragt. Die Vignettenstudie ergänzt diese Befragung. Vorgesehen ist ein 4²-Design mit einer Vignettenpopulation von insgesamt 16 möglichen Vignetten. Die Teilnehmer der Studie sollen jeweils vier Vignetten anhand von drei Fragen bewerten. Die drei Fragen beziehen sich auf die Unterstützung eines entsprechenden Systems, dessen demokratische Qualität (Input) und dessen Effektivität (Output)., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Kreuzquoten innerhalb der Länder nach: Geschlecht (m/w) x Alter (18–45, 46–75) x Bildung (bis High School/ohne Hochschulzugangsberechtigung vs. höher als High School/mit Hochschulzugangsberechtigung) = 2 x 3 x 2 Gruppen

Die German Longitudinal Election Study (GLES) ist das zentrale Infrastrukturprojekt in Deutschland für die kontinuierliche Erhebung und Bereitstellung von qualitativ hochwertigen Daten für die nationale und internationale Wahlforschung. Die methodisch vielfältigen Umfragen der GLES ermöglichen die Untersuchung der politischen Einstellungen und Verhaltensweisen der Wählerinnen und Wähler sowie Kandidatinnen und Kandidaten. Die GLES wird seit ihrem Bestehen in enger Kooperation zwischen der Deutschen Gesellschaft für Wahlforschung (DGfW) und GESIS – Leibniz-Institut für Sozialwissenschaften durchgeführt., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Quotenauswahl. Die Testpersonen sollten soziale Medien nutzen, was mittels Filterfragen bei der Rekrutierung sichergestellt wurde. Kreuzquoten nach Geschlecht (m/w) x Alter (18–45, 46+) x Bildung (mit/ohne Hochschulzugangsberechtigung) = 2 x 2 x 2 Gruppen

The Survey of Health, Ageing and Retirement in Europe (SHARE) is a multidisciplinary and cross-national panel database of micro data on health, socio-economic status and social and family net-works of about 140,000 individuals aged 50 or older (around 380,000 interviews). SHARE covers 27 European countries and Israel. For wave 9 of SHARE, there is interest in including new items on the following topics: financial decision making, successful ageing, eating habits, sleep, long-term care insurance, and long-term care expectations. The aim of the pretest is to optimize the questions prior to their administration in the actual survey and thereby to improve data quality. *Note: The items were tested in German. The items below are English translations of the original German wordings.*, GESIS Project report, Self-administered questionnaire: Web-based, Cognitive Pretest, Quota sampling based on sex (m/f) and education (no university-entrance degree/ university entrance degree) = 2 x 2 groups. The minimum age for the test persons was 50 years.

„Die Lebenssituation von Frauen auf landwirtschaftlichen Betrieben in ländlichen Regionen Deutschlands - Eine sozio-ökonomische Analyse" ist ein vom Bundesministerium für Ernährung und Landwirtschaft (BMEL) gefördertes Forschungsprojekt. Das Ziel des Projekts besteht darin, die Lebens- und Arbeitssituation der Frauen auf landwirtschaftlichen Betrieben zu beleuchten und deren Beitrag zur Landwirtschaft und zu ländlichen Räumen zu klären. Hierfür wird vom Thünen-Institut für Betriebswirtschaft und der Universität Göttingen gemeinsam eine deutschlandweite Untersuchung mit Interviews und einer Online-Befragung durchgeführt., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Die Rekrutierung der Testpersonen erfolgte über das Thünen-Institut in Kooperation mit dem Deutschen Landfrauenverband (dlv). Die Testpersonen waren Frauen, die auf landwirtschaftlichen Betrieben leben, arbeiten oder früher arbeiteten. Es wurden keine Quoten festgelegt. Allerdings wurde bei der Rekrutierung darauf geachtet, dass sich die Testpersonen hinsichtlich folgender Merkmale unterscheiden: Alter, Bezug zum landwirtschaftlichen Betrieb, höchster Bildungsabschluss, Region (Norden, Süden, Westen, Osten)