Search

Supplemental Material, sj-pdf-1-ssc-10.1177_0894439321992779 for Question Order Effects in Cross-Cultural Web Probing: Pretesting Behavior and Attitude Questions by Patricia Hadler in Social Science Computer Review

The outbreak of COVID-19 has created new challenges for face-to-face research activities, including conducting in-person cognitive interviews. The first lockdown in Germany in mid-March 2020 coincided with the preparation phase of a pretest that we planned to conduct face-to-face in our pretest lab in Mannheim. Since we were no longer able to interview participants in person, we quickly had to come up with alternative ways of conducting pretests without simply switching to the online mode and testing the questionnaires via web probing. This blog post tells the story of how we switched to remote cognitive interviewing and reflects the experience we have gathered with this method over the last 12 months., Der Ausbruch von COVID-19 hat Face-to-Face-Forschungsaktivitäten vor neue Herausforderungen gestellt, einschließlich der Durchführung von persönlichen kognitiven Interviews. Der erste Lockdown in Deutschland Mitte März 2020 fiel direkt in die Vorbereitungsphase eines Pretests, im Zuge dessen wir persönlich-mündliche Interviews in unserem Pretest-Labor in Mannheim durchführen wollten. Da es uns nicht mehr möglich war, Testpersonen persönlich zu befragen, mussten wir kurzfristig auf alternative Wege der Durchführung von Pretests umsteigen, ohne jedoch einfach nur in den Online-Modus zu wechseln und die Fragebögen mittels Web Probing zu testen. Dieser Blog-Beitrag erzählt, wie wir auf Kognitive Remote Interviews umgestiegen sind, und reflektiert unsere Erfahrungen, die wir in den letzten zwölf Monaten mit dieser Methode gesammelt haben., GESIS Blog

Im Rahmen des Projekts „Komplexität und intrinsische Motivation im Klimaschutz“ an der Fakultät für Wirtschafts- und Sozialwissenschaften der Universität Hamburg soll ein Feldexperiment durchgeführt werden, in dem die Komplexität von Informationstexten zur Intervention im Klimaschutz variiert wird. Der Informationstext der zu testenden Frage aus der Baseline-Bedingung sollte vor der Implementierung in der Onlinebefragung einem kognitiven Pretest unterzogen werden, um zu prüfen, ob die genannten Informationen verständlich und die Befragten in der Lage sind, darauf basierend eine Entscheidung zu treffen. Der Informationstext soll anhand der Ergebnisse ggf. überarbeitet werden. Zu diesem Zweck wurde das GESIS-Pretestlabor beauftragt, einen kognitiven Pretest durchzuführen., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Quotenauswahl, Erwachsene ab 18 Jahren in Deutschland. Der Pretest wurde mit sechs Testpersonen durchgeführt, wobei der Schwerpunkt auf älteren Menschen (über 60 Jahre) und Menschen mit mittlerer oder niedrigerer Bildung lag.

Im Rahmen eines DFG-Projektes ist eine Online-Vignettenstudie geplant, die über das GESIS Panel und die Understanding America Study (OPPA Panel Alliance) mit jeweils 2.000 Teilnehmern in Deutschland und den USA durchgeführt werden soll. Das Gesamtprojekt untersucht Demokratiekonzeptionen von Bürger*innen und Eliten in Deutschland und den USA in vergleichender Perspektive. Eine Grundlage des Vorhabens ist die Unterscheidung von vier konkurrierenden bzw. alternativen Demokratiekonzeptionen: einer liberal-technokratischen Konzeption, einer deliberativ-prozeduralistischen Konzeption, einer populistisch-majoritaristischen Konzeption und einer radikal-sozialistischen Konzeption. Diese Demokratiekonzeptionen unterscheiden sich hinsichtlich ihrer normativen Zielvorstellungen für demokratische Ordnungen in vier Dimensionen: politische Repräsentation, Volks- und Regierungssouveränität, Modus der Entscheidungsfindung und Bürgerbeteiligung. Entsprechende Demokratiekonzeptionen werden mit einer bereits erprobten Item-Batterie abgefragt. Die Vignettenstudie ergänzt diese Befragung. Vorgesehen ist ein 4²-Design mit einer Vignettenpopulation von insgesamt 16 möglichen Vignetten. Die Teilnehmer der Studie sollen jeweils vier Vignetten anhand von drei Fragen bewerten. Die drei Fragen beziehen sich auf die Unterstützung eines entsprechenden Systems, dessen demokratische Qualität (Input) und dessen Effektivität (Output)., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Kreuzquoten innerhalb der Länder nach: Geschlecht (m/w) x Alter (18–45, 46–75) x Bildung (bis High School/ohne Hochschulzugangsberechtigung vs. höher als High School/mit Hochschulzugangsberechtigung) = 2 x 3 x 2 Gruppen

This survey guideline addresses the practical question of how best to inform survey participants about the collection and use of paradata in web surveys. We provide an overview of different personal and non-personal web paradata and the associated information and consent requirements. Best practices regarding the procedure, wording, and placement of non-personal web paradata information are discussed. In addition, we propose a sample wording for web paradata information in German and English.

Die German Longitudinal Election Study (GLES) ist das zentrale Infrastrukturprojekt in Deutschland für die kontinuierliche Erhebung und Bereitstellung von qualitativ hochwertigen Daten für die nationale und internationale Wahlforschung. Die methodisch vielfältigen Umfragen der GLES ermöglichen die Untersuchung der politischen Einstellungen und Verhaltensweisen der Wählerinnen und Wähler sowie Kandidatinnen und Kandidaten. Die GLES wird seit ihrem Bestehen in enger Kooperation zwischen der Deutschen Gesellschaft für Wahlforschung (DGfW) und GESIS – Leibniz-Institut für Sozialwissenschaften durchgeführt., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Quotenauswahl. Die Testpersonen sollten soziale Medien nutzen, was mittels Filterfragen bei der Rekrutierung sichergestellt wurde. Kreuzquoten nach Geschlecht (m/w) x Alter (18–45, 46+) x Bildung (mit/ohne Hochschulzugangsberechtigung) = 2 x 2 x 2 Gruppen

The Survey of Health, Ageing and Retirement in Europe (SHARE) is a multidisciplinary and cross-national panel database of micro data on health, socio-economic status and social and family net-works of about 140,000 individuals aged 50 or older (around 380,000 interviews). SHARE covers 27 European countries and Israel. For wave 9 of SHARE, there is interest in including new items on the following topics: financial decision making, successful ageing, eating habits, sleep, long-term care insurance, and long-term care expectations. The aim of the pretest is to optimize the questions prior to their administration in the actual survey and thereby to improve data quality. *Note: The items were tested in German. The items below are English translations of the original German wordings.*, GESIS Project report, Self-administered questionnaire: Web-based, Cognitive Pretest, Quota sampling based on sex (m/f) and education (no university-entrance degree/ university entrance degree) = 2 x 2 groups. The minimum age for the test persons was 50 years.

Paradata are information about the primary survey data collection process. This guide is intended for survey practitioners who want to collect and use paradata in web surveys. The guideline focuses on a typology and possible applications of web paradata and practical implications regarding the collection, post-processing, and documentation of web paradata. Paradaten sind Informationen über den Erhebungsprozess von Umfragedaten. Dieser Leitfaden richtet sich an Umfragepraktiker, die Paradaten in Online-Umfragen erheben und auswerten möchten. Der Leitfaden konzentriert sich dabei auf die Typologie und mögliche Anwendungen von Web-Paradaten und praktische Implikationen hinsichtlich der Sammlung, Nachbearbeitung und Dokumentation von Web-Paradaten.

„Die Lebenssituation von Frauen auf landwirtschaftlichen Betrieben in ländlichen Regionen Deutschlands - Eine sozio-ökonomische Analyse" ist ein vom Bundesministerium für Ernährung und Landwirtschaft (BMEL) gefördertes Forschungsprojekt. Das Ziel des Projekts besteht darin, die Lebens- und Arbeitssituation der Frauen auf landwirtschaftlichen Betrieben zu beleuchten und deren Beitrag zur Landwirtschaft und zu ländlichen Räumen zu klären. Hierfür wird vom Thünen-Institut für Betriebswirtschaft und der Universität Göttingen gemeinsam eine deutschlandweite Untersuchung mit Interviews und einer Online-Befragung durchgeführt., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Die Rekrutierung der Testpersonen erfolgte über das Thünen-Institut in Kooperation mit dem Deutschen Landfrauenverband (dlv). Die Testpersonen waren Frauen, die auf landwirtschaftlichen Betrieben leben, arbeiten oder früher arbeiteten. Es wurden keine Quoten festgelegt. Allerdings wurde bei der Rekrutierung darauf geachtet, dass sich die Testpersonen hinsichtlich folgender Merkmale unterscheiden: Alter, Bezug zum landwirtschaftlichen Betrieb, höchster Bildungsabschluss, Region (Norden, Süden, Westen, Osten)

GESIS Survey Guidelines

Das Forschungsprojekt „False Consensus Beliefs in Politics – Determinants and Implications“ untersucht, inwieweit es bei Befragten zu einer verzerrten Einschätzung der Mehrheitsmeinung in Richtung eigener Positionen kommt. Diese Form der Fehleinschätzung der Mehrheitsmeinung ist in der psychologischen Forschung als „False Consensus“-Phänomen bekannt. Das Projekt wird Zusammenhänge zwischen falschen Konsensmeinungen, Medienkonsum und populistischen politischen Einstellungen prüfen. Als empirische Grundlage zur Beantwortung dieser Fragen sollen mehrere Items im ersten Halbjahr 2019 in einer Welle des GESIS Panel mitlaufen. Zur Vorbereitung dieser Befragung werden insgesamt 14 Items unter methodischen und fragebogentechnischen Aspekten einem kognitiven Online-Pretest unterzogen und aufgrund der Testergebnisse überarbeitet., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Quotenauswahl. Die Testpersonen wurden aus einem Online Access Panel rekrutiert. Die Auswahl der Testpersonen erfolgte nach den Quoten Alter (18 – 30 Jahre, 31 – 50 Jahre, 51 – 70 Jahre), höchster Schulabschluss (Hochschulzugangsberechtigung; keine Hochschulzugangsberechtigung) und Geschlecht: 10 Frauen und 10 Männer, 18-30 Jahre, keine Hochschulzugangsberechtigung 10 Frauen und 10 Männer, 18-30 Jahre, Hochschulzugangsberechtigung 10 Frauen und 10 Männer, 31-50 Jahre, keine Hochschulzugangsberechtigung 10 Frauen und 10 Männer, 31-50 Jahre, Hochschulzugangsberechtigung 10 Frauen und 10 Männer, 51-70 Jahre, keine Hochschulzugangsberechtigung 10 Frauen und 10 Männer, 51-70 Jahre, Hochschulzugangsberechtigung

Im Zuge grundlegender demographischer Veränderungen gewinnt die Frage an Bedeutung, wie Fürsorgearbeit für pflegebedürftige Personen organisiert wird. Neben der Unterbringung in Pflegeheimen oder der Versorgung durch ambulante Pflegedienste, können Pflegekräfte auch direkt in einem Haushalt angestellt werden. Dies kann im Rahmen eines sozialversicherungspflichtigen oder eines geringfügigen Beschäftigungsverhältnisses geschehen. Außerdem scheint es noch eine nicht unbeträchtliche Zahl informeller Beschäftigungsverhältnisse in Privathaushalten zu geben. In jüngster Zeit haben vor allem Pflegeagenturen von sich reden gemacht, die insbesondere Arbeitskräfte aus Osteuropa als sogenannte Live-Ins vermitteln. Obwohl osteuropäische Arbeitskräfte nach dem Inkrafttreten der Arbeitnehmerfreizügigkeit seit 2011 bzw. 2014 ganz legal in Deutschland pflegen dürfen, arbeitet derzeit geschätzt die Hälfte dieser Betreuer/-innen schwarz bzw. in einer rechtlichen Grauzone. Das Ziel des Projektes „Who cares?“, im Rahmen dessen der Pretest durchgeführt wurde, ist es, mit einer bislang in Deutschland nicht etablierten Methode – der sogenannten Person Count Technique (PCT) – Erkenntnisse zu (ausländischen und illegalen) Pflegekräften in Privathaushalten zu gewinnen. Die PCT ist eine Möglichkeit, sensitive Fragen zu stellen und so Informationen über die Verbreitung sozial unerwünschten Verhaltens zu sammeln. Zur Vorbereitung der PCT-Befragung wurden acht Items des Fragebogens unter methodischen und fragebogentechnischen Aspekten einem kognitiven Online-Pretest unterzogen. Das GESIS-Pretestlabor entwickelte hierfür den kognitiven Leitfaden für einen Online-Pretest und wertete die Ergebnisse quantitativ und qualitativ aus., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Online-Pretest, Die Testpersonen wurden aus einem Online-Access-Panel rekrutiert. Um zur Zielgruppe zu gehören mussten sie folgende Kriterien erfüllen: Alle Testpersonen haben in ihrem Verwandten- oder näheren Bekanntenkreis mindestens eine Person, die aus Alters- oder Krankheitsgründen oder wegen einer Behinderung dauerhaft hilfe- oder Pflegebedürftig ist. Alle Testpersonen sind hauptsächlich für die Pflege und Betreuung mindestens einer dieser Personen zuständig. Mindestens eine dieser pflegebedürftigen Personen wird in einem Privathaushalt betreut bzw. gepflegt. Alle Testpersonen kennen mindestens zwei weitere Personen mit Pflegeverantwortung. Alle Testpersonen sind mindestens 35 Jahre alt.

Radicalized Islamist attitudes or expressions of opinion do not automatically lead to corresponding violent acts among young people from Islamist socialization milieus. But they contribute to the legitimacy of violent activities, because any violence against other groups is always dependent on such patterns of attitude, which imply a devaluation of foreign groups, which is given by the radicalized Islamist attitudes towards persons of other faiths. The research project "Islamist attitudes among young Muslims in Germany" examines the patterns and social backgrounds, including the actors who promote such legitimation-providing attitudes among adolescents. In order to prepare the survey, selected parts of the questionnaire should be subjected to a cognitive pretest under methodological and questionnaire-related aspects and revised based on the test results. The questionnaire was developed in German and translated into Turkish and Arabic, among other languages. The aim of the cognitive pretest was to test both the original questionnaire and the translations. To test the Turkish and Arabic questionnaires, simultaneous interpreters were to be added to the cognitive interviews via video conference. For this purpose, the GESIS pretest laboratory was commissioned to carry out the cognitive pretest.

This report contains the results of the post test of the 6th EWCS, carried out by GESIS - Leibniz Institute for the Social Sciences (Germany). The aim is to deliver insights for the interpretation of the re-sults of the 6th EWCS, and to deliver input for the development and revision of the 7th EWCS. Two major research questions are addressed. The first is to establish differences in comprehension of questions between employed and self-employed respondents. Secondly, it examines potential measurement issues related to the concept of employment and the main paid job criterion for workers in atypical working situations. For the post test a mixed-mode design was used. A cognitive online pretest in the UK, Germany, and Poland was carried out with a total of 365 employed and self-employed respondents. Face-to-face interviews with 32 respondents in Germany and Poland delivered insights on atypical working situa-tions, such as multi-activity or precarious employment.

Ausgewählte Fragen der Welle 9 des European Social Survey (ESS) sollten in einem kognitiven Pretest überprüft werden - im Fokus des Tests der Fragen stand die Überprüfung des Unterschieds zwischen den alternativen Formulierungen "fair" und "gerecht" in den jeweiligen Fragen. Ziel des kognitiven Pretests war es, zu verstehen, inwiefern die unterschiedlichen Formulierungen einen Einfluss auf das Verständnis der Fragen und das Antwortverhalten der Befragten haben. Zu diesem Zweck wurde das GESIS-Pretestlabor mit der Durchführung des kognitiven Pretests beauftragt.

The Pretest lab of GESIS Leibniz Institute for the Social Sciences (Germany) was assigned the task to pretest a module on the Internet of Things (IoT) to be included, if deemed appropriate, in future waves of the Community Survey on ICT Use in Households and by lndividuals conducted by the European Commission. The aim of the cognitive pretest was to optimize the questions prior to their potential administration in the actual survey and thereby to improve data quality. The inclusion of a module on IoT in the Community Survey on ICT Use in Households and by lndividuals is of interest to DG CNECT in order to monitor the evolution and adoption of recent technological solutions in this domain. GESIS tested an English and a German version of the module with British and German respondents (n=120) in a web survey. In total, respondents received open and closed probes for four items. Some of the items do not need to be changed but the results indicate for a few questions that the answer op-tions, the question order, or the German translations need to be improved. The pretest report includes recommendation to further refine the questions of the module.

Steigende internationale Flüchtlingsströme stellen das deutsche Gesundheitssystem vor die Herausforderung, eine angemessene Versorgung für diese Bevölkerungsgruppe sicherzustellen. Die Systemantwort im Bereich der Versorgung von Asylsuchenden ist durch internationale, nationale sowie föderale Regelwerke bestimmt und häufig durch Unter-, Über- und Fehlversorgung gekennzeichnet. Ziel des Projektes „RESPOND“ ist die Entwicklung und Evaluation von Maßnahmen, welche individuelle und organisationsbezogene Barrieren einer effektiven Versorgung im Licht rechtlicher Rahmenbedingungen überwinden. Dadurch soll einerseits die Systemantwort verbessert, d.h. effektiver, effizienter und bedarfsgerechter, werden. Andererseits sollen sie zur Verbesserung gesundheitsbezogener Zielvariablen bei Asylsuchenden führen. Um die Projektziele zu adressieren wird u.a. eine Querschnittstudie zur Erfassung des Gesundheitszustands, des Zugangs zur Versorgung, der Qualität der Versorgung sowie der Gesundheitskompetenz bei Asylsuchenden in verschiedenen Settings durchgeführt. In allen Settings wird ein standardisierter Fragebogen eingesetzt. Zur Vorbereitung der Befragung sollen ausgewählte Teile des Fragebogens in verschiedenen Sprachen (Serbisch, Arabisch, Farsi, Russisch, Englisch) unter methodischen und fragebogentechnischen Aspekten einem kognitiven Pretest unterzogen und aufgrund der Testergebnisse überarbeitet werden., GESIS Projektbericht, Self-administered questionnaire: Web-based, Kognitiver Pretest, Es wurden insgesamt 9 kognitive Interviews mit Asylsuchenden, die älter als 18 Jahre sind und in Erstaufnahmeeinrichtungen oder in Sammelunterkünften in Städten und Kommunen untergebracht sind, durchgeführt. Es wurde angestrebt mindestens zwei Personen pro Sprache einzuladen. Die Testpersonen wurden vom Auftraggeber ausgewählt und rekrutiert: Ein Quotenplan nach sozidemographischen Variablen wie Geschlecht, Alter oder Bildungsgrad war nicht möglich.

Diabetes mellitus ist eine chronische Erkrankung des Stoffwechselsystems mit hoher Public-Health-Relevanz und ist verbunden mit enormen Kosten für das Gesundheitssystem. Gezielte Information und Krankheitswissen erscheinen dazu geeignet, Krankheitsverläufe und die Gesundheitskompetenz positiv zu beeinflussen und eröffnen Möglichkeiten für zielgruppenspezifische Präventionskonzepte. Bisher liegen in Deutschland jedoch weder repräsentative Daten zum Informationsbedarf noch zum krankheitsspezifischen Wissen und der individuellen Risikowahrnehmung zur Entwicklung einer Diabeteserkrankung vor. Die Studie „Krankheitswissen und Informationsbedarfe – Diabetes mellitus“ beabsichtigt mittels einer telefonischen Befragung von etwa 4.000 Erwachsenen, darunter etwa 1.500 Personen mit Diabetes, bevölkerungsrepräsentative Daten zu den Themen Informationsbedarf, Risikowahrnehmung, Krank-heitswissen, Inanspruchnahme von Präventions- und Versorgungsleistungen, Arzt-Patienten-Kommunikation, Patientenselbstmanagement und Krankheitserleben zu erheben. Die hierdurch gewonnen Daten können dazu dienen, Informationskampagnen zielgruppengerechter zu gestalten und Zugangswege für Diabetes-Patienten oder Menschen mit erhöhtem Diabetes-Risiko zu verbessern. Für die oben beschriebene telefonische Befragung werden zwei Fragebögen entwickelt, bei denen aufgrund der teilweise neuen Themenstellungen (beispielsweise Abfrage des Krankheitswissens in der Bevölkerung ohne Diabetes) auch auf noch nicht validierte Instrumente zurückgegriffen werden muss. Diese Einzelitems und Fragebogenkomplexe sollen in einem kognitiven Pretest auf ihre Verständlichkeit geprüft werden. Probleme der Befragten bei der Beantwortung sollen durch den Pretest identifiziert werden und anschließend durch eine Überarbeitung der Items durch das Robert-Koch-Institut behoben werden. Mit Hilfe von kognitiven Interviews soll überprüft werden, inwiefern die Items zur Messung der Themenbereiche Informationsbedarf, Risikowahrnehmung, Krankheitswissen, Inanspruchnahme von Präventions- und Versorgungsleistungen, Arzt-Patienten-Kommunikation, Patientenselbstmanagement und Krankheitserleben in einer telefonischen Befragung geeignet sind. Die kognitiven Interviews sollen darauf abzielen die Verständlichkeit der Items und von spezifischen Begriffen zu überprüfen. Damit sollen potentielle Fehlerquellen oder Schwierigkeiten beim Verstehen der Fragebogenfragen identifiziert und Ideen für eine besser verständliche Fragenformulierung generiert werden. Zu diesem Zweck wurde das GESIS-Pretestlabor mit der Durchführung des kognitiven Pretests beauftragt. Ansprechperson auf Seiten des Robert-Koch-Instituts war Frau Paprott., GESIS Projektbericht, CAPI, Quotenauswahl. In Absprache mit den Auftraggebern wurden insgesamt 20 kognitive Interviews mit Befragten ab einem Alter von 18 Jahren durchgeführt (N=10 in der Bevölkerung ohne Diabetes, N=10 in der Bevölkerung mit Diabetes). Der vorliegende Projektbericht enthält die Ergebnisse der 10 kognitiven Interviews, die mit Personen mit Diabetes durchgeführt wurden. Bei den Testpersonen mit Diabetes sollte es sich größtenteils um Personen mit Typ-2-Diabetes handeln. Die zu befragenden Personen sollten sich jeweils ca. zur Hälfte aus Männern bzw. Frauen zusammensetzen und sich auf verschiedene Altersgruppen verteilen: 18 – 38 Jahre, 39 – 59 Jahre und 60 – 80 Jahre.