Search

v1.01: Feedback Welcome!

Registered Reports is a publication format implemented by some journals to emphasize the importance of the research question and the quality of the methodology prior to data collection. The format requires authors of empirical studies to preregister their study protocol including hypotheses, details concerning sample size and sampling methods, and the analysis plan. The submission of an empirical study outline is followed by a standard peer review process determining the quality of the intended research. If the preregistered protocol is accepted, publication of the final manuscript is granted to the authors irrespective of the outcomes. This approach seeks to prevent questionable research practices such as low statistical power, changing hypotheses retrospectively to fit obtained data (“HARKing”), selective reporting of results, manipulation of methods and criteria of analysis (“p-hacking”), and publication bias. While an increasing number of journals endorse the Registered Reports publishing format, some crucial issues impeding the large-scale dissemination of preregistration remain unresolved. Among these impediments are: Ambiguous reward systems for the stakeholders involved (publishers, editors, authors), a lack of integration of Registered Reports into research cycle workflows, and missing decision aids in case of deviations from the preregistered methodology. In this talk, a couple of solutions will be presented, illustrated and discussed involving Registered Reports as an integral part of a service portfolio provided by a research support organization. This model currently being developed and partly implemented at the Leibniz Institute for Psychology Information in Trier (Germany) offers services and incentives for preregistration (e.g., free data collection for preregistered protocols, notarization services, services for editors and publishers), integration into a disciplinary repository (PsychArchives), and a technology for identifying deviations from a preregistered protocol. The solutions presented for the field of Psychology are presumed to be transferable to a broad range of scientific areas.

In den letzten Jahren hat das ZPID aus dem Stand mit OJS eine erfolgreiche Publikationsplattform für die europäische Psychologie aufgebaut (PsychOpen). Von 2012 bis 2017 gab es drei Neugründungen und vier Transfers von internationalen Fachzeitschriften mit strengem Begutachtungsverfahren (Peer Review), deren Nutzung von knapp 50.000 Volltext-Downloads im ersten Jahr auf über eine Millionen in 2017 gestiegen ist. Da sich zwischen den Zeitschriften das optische Erscheinungsbild, der Produktionsworkflow und – sachgebietsabhängig – die Datenbasis für Autoren, Gutachter und Herausgeber unterscheiden, müssen sieben OJS-Instanzen betrieben werden. Im Zuge des stetig wachsenden Erfolgs von PsychOpen erweist sich dies als nachteilig: Mit den ursprünglich für PsychOpen vorgesehenen Ressourcen lässt sich die Nachfrage nach weiteren PsychOpen-Zeitschriften nicht befriedigen, weil die Aktualisierung, Wartung und Anpassung einer zunehmenden Zahl von OJS-Instanzen sehr aufwendig ist. Deshalb ist das ZPID dabei, für neue PsychOpen-Zeitschriften eine sog. White-Label-Lösung zu testen: Ein externer Plattform-Dienstleister übernimmt den technischen Betrieb einzelner Zeitschriften nach den Spezifikationen des ZPID, das sich so auf die inhaltliche Ausgestaltung und Qualitätssicherung konzentrieren kann. Als Nebenprodukt fallen Mehrwerte wie die Versionierung mit CrossMark an.

TDM und Psychologie.

Psychologinnen und Psychologen, die ihre Forschungsdaten veröffentlichen möchten, sehen sich einer Vielzahl von Möglichkeiten gegenüber. In diesem Beitrag wird ein Überblick über existierende Daten-Repositorien gegeben, die im Kontext psychologischer Forschungsdaten relevant sind. Unterschiede werden herausgearbeitet und Beurteilungskriterien, anhand derer Forscher die Eignung eines Repositoriums für ihre Daten beurteilen können, vorgestellt.

Der Vortrag war Teil des Workshops "Datenmanagement und Datenbereitstellung", der am 24.05.2017 am Psychologischen Institut der Philipps-Universität Marburg durchgeführt wurde. Strukturiert nach dem Forschungsdatenlebenszyklus wurde ein Überblick über verschiedene Aspekte des Forschungsdatenmanagements in der Psychologie gegeben. Vorgestellt wurden in diesem Kontext Wege zur Bereitstellung psychologischer Forschungsdaten und damit verbundene Problemstellungen des Forschungsdatenmanagements. Anschließend wurde, orientiert an den DGPs Empfehlungen zum Umgang mit Forschungsdaten, die Aufbereitung von Forschungsdaten thematisiert und erklärt, wie das Assistenzsystem DataWiz Forschende bei dieser Aufgabe unterstützen soll.

Mit dem Forschungsdatenzentrum PsychData betreibt das Leibniz-Zentrum für Psychologische Information und Dokumentation (ZPID) seit mehr als 10 Jahren eine Plattform, die bedeutende psychologische Forschungsdaten entgegennimmt, sichert und für Sekundäranalysen zur Verfügung stellt. Im Regelbetrieb von PsychData wurde deutlich, dass Forschende Hilfestellungen zur Durchführung eines qualitativ hochwertigen Forschungsdatenmanagements benötigen. Um auf eine breite Akzeptanz der Community zu stoßen, muss die Forderung nach Open Science deswegen von Angeboten begleitet werden, die Forschenden eine spürbare Arbeitserleichterung im Umgang mit ihren Daten bieten. Diese Angebote sollten sich so früh wie möglich in den Forschungsdatenmanagementprozess eingliedern. Am ZPID wird derzeit mit Unterstützung der DFG ein Assistenzsystem entwickelt, das Wissenschaftler/innen über den gesamten Forschungsprozess hinweg in ihrem Forschungsdatenmanagement unterstützt. Diese Unterstützung beinhaltet zum einen die kontextsensitive Bereitstellung von Informationen zu üblichen Problemstellungen des Forschungsdatenmanagements aus einer Wissensbasis, wie: Können Daten den rechtlichen Rahmenbedingungen entsprechend geteilt werden? Welche urheberrechtlichen und datenschutzrechtlichen Aspekte sind relevant? Welche Informationen sollte mein Kodebuch umfassen? Welche Informationen erwartet mein Förderer in Datenmanagementplänen? Zum anderen findet über den gesamten Forschungszyklus hinweg eine prozedurale Unterstützung der Forschenden statt, die an den Workflow der Forschungspraxis angedockt ist. Dadurch unterstützt DataWiz aktiv die Bewältigung forschungsdatenmanagementbezogener Aufgaben. Dies betrifft u.a. das Verfassen von Datenmanagementplänen, die Dokumentation erhobener Forschungsdaten, die Sicherung der Forschungsdaten, die Vergabe von Zugriffsrechten und die Übergabe an etablierte Datenarchive. Des Weiteren werden Informationen, die beispielsweise beim Erstellen von Datenmanagementplänen in das System eingegeben werden, im weiteren Verlauf des Datenmanagements nachgenutzt. Auf diese Weise wird redundanter Arbeitsaufwand im Projektverlauf vermieden. Schließlich wird in späteren Projektphasen die Arbeitsbelastung bei Datenübergabe an ein Forschungsdatenzentrum durch die Zusammenstellung von Forschungsdaten in einer leicht nutzbaren Form minimiert. Im Rahmen des Vortrags werden ausgewählte Funktionen des Systems demonstriert. Forschenden wird damit ein praktischer Einblick in DataWiz vermittelt. Potenziale zur Nutzung in der empirischen Bildungsforschung werden aufgezeigt und Forschende werden dazu aufgerufen, sich an der öffentlichen Testung des computerbasierten Assistenzsystems zu beteiligen. Deutsche Forschungsgemeinschaft

Poster Presentation - European Data Science Conference DFG - Deutsche Forschungsgemeinschaft

Since its establishment in 2004, the German Data Forum (RatSWD), which is funded by the German Federal Ministry of Science and Research (BMBF), has been advising the federal government and the governments of the federal states (Länder) on issues relating to the expansion and improvement of the research infrastructure for the empirical social, behavioral, and economic sciences (SBE). In late 2010, the RatSWD addressed the question of how the quality of survey instruments in the social and economic sciences, and especially in social and economic survey research, could be controlled and assured. At a meeting on November 9, 2012, the RatSWD therefore decided to set up a Quality Assurance of Survey Instruments Working Group under the leadership of Professor Beatrice Rammstedt. The establishment of the working group was prompted in particular by the desire to define quality standards in order to assure and optimize the quality of survey instruments. Hence, the working group made the formulation of these standards its primary objective. They are presented in this paper.

Der Wissenschaftsrat tritt für maximale Publizität digitaler Forschungsdaten ein. Allerdings sei die Zugänglichkeit von Forschungsdaten nach wie vor häufig nicht oder nicht hinreichend gegeben (WR Drs. 2359 - 12). In den Fällen, in denen die Zugänglichkeit gegeben ist, sollten sie möglichst leicht gefunden werden. Weil auch im wissenschaftlichen Kontext gerne Suchmaschinen für die Informationsbeschaffung eingesetzt werden, ist ein Weg, die Zugänglichkeit zu verbessern, die Optimierung der Webseiten der Forschungsdatenanbieter für den Zugriff durch Suchmaschinen. Da sich die verbreiteten Suchmaschinen in wesentlichen Grundprinzipien nicht unterscheiden (Einsammeln der Inhalte von Webseiten mit Hilfe sogenannter Crawler, Aufbau eines Index, Verarbeitung der Suchanfragen, Anzeige der Trefferlisten), führen die Optimierungshinweise unabhängig davon zum Erfolg, welche konkrete Suchmaschine die Nutzerinnen und Nutzer bevorzugen. Die folgenden Hinweise beruhen speziell auch auf Erfahrungen, die das ZPID mit dem Einsatz der Psychologie-Suchmaschine Psych-Spider bei einer Reihe von Datenzentren gesammelt hat.

Insgesamt bewerteten die Teilnehmer des Forums den Status Quo in der Psychologie als nicht zufriedenstellend, da derzeit nur wenige Forscher in der Psychologie ihre Daten der Wissenschaftsgemeinschaft zur Verfügung stellen. Allerdings sind auch die Möglichkeiten, Forschungsdaten in der Psychologie zu publizieren, noch wenig entwickelt. Es wird begrüßt, dass mit PsychData der Psychologie erstmals ein disziplingebundenes Forschungsdatenzentrum zur Verfügung steht. Die Diskussion zeigte aber auch, dass die Nachfrage nach diesen Daten in der Psychologie weniger stark ausgeprägt ist als beispielsweise in der Soziologie. Forscher in der Psychologie haben noch Vorbehalte gegenüber der Qualität dieser Daten oder glauben diese für ihre eigenen Forschungsvorhaben nicht nutzen zu können. Die stärkere Beteiligung der Psychologie an großangelegten Panelstudien könnte helfen, die Vorbehalte und Defizite zu überwinden.

Durch die immensen Fortschritte bei der Digitaltechnik sind nahezu beliebig hohe Specherkapazitäten und weltumspannende Netzwerke selbstverständlich geworden. Der weitere Ausbau der Netzwerke zu Hochgeschwindigkeits-Grids ermöglicht neue Formen des wissenschaftlichen Arbeitens, die unter Begriffen wie e-Science oder virtuelle Forschungsumgebungen subsumiert werden. Digitale Objekte aller Art, seien es Texte, Bilder, Filme oder Tonaufzeichnungen, werden rund um den Globus archiviert und häufig kostenlos bereitgestellt. Fachdatenbanken wie PubMed oder Volltext-Repositorien wie arXiv sind Beispiele aus Medizin und Physik für den Technik-indizierten Wandel hin zu freier Verfügbarkeit wissenschaftlicher Information. Durch die Aufhebung der Speicherplatzbeschränkung geraten auch Bestandteile des wissenschaftlichen Forschungsprozesses in den Blickpunkt der Aufmerksamkeit, die man jahrzehntelang wenig beachtet hat: War es noch im 19. Jahrhundert in der Psychologie durchaus üblich, Forschungsdaten als Anhang von Publikationen abzudrucken, wurde dies im 20. Jahrhundert eingestellt. Erst im 21. Jahrhundert besinnt man sich wieder darauf, dass das Archivieren und Weitergeben von Forschungsdaten (data sharing) eine Vielzahl von Vorzügen hat. Die Möglichkeit zu Reanalysen und Metaanalysen einerseits, und die Vermeidung teurer Doppeluntersuchungen andererseits seien nur beispielhaft genannt. Die erwähnten Vorzüge treten aber nur dann zutage, wenn die archivierten Forschungsdaten dauerhaft interpretierbar sind. Dazu müssen sie einerseits in einem Format gesichert werden, das robust gegenüber dem Technikwandel ist. Andererseits sind standardisierte Metadaten beizufügen, die sowohl die Variablen (Kodebuch) als auch die zugehörige Studie in toto (Kontext) umfassend beschreiben. Das psychologische Datenarchiv PsychData des Leibniz-Zentrums für Psychologische Information und Dokumentation (ZPID) setzt zur Festschreibung der Metadaten auf die Standards DC (Dublin Core metadata element set) und DDI (Data Documentation Initiative metadata specification for the social sciences). Zum Kontext gehören die Dokumentation des Erhebungsprozesses und der Erhebungsmethoden, sowie die Beschreibung der zugrunde liegenden Studie und ihres theoretischen Hintergrundes. Die Besonderheiten der psychologischen Forschung erfordern eine exakte und umfassende Dokumentation der Datenerhebung, weil es in der Psychologie kaum Normeinheiten wie den Archivmeter für die physikalische Längenmessung gibt. Deshalb ist es in der Psychologie auch so wichtig, die Forschungskultur im Fach dahingehend zu beeinflussen, dass eine forschungsbegleitende systematische Dokumentation von Datensätzen erfolgt. Spätere Rekonstruktionen binden ein Vielfaches der Ressourcen, als bei einer zeitnahen Dokumentation der Daten im Kontext der Erhebung benötigt worden wären. Da sich die psychologische Forschung mit dem menschlichen Erleben und Verhalten beschäftigt, ist der Anonymisierung der Daten und dem Datenschutz größte Aufmerksamkeit beizumessen.

Das Zusammenwachsen Europas, die fortschreitende Nutzung digitaler Medien und neue Publikationsparadigmen wie Open Access und Open Review stellen die Dienstleister im Bereich der Wissenschaftskommunikation vor neue Herausforderungen. Der statische gedruckte Forschungsartikel gerät funktional gegenüber leicht zugänglichen dynamischen und hypermedialen Online-Beiträgen ins Hintertreffen. Mittels einer transnationalen Publikationsplattform für die Psychologie sollen die neuen technischen Möglichkeiten aktiv ausgestaltet werden. In die Konzeption der Plattform sind Umfragen und Workshops unter Beteiligung der europäischen Fach-Community eingeflossen.