Search

The chapter gives an overview over the research on user comments in comments sections below online news items. It focuses on content analytic studies. It reviews the most important theoretical frameworks, research designs, and main constructs applied in investigations of user comments.

The variable ‘number of reply comments’ is an indicator of interactivity in online discussions. The number of reply comments is a simple measure of how much response a user comment has received. It is applicable if platforms that host comment sections offer the technical possibility to users to respond directly to existing user comments. The reply comments (also called ‘sub-level comments’ or ‘child comments’) then usually appear indented below the existing user comment they refer to (also called ‘top-level comment’ or ‘parent comment’). The measure does not provide information about the quality of the interaction between the commenters. It neither covers interactivity that occurs “outside” of comment threads below top-level comments, i.e. commenters responding in new top-level comments instead of sub-level comments. Field of application/theoretical foundation: Normative approaches to discourse ethics (e.g. Habermas, 1992) evaluate interactivity as a prerequisite for high-quality discourses. Example studies: Medium Measure Unit of analysis Studies Online; online discussions below news posts Number of reply comments (sub-level comments) to a top-level comment Individual user comments Naab & Küchler (work in progress) Info about variables Variable name/definition: Anzahl der Antwortkommentare auf einen Nutzerkommentar Operationalization/coding instructions: Manuell: Zählen Sie die Kind-Kommentare (Antwortkommentare, Second-Level-Kommentare), die zu einem Eltern-Kommentar (Top-Level-Kommentar) verfasst wurden und tragen die Anzahl ein. Automatisiert: Sofern ein Datensatz alle Nutzerkommentare eines Kommentarthreads, Informationen über das Eltern- bzw. Kind-Level jedes Kommentars sowie eine Zuordnung aller Kind-Kommentare zu einem Eltern-Kommentar enthält, ist es möglich, die Anzahl der Kind-Kommentare für jeden Eltern-Kommentar per Auswertungssoftware zu aggregieren. Level of analysis: Kommentarthread (Eltern-Kommentar + alle zugehörigen Kind-Kommentare/Antwortkommentare) References Naab, T.K. & Küchler, C. (work in progress). Unveröffentlichtes Codebuch aus dem DFG-Projekt „Gegenseitige Sanktionierung unter NutzerInnen von Kommentarbereichen auf Nachrichtenwebseiten und auf Facebook“. Augsburg. Habermas, J. (1992). Faktizität und Geltung: Beiträge zur Diskurstheorie des Rechts und des demokratischen Rechtsstaates. Suhrkamp.

The ‘clarity’ of user comments is an indicator for the quality of statements made in online discussions. User comments below news content on websites or in social media can be examined to determine whether they are clearly written, that is comprehensible to the reader in terms of form, style, and content. Clarity of user comments is essential for the contribution of a comment to a discussion and the exchange between commenters. Field of application/theoretical foundation: As a complement to various further criteria (e.g. coherence, occurrence of arguments), the variable ‘clarity’ of a user comment indicates the comment’s contribution to the deliberative quality of online discussions. Normative approaches to discourse ethics (e.g. Habermas, 1992) assume that contributions to discussions should be phrased understandably to be more valuable for the success of a discussion. Example studies: Medium Measure Unit of analysis Studies Online; online discussions below news posts Clarity Individual user comment Naab & Küchler (work in progress) Ziegele & Quiring (2015) Info about variables Variable name/definition: Verständlichkeit eines Nutzerkommentars Operationalization/coding instructions: Es wird kodiert, wie leicht sich Leser*innen der Sinn eines Nutzerkommentars erschließt, wie gut er nachvollziehbar ist. Hierbei zählt der Gesamteindruck. Indikatoren für eine hohe Verständlichkeit sind: Ein verständlicher Sprachstil überwiegend Standardsprache ohne akademische Begriffe bzw. Fremdwörter Vermeidung von Reimen oder literarischen Schreibformen Vermeidung von übertriebenem Cyberslang oder Umgangssprache Keine Verwendung von Fremdsprachen Eine klare, wenig verschachtelte Satzstruktur Keine auffälligen Rechtschreib- und Grammatikfehler Eine eindeutige rhetorische Gestaltung durch den Verzicht auf Ironie, Metaphern und abstrakte Bilder Eine hohe Prägnanz der Aussagen im Sinne der Verbindung von „Bedeutungsreichtum mit einem hohen Maß an Klarheit, Angemessenheit, Anschaulichkeit und Einfachheit“ Verzicht auf das Voraussetzen von speziellem Hintergrundwissen, das beim Durchschnittsleser nicht vorausgesetzt werden kann. Der Kodierer kann sich die Frage stellen: Wie leicht erschließt sich mir der Sinn des Kommentars, wie nachvollziehbar ist er? „Baseline“ ist der Code „0“. Level of analysis: einzelner Nutzerkommentar Values: 0/ normal verständlich, 1/ schwer verständlich, 2/ überhaupt nicht verständlich, 99/ nicht eindeutig zuzuordnen Intercoder reliability: The variable showed good performance in tests for intercoder agreement (percentage agreement = 86%; Krippendorf’s alpha = .72) in the study by Ziegele, Breiner, & Quiring (2014). References Habermas, J. (1992). Faktizität und Geltung: Beiträge zur Diskurstheorie des Rechts und des demokratischen Rechtsstaates. Suhrkamp. Naab, T.K. & Küchler, C. (work in progress). Unveröffentlichtes Codebuch aus dem DFG-Projekt „Gegenseitige Sanktionierung unter NutzerInnen von Kommentarbereichen auf Nachrichtenwebseiten und auf Facebook“. Augsburg. Steenbergen, M. R., Bächtiger, A., Spörndli, M., & Steiner, J. (2003). Measuring political deliberation: A discourse quality index. Comparative European Politics, 1(1), 21–48. doi:10.1057/palgrave.cep.6110002 Ziegele, M., Breiner, T., & Quiring, O. (2014). What creates interactivity in online news discussions? An exploratory analysis of discussion factors in user comments on news items. Journal of Communication, 64(6), 1111–1138. doi:10.1111/jcom.12123 Ziegele, M. & Quiring, O. (2015). Codebuch: Der Diskussionswert von Online-Nachrichten. Unveröffentlichtes Codebuch aus dem DFG-Projekt „Vom Nachrichtenwert zum Diskussionswert“. Mainz.

The occurrence of ‘arguments’ indicates the quality of statements made in online discussions. User comments below news content on websites or in social media can be examined whether they give reasons for or against positions or assertions. The occurrence of arguments in user comments or entire online discussions can be investigated in various ways depending on the exact research focus. Thus, the occurrence of arguments, their number, quality, or content (what reasons are raised?) can be examined. To determine the occurrence and number of arguments, arguments must first be identified. To ascertain the quality of arguments an evaluation standard is necessary (what constitutes high- or low-quality arguments?). Field of application/theoretical foundation: As a complement to various further criteria (e.g. coherence, clarity), the occurrence of arguments in user comments indicates the comments’ contribution to the deliberative quality of online discussions. Normative approaches to discourse ethics (e.g. Habermas, 1992; Steenberger et al., 2003) assume that contributions to a discussion that provide arguments for a position are more valuable to the success of a discussion than contributions that do not provide arguments. In addition, studies with various other theoretical backgrounds analyze arguments in user comments. For instance, the occurrence of arguments in user comments is interpreted as an indicator for factuality. Factuality, in turn, is regarded as a discussion factor comparable to news factors in journalism research (Ziegele, Breiner & Quiring, 2014). Example studies: Medium Measure Unit of analysis Studies Online; online discussions below news posts Occurence of arguments Individual user comment Naab & Küchler (work in progress) Ziegele & Quiring (2015) Info about variables Variable name/definition: Vorhandensein von Argument(en) in einem Nutzerkommentar Operationalization/coding instructions: Argumente sind Aussagen, die dazu dienen sollen, Behauptungen zu begründen oder zu widerlegen. Es wird kodiert, ob ein Nutzerkommentar Argumente verwendet, um eine oder mehrere geäußerte(n) Meinung(en) zu begründen. Von Interesse ist hier, ob die Autor*innen von Nutzerkommentaren ihre eigenen Aussagen mit Argumenten unterstützen oder ob diese unbegründet bleiben. Die Leser*innen müssen sich bei zusammenhängenden Aussagen im Kommentar fragen, ob die Frage nach dem „Warum“ beantwortet wird. Anders gesagt: Gut erkennbar ist ein Argument, wenn man es problemlos mit einem Kausalsatz (weil...) an eine Behauptung anfügen kann oder wenn man eine begründende „Wenn-Dann-Beziehung“ zwischen den Sätzen herstellen kann. Eine Aneinanderreihung von Aussagen zählt nicht als Argumentation. Es geht hier nicht um die Qualität der Argumente. Es wird nur kodiert, ob Begründungen für Aussagen/Behauptungen/Positionen angeführt werden. Level of analysis: einzelner Nutzerkommentar Values: 0/ keine Argumente, 1/ mind. ein Argument, 99/ nicht eindeutig zuzuordnen References Naab, T.K. & Küchler, C. (work in progress). Unveröffentlichtes Codebuch aus dem DFG-Projekt „Gegenseitige Sanktionierung unter NutzerInnen von Kommentarbereichen auf Nachrichtenwebseiten und auf Facebook“. Augsburg. Habermas, J. (1992). Faktizität und Geltung: Beiträge zur Diskurstheorie des Rechts und des demokratischen Rechtsstaates. Suhrkamp. Steenbergen, M. R., Bächtiger, A., Spörndli, M., & Steiner, J. (2003). Measuring political deliberation: A discourse quality index. Comparative European Politics, 1(1), 21–48. doi:10.1057/palgrave.cep.6110002 Ziegele, M., Breiner, T., & Quiring, O. (2014). What creates interactivity in online news discussions? An exploratory analysis of discussion factors in user comments on news items. Journal of Communication, 64(6), 1111–1138. doi:10.1111/jcom.12123 Ziegele, M. & Quiring, O. (2015). Codebuch: Der Diskussionswert von Online-Nachrichten. Unveröffentlichtes Codebuch aus dem DFG-Projekt „Vom Nachrichtenwert zum Diskussionswert“. Mainz.

Comment sections below news articles are public fora in which potentially everyone can engage in equal and fair discussions on political and social issues. Yet, empirical studies have reported that many comment sections are spaces of selective participation, discrimination, and verbal abuse. The current study complements these findings by analyzing gender-related differences in participation and incivility. It uses a sample of 303,342 user comments from 14 German news media Facebook pages. We compare participation rates of female and male users as well as associations between the users’ gender, the incivility of their comments, and the incivility of the adjacent replies. To determine the incivility of the comments, we developed a Supervised Machine Learning Model (classifier) using pre-trained word embeddings and word// frequency features. The findings show that, overall, women participate less than men. Comments written by female authors are more civil than comments written by male authors. Women’s comments do not receive more uncivil replies than men’s comments and women are not punished disproportionately for communicating uncivilly. These findings contribute to the discourse on gender-related differences in online comment sections and provide insights into the dynamics of online discussions.