Marko Bachl

How Measurement Error in Content Analysis and Self-Reported Media Use Leads to Minimal Media Effect Findings in Linkage Analyses: A Simulation Study

In the debate on minimal media effects and their causes, methodological concerns about measurement are rarely discussed. We argue that even in state-of-the-art media-effects studies that combine measures of media messages and media use (i.e., linkage analyses), measurement error in both the media content analysis and the media use self-reports will typically lead to severely downward-biased effect estimates. We demonstrate this phenomenon using a large Monte Carlo simulation with varying parameters of the content analysis and the survey study. Results show that measurement error in the content analysis and media use variables does indeed lead to smaller effect estimates, especially when the media messages of interest are relatively rare. We discuss these findings as well as possible remedies and implications for future research.

The German National Election Campaign and the Mass Media

The 2009 German national election took place under extraordinary conditions: the two major parties, CDU/CSU and SPD, entered the election race as partners in a Grand Coalition. Throughout the whole year preceding the election, the financial and economic crisis was the predominant issue among mass media, voters and politics. This special framework influenced the campaigns of the competing parties as well as the political news coverage. Building on the literature on political campaigning and on data derived from content analyses of the main evening newscasts in the months prior to the election, we analyse the campaign strategies of all parties and their reflection in the news media. Our analysis suggests that the smaller opposition parties, especially the FDP, adjusted their campaign more successfully to the special circumstances, while the SPD and the CSU failed to get ‘their’ issues onto the media agenda. The CDU chose a different – and in the end effective – approach by avoiding controversial issues and instead highlighting the value of stability and their popular Chancellor Merkel.

Das TV-Duell Mappus gegen Schmid – Wahrnehmung und Wirkungen

TV-Duelle der aussichtsreichsten Kandidaten um politische Spitzenämter haben sich seit den ersten ‚Kanzlerduellen’ zwischen Gerhard Schröder und Edmund Stoiber vor der Bundestagswahl 2002 als zentrale Ereignisse des Medienwahlkampfs etabliert. Sie zählen zu den reichweitenstärksten und medial meistdiskutierten Ereignissen der Wahlkämpfe (vgl. Zubayr/Geese/Gerhard 2009). In der Folge hat sich auch die politische Kommunikationsforschung intensiv mit der Wahrnehmung und den Wirkungen der Kanzlerduelle beschäftigt (vgl. z.B. Faas u.a. 2009, Maurer/Reinemann 2003, Maurer u.a. 2007). In der Landespolitik debütierten die Fernsehdebatten bereits 1997 mit einem Duell zwischen Henning Voscherau und Ole von Beust vor der Hamburger Bürgerschaftswahl. In Baden-Württemberg trat die SPD-Spitzenkandidatin Ute Vogt gegen die Amtsinhaber Erwin Teufel (2000) und Günther Oettinger (2006) an. Die Fernsehdebatten auf Landesebene erreichen regelmäßig einen bedeutsamen Anteil der Bevölkerung, auch wenn sie nicht ganz an die Spitzenwerte der Kanzlerduelle herankommen. So verfolgten jeweils etwa eine halbe Million Zuschauer die ersten beiden TV-Duelle in Baden-Württemberg (vgl. Vögele/Brettschneider/Bachl 2013). Während die Kanzlerduelle seit 2002 intensiv erforscht wurden, liegen bislang keine Erkenntnisse zur Wahrnehmung und Wirkung von TV-Duellen vor Landtagswahlen vor. Dies ist nicht nur angesichts der direkten Reichweite dieser Debatten in der Bevölkerung bedauerlich. Auch aus kommunikationswissenschaftlicher Perspektive blieb damit eine wertvolle Gelegenheit ungenutzt: Denn in den Fernsehdebatten treffen in einem beschränkten Zeitraum die wichtigsten Akteure der Landespolitik aufeinander, um die wichtigsten Themen des Wahlkampfs direkt vor den Augen der Zuschauer zu diskutieren. Sie dienen der politischen Kommunikationsforschung damit als „Wahlkämpfe im Miniaturformat“ (Faas/Maier 2004, S. 56), deren Wahrnehmung und Wirkungen in vergleichsweise kontrollierten Untersuchungsdesigns erfasst werden können und auch Rückschlüsse auf die Wahlkampfkommunikation jenseits des eigentlichen TV-Ereignisses erlauben. Besonders für die Erforschung der kommunikationswissenschaftlich bisher weitgehend vernachlässigten politischen Kommunikation in Landtagswahlkämpfen ergibt sich hier ein vielversprechender Ansatzpunkt. Vor diesem Hintergrund haben wir eine umfangreiche Rezeptionsund Wirkungsstudie zum TV-Duell zwischen Ministerpräsident Stefan Mappus und SPD-Spitzenkandidat Nils Schmid vor der baden-württembergischen Landtagswahl 2011 durch1.

Wahlkämpfe in Krisenzeiten: Ein Vergleich der Medien- und der Bevölkerungsagenda vor den Europa- und Bundestagswahlen 2009

Die Europa- und die Bundestagswahlen im Jahr 2009 fanden nicht unter normalen Umstanden statt. Vielmehr unterschieden sich die Ausgangsbedingungen fur die beiden Wahlkampfe stark von denen in anderen Jahren: Zum einen pragte selten zuvor ein einzelnes Thema das kommunikative Umfeld von Europa- und Bundestagswahlen so stark wie 2009 die Wirtschaftskrise. Bei der massiven Prasenz dieses Thema in der offentlichen Diskussion darf davon ausgegangen werden, dass es auch fur die Bevolkerung von herausragender Bedeutung war. Zahlreiche Untersuchungen im Zusammenhang mit Wirtschaftsthemen weisen nach, dass gerade von der Wirtschaftsberichterstattung ein Agenda-Setting- Effekt auf die Problemwahrnehmung der Bevolkerung ausgeht. Dies gilt insbesondere fur negative Meldungen uber die Wirtschaftslage. Und dies gilt auch fur Rezipienten, die selbst gar nicht von Arbeitslosigkeit betroffen oder bedroht sind (vgl. u.a. Mutz 1992; Brettschneider 2003; Quiring 2004; Hagen 2005; Soroka 2006).

Correcting measurement error in content analysis

ABSTRACT Conducting and reporting reliability tests has become a standard practice in content analytical research. However, the consequences of measurement error in coding data are rarely discussed or taken into consideration in subsequent analyses. In this article, we demonstrate how misclassification in content analysis leads to biased estimates and introduce matrix back-calculation as a simple remedy. Using Monte Carlo simulation, we investigate how different ways of collecting information about the misclassification process influence the effectiveness of error correction under varying conditions. The results show that error correction with an adequate set-up can often substantially reduce bias. We conclude with an illustrative example, extensions of the procedure, and some recommendations.

Das Debat-O-Meter: ein neues Instrument zur Analyse von TV-Duellen

Live im Fernsehen übertragene Debatten zwischen politischen Spitzenkandidaten (TV-Duelle) sind das wohl augenfälligste Kennzeichen einer medial vermittelten Massendemokratie. Als US-Import 2002 erstmals zur Bundestagswahl eingesetzt, hat das Format schnell seinen Platz in deutschen Wahlkämpfen erobert.1 Wichtigster Grund hierfür ist, dass der Breitenwirkung von TV-Duellen das Potenzial zugeschrieben wird, den Wahlkampf entscheidend zu beeinflussen.2

Duett vs. Duell

Der Beitrag vergleicht die Rezeption und Wirkung der TV-Duelle 2009 und 2013 vor dem Hintergrund der kommunikativen Positionierungen der KandidatInnen und ihrer Parteien im Wahlkampf. Wahrend die wenig konfrontative Debatte zwischen den Kabinettskollegen Merkel und Steinmeier vor allem von politisch Interessierten verfolgt wurde, erzielte die Diskussion der Kanzlerin mit Oppositionsfuhrer Steinbruck auch unter den politikferneren BurgerInnen eine grosere Reichweite. Auf die Bewertungen von Merkel und der CDU/CSU konnten weder 2009 noch 2013 Debatteneffekte festgestellt werden. Steinbrucks Auftritt war erfolgreicher als der Steinmeiers: Im Gegensatz zu seinem Vorganger gelang es ihm, seine personliche Bewertung und die Wahlentscheidung zugunsten der SPD positiv zu beeinflussen.

Parteien, Massenmedien, Wähler und TV-Debatten in Landtagswahlkämpfen

Wahlkampfe nehmen in der politischen Kommunikationsforschung eine zentrale Bedeutung ein. Sie sind sozusagen die Hochphasen der Disziplin, weil innerhalb des Wahlkampfes die Aufmerksamkeit gegenuber Parteien, Politikern, aber auch der politischen Berichterstattung besonders hoch ist.

Die TV-Duell-Studie Baden-Württemberg 2011

TV-Duelle der aussichtsreichsten Kandidaten um politische Spitzenamter haben sich seit den ersten ‚Kanzlerduellen’ zwischen Gerhard Schroder und Edmund Stoiber vor der Bundestagswahl 2002 als zentrale Ereignisse des Medienwahlkampfs etabliert (vgl. zu den folgenden Passagen Bachl und Brettschneider 2013). Sie zahlen zu den reichweitenstarksten und medial meistdiskutierten Ereignissen der Wahlkampfe (Zubayr et al. 2009).

Kandidaten-Images und ihre Bedeutung für die Wahlabsicht

Die Ausgangslage vor dem TV-Duell zur Landtagswahl 2011 in Baden-Wurttemberg war klar: Auf der einen Seite stand der damals amtierende Ministerprasident Stefan Mappus (CDU). Er polarisierte die Wahlerschaft entlang der Parteilinien. Wahrend er von Anhangern der CDU und der FDP im Durchschnitt positiv bewertet wurde, sties er bei Anhangern der SPD und der Grunen auf starke Ablehnung.