Felix Wolter

Asking Sensitive Questions An Evaluation of the Randomized Response Technique Versus Direct Questioning Using Individual Validation Data

This article is an empirical contribution to the evaluation of the randomized response technique (RRT), a prominent procedure to elicit more valid responses to sensitive questions in surveys. Based on individual validation data, we focus on two questions: First, does the RRT lead to higher prevalence estimates of sensitive behavior than direct questioning (DQ)? Second, are there differences in the effects of determinants of misreporting according to question mode? The data come from 552 face-to-face interviews with subjects who had been convicted by a court for minor criminal offences in a metropolitan area in Germany. For the first question, the answer is negative. For the second, it is positive, that is, effects of individual and situational determinants of misreporting differ between the two question modes. The effect of need for social approval, for example, tends to be stronger in RRT than in DQ mode. Interviewer experience turns out to be positively related to answer validity in DQ and negatively in RRT mode. Our findings support a skeptical position toward RRT, shed new light on long-standing debates within survey methodology, and stimulate theoretical reasoning about response behavior in surveys.

Heikle Fragen in Interviews

Das folgende Kapitel dient dazu, mit dem Problemgegenstand der Arbeit verbundene Begriffe, Konzepte und Methoden ausfuhrlicher vorzustellen und zu definieren, sowie den aktuellen Forschungsstand zu diskutieren. Zuerst wird in Unterkapitel 2.1 auf Definitionen von „heiklen Fragen“ eingegangen: Warum und nach welchen Charakteristika macht es Sinn, bestimmte Fragen als „heikel“ oder „sensitiv“ einzustufen? Wie unterscheiden sich diese Fragen von „gewohnlichen“ Fragen in standardisierten Surveys? Durch diese konzeptionell-typologisierende Herangehensweise, verbunden mit entsprechenden empirischen Befunden, erhalt man erste Anhaltspunkte, warum deren Erhebung in standardisierten Surveys zu Misreporting fuhren kann. Ein wichtiges Konzept, welches die einschlagige Literatur dominiert, ist hierbei die These, dass vor allem Anreize zu sozial erwunschtem Antwortverhalten zu unwahren Antworten fuhren. Der Vorstellung und Diskussion der diese These behandelnden Literatur widmet sich Unterkapitel 2.2. Im Anschluss erfolgt die Prasentation der bereits erwahnten speziellen Erhebungsmethoden und techniken, welche den Anspruch haben, eine valide Erhebung heikler Fragen zu ermoglichen. Ein Abriss des generellen Spektrums jener Techniken in Unterkapitel 2.3 dient hierbei der allgemeinen Einordnung der in dieser Arbeit hauptsachlich interessierenden Randomized Response-Technik (RRT). Die RRT wird in Unterkapitel 2.4 im Detail diskutiert. Ein Zwischenfazit in Unterkapitel 2.5 beschliest das Kapitel. Insgesamt gilt es also, folgende Fragen zu beantworten: Worum geht es bei sog. „heiklen Fragen“? Warum ist deren Erhebung problematisch? Stellt soziale Erwunschtheit das Hauptproblem dar? Was fur Vorschlage gibt es, die Probleme zu losen? Was ist die RRT? Welche empirischen Befunde liegen – v. a. bezuglich der RRT – vor?

Weiterbildung im betrieblichen Kontext

Der Beitrag analysiert mit Hilfe eines „Linked Employer-Employee-Datensatzes“ aus dem Projekt „Berufliche Weiterbildung als Bestandteil Lebenslangen Lernens“ (WeLL) die Chancen auf betriebsinterne und betriebsexterne berufliche Weiterbildung von Beschaftigten nach individuellen Merkmalen der Beschaftigten und betrieblichen Merkmalen des beschaftigenden Unternehmens. Humankapital- und segmentationstheoretisch wird argumentiert, dass nicht nur die empirisch vielfach dokumentierte individuelle Qualifikation der Beschaftigten ausschlaggebend fur deren Weiterbildungschancen ist, sondern auch die betriebliche Qualifikationsstruktur und deren Interaktion mit der individuellen Qualifikation. Diese Kernhypothese des Beitrags bestatigt sich in binar-logistischen Mehrebenenanalysen: Sowohl die individuelle Qualifikation, als auch das durchschnittliche Qualifikationsniveau der Beschaftigten eines Unternehmens wirken sich positiv auf die Weiterbildungschancen aus. Zusatzlich zeigt sich ein Interaktionseffekt in der Form, dass der Effekt der individuellen Bildung mit steigender Durchschnittsqualifikation der Belegschaft des Betriebs abnimmt. Die Analysen verdeutlichen, dass in kunftigen Arbeiten mehr Aufmerksamkeit auf die Verschrankung von individuellen und betrieblichen Merkmalen bei der Allokation von Weiterbildungschancen gelegt werden sollte.

Zu Verbreitung und sozialen Einflussfaktoren von Paraglaube in West- und Ostdeutschland 2002–2012. Empirische Analysen von ALLBUS-Daten

Der Beitrag liefert eine empirische Bestandaufnahme der Struktur, Verbreitung und sozialen Verortung bzw. den Einflussfaktoren des Glaubens an paranormale und parawissenschaftliche Lehren und Praktiken wie Wunschelruten, Tarot-Karten, Okkultismus oder paramedizinische Lehren in Deutschland seit der Jahrtausendwende. Analysiert werden Daten der Allgemeinen Bevolkerungsumfrage der Sozialwissenschaften (ALLBUS) 2002 und 2012, die entsprechende Fragen zur Erfahrung mit und zur Uberzeugung von paranormalen und parawissenschaftlichen Lehren und Praktiken enthalten. Dabei fokussieren wir insbesondere zeitliche Veranderungen im betrachteten Zeitraum und nehmen eine zwischen West- und Ostdeutschland vergleichende Perspektive ein.

Kompetenzdiagnostik an der Hochschule

Der Beitrag gibt einen Uberblick uber die Moglichkeiten von Kompetenzmessungen – verstanden als standardisierte Erhebung des fachlichen und methodischen Konnens von Studierenden – fur eine Evaluation von Studium und Lehre. Ausgehend von der Uberlegung, die im schulischen Bereich bereits etablierten Methoden der Kompetenzdiagnostik auch im Hochschulbereich anzuwenden und so Probleme der bisherigen Evaluationspraxis zu uberwinden, skizzieren wir zunachst den methodischen „State of the Art“ der modernen Kompetenzdiagnostik. Sodann gehen wir auf Besonderheiten und Herausforderungen einer Ubertragung auf den Hochschulbereich ein. Anschliesend resumieren wir aktuelle Forschungsbemuhungen und prasentieren Ergebnisse zweier Pilotstudien, die sich der Definition und Messung von Kompetenzen im Fach Soziologie gewidmet haben. Insgesamt zeigt sich ein Konsens in der Fachcommunity, dass es einen generellen Bedarf fur Kompetenzmessungen gibt, diese aber trotz einer grundsatzlichen Durchfuhrbarkeit bisher unzureichend verfolgt und umgesetzt wurden. Herausforderungen sind dabei etwa die Forderung nach standardisierten Kompetenzmodellen und Messinstrumenten fur eine gleichzeitig eher gering standardisierte universitare Lehre. Zudem ist der Einsatz von Kompetenzmessungen fur evaluatorische Zwecke, im Sinne der Isolierung von Kausaleffekten der Hochschulen, Curricula, Lehrmethoden usw., zwar erstrebenswert, aber methodisch hochst anspruchsvoll. Dennoch zeigen die Pilotstudien zur Messung soziologischer Kompetenzen indes, dass den Problemen durchaus mit Pragmatismus begegnet werden kann und erste empirische Umsetzungen gehaltvolle Ergebnisse liefern.

Asking sensitive questions: Possibilities and limits of randomized response and other techniques in different survey modes

In our project within the DFG Priority Programme on Survey Methodology (SPP 1292) we conducted various methodological studies on survey techniques for asking sensitive questions. For example, we compared results from the randomized response technique (RRT) to true known data in a validation study, developed and evaluated implementations of the RRT for CATI and online mode, and compared the performance of the RRT to competing approaches. In our talk, we will give an overview of the studies conducted in this project and will present our key findings. Furthermore, we will identify open research questions and give guidelines for future research on asking sensitive questions.

Leugnen oder gestehen? Bestimmungsfaktoren wahrer Antworten in Befragungen To Deny or to Confess? Determinants of Truthful Answers in Surveys

Zusammenfassung Der Artikel berichtet die Ergebnisse einer Validierungsstudie, in der es um das Problem wahrer Antworten in Umfragen geht. Auf der Grundlage einer schriftlichen Befragung von rund 300 Personen, die in den zurückliegenden Jahren eine oder mehrere kleinere Straftaten begangen hatten und dafür strafrechtlich verurteilt wurden, wird untersucht, wie häufig die Delinquenten in der Umfrage ihre strafrechtliche Verurteilung zugeben und von welchen Faktoren die Tendenz zum Leugnen bzw. Gestehen abhängt. Der Satz der im Einzelnen überprüften Einflussfaktoren wird aus verschiedenen Varianten der Rational-Choice-Theorie hergeleitet. Ausgewählte Ergebnisse: Insgesamt gestehen knapp zwei Drittel der Befragten ihre strafrechtliche Verurteilung. Frauen leugnen tendenziell häufiger als Männer, ältere Personen häufiger als jüngere und höher gebildete Befragte häufiger als niedriger gebildete. Die theoretisch bedeutsamen Variablen der Neigung zu sozial erwünschten Antworten (SD-Neigung) und der Erwünschtheitswahrnehmungen (SD-Belief) zeigen signifikante Effekte auf die Wahrscheinlichkeit einer wahren Antwort. Besondere Beachtung verdient der Befund, dass diejenigen, die den Fragebogen relativ spät bzw. erst nach wiederholter Aufforderung zurückschicken, eindeutig seltener wahrheitsgemäß antworten. Summary This article presents results of a validation study dealing with the problem of truthful answers in surveys. Based on a mail survey of about 300 respondents who had committed one or more minor criminal offences in recent years and had been convicted of them in court we examine how many respondents include a confession in the questionnaire and what factors influence the tendency to give truthful answers. The set of influential factors which is analyzed is derived from different versions of rational choice theory. Selected findings: About two thirds of the total sample contain elements of confession. Women tend to deny their deviant behavior more often than men, older people more often than younger ones, and more highly educated respondents more frequently than less educated ones. The theoretically relevant variables “need for social approval” and “trait desirability” show significant effects on the probability of telling the truth. Particular attention is owed to the finding that those respondents who answered with a time delay, that is, send back the questionnaire late, clearly gave less valid answers.