Dagmar Krebs

New directions in attitude measurement

A compendium of the theories and methods of measuring attitudes, as used by social scientists and psychologists, politicians, educators, market analysts, and others. Covers attitudes about things as well as about behavior, structural determinants and their quantitative contribution to the explained

Does Response Scale Format Affect the Answering of Personality Scales

When developing a questionnaire, one puts much effort into item formulation. Whether the format of the corresponding response scales affects response behavior, however, has rarely been studied, to ...

Investigating Cognitive Effort and Response Quality of Question Formats in Web Surveys Using Paradata.

Measuring attitudes and opinions employing agree/disagree (A/D) questions is a common method in social research because it appears to be possible to measure different constructs with identical response scales. However, theoretical considerations suggest that A/D questions require a considerable cognitive processing. Item-specific (IS) questions, in contrast, offer content-related response categories, implying less cognitive processing. To investigate the respective cognitive effort and response quality associated with A/D and IS questions, we conducted a web-based experiment with 1,005 students. Cognitive effort was assessed by response times and answer changes. Response quality, in contrast, was assessed by different indicators such as dropouts. According to our results, single IS questions require higher cognitive effort than single A/D questions in terms of response times. Moreover, our findings show substantial differences in processing single and grid questions.

The impact of response format on attitude measurement

Attitudes as theoretical constructs are usually measured by a set of multiple indicators (items) connected to identical response categories. These categories are mostly written in Likert format, requesting respondents to indicate their level of approval or disapproval for each attitude statement. To assess an answer, response formats provide either endpoint or fully verbalized scales. Endpoint verbalization refers to a response scale where only the extreme response options are labeled with numbers attached to the categories in between while on fully verbalized scales each response option has, additionally, a verbal label attached to it. Responding to this kind of attitude question requires several stages of cognitive activities during which respondents use every bit of information that helps in computing an answer.

Multinomiale und ordinale Regression

Das multiple Regressionsmodell verlangt metrisches Messniveau bei der abhangigen Variablen. Bei nominal-oder ordinalskalierten abhangigen Variablen konnen logistische Regressionsmodelle fur kategoriale abhangige Variablen angewendet werden. In diesen Modellen werden die Realisierungswahrscheinlichkeiten der Auspragungen der abhangigen Variablen als Funktionen der erklarenden Variablen dargestellt, wobei bei nominalskalierten abhangigen Variablen mit K Auspragungen eine erklarende Variable mit bis zu K − 1 Regresssionskoeffizienten auf die abhangige Variable wirken kann. Die Nichtlinearitat und Multidimensionalitat der Regressionsfunktion erschwert die Interpretation eines kategorialen Logitmodells auf der Ebene der Realisierungswahrscheinlichkeiten. Aus diesem Grunde werden bei Logitmodellen oft multiplikative Veranderungen der Wahrscheinlichkeitsverhaltnisse zweier Auspragungen (Odds) betrachtet. Bei ordinalen abhangigen Variablen ist es auch moglich, die beobachtete Variable als ungenaue Messung einer unbeobachteten metrischen Variablen aufzufassen. Ein ordinales Logitmodell kann dann als Regressionsmodell fur eine unbeobachtete metrische abhangige Variable interpretiert werden. Neben der Spezifikation und Interpretation der Logitmodelle werden Voraussetzungen fur die Schatzung der Modellparameter, Hypothesentests bei Logitmodellen und Anwendungsprobleme diskutiert. In einem empirischen Beispiel wird untersucht, wie die Bildungsabschlusse von Eltern die ihrer Kinder beeinflussen.

Gütekriterien quantitativer Sozialforschung

Fur alle Schritte der Datenerhebung und -auswertung in der quantitativen Sozialforschung (Stein, Kapitel 7 in diesem Band) gibt es Gutekriterien, die es zu beachten gilt, damit die Daten moglichst fehlerfrei erhoben und die erzielten Resultate angemessen interpretiert werden konnen. Dabei wird zwischen Gutekriterien fur Messinstrumente (deren Zuverlassigkeit und Gultigkeit) und Gutekriterien fur das gesamte Forschungsdesign (die Generalisierbarkeit und Eindeutigkeit der Ergebnisse) unterschieden. Qualitatskriterien empirischer (Sozial-)Forschung sind dem Prinzip der Wertfreiheit verpflichtet.

Werte in den alten und neuen Bundesländern

Werte sind deshalb wichtig, weil sie als handlungsleitende Motivationen anzusehen sind. Selbst wenn keine empirische Uberprufung der Entsprechung zwischen Wertvorstellungen und deren handlungsleitender Relevanz auf der Ebene faktisch auftretender Verhaltensweisen erfolgt, so ist es doch von einigem Interesse, die motivationalen Prioritaten Jugendlicher zu beschreiben. Gleich zu Beginn dieses Kapitels sei betont, das hier nicht auf die umfangreiche Diskussion uber Werte eingegangen wird. Diese Diskussion ist in der Literatur umfassend aufgearbeitet worden (Klages, 1984, 1992; Klages, Hippler, Herbert, 1992). Es wurde zu weit fuhren, sie an dieser Stelle zu reproduzieren.

Scale direction effects in agree/disagree and item-specific questions: a comparison of question formats

Abstract The effect of the response scale direction on response behavior is a well-known phenomenon in survey research. While there are several approaches to explaining how such response order effects occur, the literature reports mixed evidence. Furthermore, different question formats seem to vary in their susceptibility to these effects. We therefore investigate the occurrence of response order effects in Agree/Disagree (A/D) and Item-Specific (IS) questions. We conducted an experiment among n = 930 students in which we varied the scale direction (decremental vs. incremental) within A/D and IS questions and asked respondents to evaluate the questionnaires. The results reveal response order effects within the A/D but not within the IS question format. Furthermore, respondent’s evaluations suggest that completion of the IS questionnaires requires more consideration than the completion of the A/D questionnaires. Altogether, our findings indicate that IS questions are more robust against response order effects than A/D questions.

DJI-Familiensurvey: Der Zwang, mit unterschiedlichen Stichproben zu leben

In der Methodenausbildung wird groser Wert auf die Kenntnis von Datenanalysever-fahren verwendet. Die Zahlen, die die Grundlage von verschiedenen Berechnungsverfahren bilden, werden dabei als gegeben und den Anforderungen entsprechend angenommen. Wie man aber an die Daten kommt, die man fur die Analyse braucht, wird sehr viel seltener und viel weniger ausfuhrlich behandelt. Die Instrumente und die Durchfuhrung der Datenerhebung bestimmen aber viel wesentlicher, welche Analysestrategien und -verfahren angebracht sind, als eine umfassende Kenntnis aller moglichen, hochst differenzierten Analysetechniken. Ein Fehler bei der Datenerhebung kann spater nicht mehr durch Analysetricks geheilt werden. Eine Information, die nicht erhoben worden ist, steht fur spatere Analysen nicht zur Verfugung. Ahnliches gilt fur die Auswahl von Personen, die untersucht werden sollen. Die erhobenen Daten konnen nur Aussagen uber Personen machen, die — zumindestens als Gruppe — auch in die Auswahl, d.h. die Stichprobe gekommen sind. Schatzungen uber Grosenordnungen von solchen Gruppen aus Stichproben sind nur dann sinnvoll, wenn man davon ausgehen kann, das die Grosenverhaltnisse in den Stichproben moglichst wenig verzerrt sind. D.h. auch hier, Fehler, die bei der Auswahl gemacht werden, sind spater nicht mehr heilbar. Dies gilt trotz den Heilsversprechen uber manche Techniken, wie Gewichtungsstrategien, die — wie bei Munchhausen — helfen sollen, sich am eigenen Zopf aus dem Sumpf zu ziehen. Eine schlechte Stichprobe bleibt eine schlechte Stichprobe, trotz aller Versuche, sie zum besseren zu transformieren (s.a. Alt & Bien 1994 ).Wissen uber die Verfahren der Datengeneration (Stichprobenproblematik, Datenerhebungsinstrumente, Reliabilitats-, Va- liditats, Objektivitats- und Bedeutsamkeitsbeurteilungen) ist daher mindestens so wichtig, wenn nicht sogar noch wichtiger, als Kenntnisse uber Analyseverfahren.

Grundlagen des statistischen Schließens

Beim statistischen Schliesen werden mit Hilfe von Stichprobendaten Aussagen uber Eigenschaften einer Population getroffen. Da vom Besonderen – der Stichprobe – auf das Allgemeine – die Population – geschlossen wird, gibt es, wie bei jedem Induktionsschluss, ein aus logischen Grunden unvermeidbares Fehlerrisiko. Der Nutzen statistischen Schliesens besteht darin, Fehlerrisiken abzuschatzen und bisweilen auch zu minimieren. Erreicht wird dies durch einen Perspektivenwechsel vom Einzelfall (eines Induktionsschlusses in einer Stichprobe) auf die Verteilung der Ergebnisse aller gleichartigen Induktionssschlusse (in gleichartigen Stichproben). Innerhalb des statistischen Schliesens wird zwischen dem Schatzen von Populationseigenschaften bzw. Modellparametern einerseits und der Prufung von Vermutungen oder Behauptungen uber Populationseigenschaften bzw. Modellparameter andererseits unterschieden. Wahrend das Ergebnis des Schatzens eine empirisch begrundete Feststellung uber die Beschaffenheit der Population oder Wahrscheinlichkeitsverteilung ist, ist das Ergebnis des Testens die empirisch begrundete Feststellung, dass die Vermutung entweder zutrifft oder nicht zutrifft. Aufgrund des Induktionsproblems ist es grundsatzlich nicht auszuschliesen, dass die Feststellung fehlerhaft sein kann. In diesem Beitrag werden wir zunachst die grundlegende Logik des statistischen Schatzens und dann die grundlegende Logik des statistischen Testens vorstellen. Da das groste Problem beim statistischen Schliesen in der Fehlinterpretation der Ergebnisse besteht, werden im letzten Teil des Beitrags einige haufig vorkommende Anwendungsprobleme und Anwendungsfehler diskutiert, die zu Fehlinterpretationen von Ergebnissen fuhren konnen.