Michael Häder

Die Delphi-Methode als Gegenstand methodischer Forschungen

Der erste Verweis auf die Benutzung eines Delphi-Ansatzes stammt aus dem Jahr 1948. Damals soll diese Technik dazu benutzt worden sein, um die Ergebnisse eines Hunde- oder Pferderennens1 vorauszusagen. In den folgenden Jahren wurde die Delphi-Methode von der RAND Corporation in 14 Experimenten fur militarische Zwecke eingesetzt, beispielsweise um mogliche Ziele sowjetischer Angriffe auf die USA zu schatzen. Wissenschaftliche Ergebnisse dieser Studien sind jedoch nicht publiziert worden (vgl. Linstone/Turoff 1975: 10). Bekannt wurde die Delphi-Methode schlieslich durch einen 1964 ebenfalls von der RAND Corporation erarbeiteten „Report an a Long Range Forecasting Study“ (Gordon/Helmer 1964). Das Ziel dieser Studie bestand in der langfristigen Vorhersage wissenschaftlicher und technischer Entwicklungen, wobei eine Zeitspanne von zehn bis funfzig Jahren als Zeithorizont definiert wurde. Diese Untersuchung wird in der deutschsprachigen Literatur oft als die erste bezeichnet (vgl. Albach 1970; Geschka 1977; Saliger/Kunz 1981). Seit den 70er Jahren fand dann eine Ausbreitung der Delphi-Methode auch in Westeuropa — einschlieslich Deutschland — statt. Die Anlagen dieser Folgestudien waren zunachst stark vom erwahnten RAND Corporation-Projekt beeinflusst (vgl. Helmer/Rescher 1960). Insbesondere in der Betriebswirtschaft kam es zur Rezeption der Delphi-Methode fur Prognosezwecke. Die Einsatzgebiete wurden aber schnell vielfaltiger, so dass Seeger bereits 1979 schatzte, es habe innerhalb der 15-jahrigen Anwendungsdauer ca. 1500 Delphi-Untersuchungen verschiedenster Art gegeben (vgl. Seeger 1979: 32).

Telephone Surveys via Landline and Mobile Phones: Mode Effects and Response Quality

Telephone surveys play a central role in survey-based research. This becomes clear when considering the widespread use and data quality of telephone surveys (Lepkowski et al. 2008). At the same time, the use of telephone surveys is influenced by social and technological changes. Most prominently, mobile phone technology poses a serious challenge to survey research worldwide (AAPOR 2008, Steeh and Piekarski 2008, Hader and Hader 2009). There is increasing concern that a considerable number of households that are currently supposed to be covered by landline sampling frames can, in fact, not be reached by landline telephone surveys because they rely predominantly on mobile phones (Brick et al. 2006, Keeter et al. 2007). This “mobile-mostly” population currently represents 15 % of adults in United States households. Boyle and Lewis (2009), nevertheless, were able to show that households that consider themselves “mobile-mostly” are still likely to answer their landline telephones. A growing number of mobile phone users have substituted their residential landline telephone for a mobile phone. These so called “mobile-phone-only households” may have implications for the representativeness of telephone surveys, since sampling frames for these surveys have traditionally been limited to landline phone numbers. The non-coverage of households without landline telephones may bias the estimates derived from telephone surveys. Recent studies assume that the number of the mobile-only households is growing worldwide. In Europe this share ranges from 3 % in Sweden to 64 % in the Czech Republic (Hader et al. 2009: 23, European Commission 2008: 31). In the United States these households constitute more than 22 % of households overall (Blumberg and Luke 2009).

Data Quality in Telephone Surveys via Mobile and Landline Phone

In social research, where data are collected by means of surveys, a high quality of the responses and thus of the survey data is pivotal. A vast number of research projects has looked into ways of guaranteeing high data quality and several influences and effects have been identified. Some of the most prominent influences include effects of the question order, question wording, social desirability, sponsorship, effects resulting from the answer categories provided, as well as interviewer effects. These impact on the answers given, such that the true value might not be recorded. This is true for many survey modes, including telephone surveys, which have been frequently subject to methodological research. Especially with telephone surveys researchers tend to be concerned about the quality of the answers provided. Nevertheless, they are currently the most common mode of data collection, not only in Germany but all over Europe. Research so far has delivered important findings that have had a positive impact on the quality of telephone interviews. However, due to the changing nature of telephone surveys new methodological research is needed.

Stichprobenziehung in der quantitativen Sozialforschung

Eine wichtige Entscheidung im Rahmen der Designentwicklung bei einer quantitativen Erhebung betrifft die Frage, ob nur ein Teil der Elemente untersucht werden soll oder ob alle Elemente der Grundgesamtheit einzubeziehen sind. Bei derGrundgesamtheit handelt es sich um all jene Elemente, die aufgrund von bestimmten Eigenschaften fur den Forscher von Interesse sind. So kann beispielsweise bei einer Wahlstudie die Grundgesamtheit bestimmt werden als die Menge an Personen, die in einem Land zu einem bestimmten Stichtag wahlberechtigt sind. Bei den Personen handelt es sich um die Elemente der Grundgesamtheit, deren gemeinsame Eigenschaft die Wahlberechtigung zu einem bestimmten Stichtag ist.

Evaluation von Delphi-Befragungen

Nachdem in den vorangegangenen Abschnitten praktische Hinweise und Tipps zur Konzipierung und zur Veranstaltung von Delphi-Befragungen gegeben wurden, wendet sich das folgende Kapitel der Evaluation der Leistungsfahigkeit des Delphi- Designs zu. Dabei geht es vor allem um empirische Nachweise zum Funktionieren der einzelnen Typen von Delphi-Befragungen.

Delphi-Befragungen im Vergleich zu ähnlichen Ansätzen

Es ist prinzipiell denkbar, gleiche inhaltliche Ziele auch mit verschiedenen sozialwissenschaftlichen Instrumenten zu erreichen beziehungsweise die gleiche Problematik mit unterschiedlichen Methoden zu bearbeiten. Im folgenden Abschnitt soll die jeweilige Spezifik der beiden mit den Delphi-Befragungen besonders „verwandten“ Verfahren – Gruppendiskussion in einer personlich-mundlichen Situation und einmalige Expertenbefragung – im Vergleich herausgearbeitet werden.

Einleitung und Motivation

Es existieren schon diverse deutsche und internationale Publikationen zur Methodik von Telefonumfragen. Wozu wird also ein weiteres Werk benotigt? In der Diskussion um Erhebungsmethoden melden sich gegenwartig verstarkt Protagonisten, die eine Verlagerung weg von Zufallsstichproben, darunter insbesondere auch fur telefonische Befragungen, und hin zu nonprobabilistischen Auswahlen skizzieren. Dies wird mit sinkenden Responseraten, aber auch technischen Veranderungen begrundet.

Is the Short Version of the Big Five Inventory (BFI-S) Applicable for Use in Telephone Surveys?

Abstract The inclusion of psychological indicators in survey research has become more common because they offer the possibility of explaining much of the variance in sociological variables. The Big Five personality dimensions in particular are often used to explain opinions, attitudes, and behavior. However, the short versions of the Big Five Inventory (BFI-S) were developed for face-to-face surveys. Studies have shown distortions in the identification of the Big Five factor structure in subsamples of older respondents in landline telephone surveys. We applied the same BFI-S but with a shorter rating scale in a telephone survey with two subsamples (landline and mobile phone). Using exploratory structural equation modeling (ESEM), we identified the Big Five structure in the subsamples and the age groups. This finding leads us to conclude that the BFI-S is a powerful means of including personality characteristics in telephone surveys.

Dokumentation empirischer Projekte

Wenn sich bei der empirischen Bearbeitung einer Problemstellung herausstellt, dass die H1‑Hypothese beibehalten werden kann, so erfolgt dies stets mit einer bestimmten Irrtumswahrscheinlichkeit. Schlieslich wird sich bei der (wiederholten) Replikation dieser zunachst einmaligen Studie herausstellen, ob der dort ermittelte Befund erneut eintritt und so die H1‑Hypothese weiter erhartet wird. Auf diese Weise konnen dann Gesetze und Theorien entwickelt werden. Die Replikation empirischer Befunde ist also eine Voraussetzung, um wissenschaftlich arbeiten zu konnen. Eine Voraussetzung fur die Replikation ist nun die Dokumentation des empirischen Projekts. Diesem wichtigen Schritt ist der folgende Abschnitt gewidmet.

Die Bedeutung des Methodenwissens für das Verständnis empirischer Daten

Viele Menschen konsumieren im Alltag zu Unterhaltungszwecken wahrscheinlich recht gern die Ergebnisse (pseudowissenschaftlich-)empirischer Umfragestudien. So konnte man sich zum Beispiel auf den Internetseiten der ZEIT an einer Umfrage zum Weltraumtourismus beteiligen und dazu die folgende Frage beantworten: „Mit SpaceShipOne ist das erste privat finanzierte Raumflugzeug in den Orbit geflogen. Nun sind in den USA oder Australien Weltraumbahnhofe geplant. Abgehobene Tourismusplane oder realistische Marktlucke?“ Nach der eigenen Stimmabgabe zur Beantwortung dieser Frage erfahrt man, dass 27 Prozent der antwortbereiten Besucher dieser Internetseite meinen, Weltraumtourismus sei Umweltverschmutzung und Geldverschwendung. Dies musste verboten oder eingeschrankt werden. 54 Prozent von den 268 Personen, die bis dahin abgestimmt haben, denken: Weltalltourismus sei eine Urlaubsvariante fur wohlhabende Abenteurer und nicht bezahlbar fur Otto Normalverbraucher. Schlieslich entschieden sich 19 Prozent der Beteiligten (unter anderem auch der Autor) fur die Vorgabe, „Eine Reise ins Weltall ist traumhaft und ergibt auserdem neue Moglichkeiten fur die Tourismusbranche.“