In der Statistik bezieht sich die familienbezogene Fehlerrate (FWER) auf die Wahrscheinlichkeit, dass bei Tests mehrerer Hypothesen eine oder mehrere falsche Entdeckungen (Fehler Typ I) auftreten. Dies ist ein Schlüsselkonzept für Forscher, die die Fehlerrate bei der Durchführung mehrerer Tests reduzieren möchten.
Das Konzept der familienbezogenen Fehlerrate wurde 1953 von John Tukey vorgeschlagen, um die Wahrscheinlichkeit des Auftretens eines Fehlers erster Art in einer bestimmten Gruppe zu messen.
Das Konzept der familienbezogenen Fehlerquote ist in einem wichtigen Rahmen der Statistik verankert, der auch experimentelle Konzepte umfasst. Ryan schlug 1959 die Experiment-wise Error Rate vor, die die Wahrscheinlichkeit darstellt, dass in einem Experiment ein Fehler Typ I auftritt. Man kann sich die experimentelle Fehlerrate als eine Sammlung von Tests vorstellen, bei der alle Tests in der Sammlung einheitlich kontrolliert werden.
Statistisch gesehen hat das Wort „Familie“ mehrere Definitionen. Hochberg und Tamhane (1987) definierten eine „Familie“ als „jede Menge von Schlussfolgerungen, die ein gewisses Maß an Gesamtfehlern sinnvoll berücksichtigen.“ Diese Definition betont sowohl Korrektheit als auch Auswahleffekte in der statistischen Analyse.
Bei der Durchführung mehrerer Hypothesentests können mehrere Ergebnisse auftreten. Angenommen, es gibt m Hypothesen, dann wird die endgültige statistische Schlussfolgerung von der Anzahl der wahren Hypothesen und der Anzahl der falschen Positivergebnisse beeinflusst.
Der Kern der familienbezogenen Fehlerrate besteht darin, mindestens einen Fehler Typ I zu kontrollieren.
Es gibt mehrere traditionelle Methoden zur Kontrolle der familienbezogenen Fehlerquote. Zu den bekanntesten zählen:
Nehmen Sie als Beispiel das Bonferroni-Verfahren, eine sehr einfache Methode, bei der das Signifikanzniveau jedes Hypothesentests durch die Gesamtzahl der Tests geteilt wird und so die allgemeine Fehlerrate für die ganze Familie kontrolliert wird.
Studien haben gezeigt, dass Holms Treppenmethode leistungsfähiger ist als die Bonferroni-Methode und die Fehlerrate aller Annahmen effektiv kontrollieren kann.
Beim Testen von Hypothesen müssen Statistiker auch die Abhängigkeiten zwischen Tests berücksichtigen. Herkömmliche Methoden wie Bonferroni und Holm bieten eine relativ konservative Lösung, die für die Kreuztestabhängigkeit bei multivariaten Hypothesentests geeignet ist.
Der konservative Charakter dieser Methoden bedeutet allerdings auch, dass ihre Wirksamkeit durch bestimmte Abhängigkeitsstrukturen eingeschränkt sein kann. In einigen Fällen können Resampling-Strategien, etwa die Einführung von Bootstrapping- und Permutationsmethoden, die Kontrolle der Fehlerraten verbessern und die Erkennungsleistung steigern.
Von allen diesen Strategien bietet die familienbezogene Fehlerratenkontrolle einen strengeren Schutz als die Kontrolle der Falschentdeckungsrate (FDR).
Es ist zu beachten, dass jede Methode ihre eigenen Stärken und Schwächen bei der Kontrolle der Fehlerrate hat. Es ist entscheidend, eine geeignete Kontrollstrategie basierend auf dem Forschungskontext und den Merkmalen der Hypothese zu wählen. Darüber hinaus ist die Kontrolle der familienbezogenen Fehlerquote oft Teil des Versuchs, Unsicherheit und Risiko bei Entscheidungen zu reduzieren, was in der wissenschaftlichen Forschung von entscheidender Bedeutung ist.
Langfristig wird die Frage, wie sich die Kontrolle der Fehlerquote und die Wahrung der Gültigkeit der Ergebnisse miteinander in Einklang bringen lassen, eine Herausforderung für die statistische Forschung bleiben. In diesem Zusammenhang lohnt es sich, über die Innovation von John Tukey und ihre Auswirkungen auf die Datenwissenschaft nachzudenken.