在統計學中,家族型錯誤率(Family-wise Error Rate, FWER)是指在多次假設檢驗中,發生一次或多次錯誤發現(第一類錯誤)的概率。對於希望在進行多重檢驗時減少錯誤率的研究者而言,這是一個關鍵概念。
約翰·圖基於1953年提出了家族型錯誤率的概念,旨在衡量在特定組中發生第一類錯誤的概率。
家族型錯誤率的概念位於統計學的重要框架中,當中包含了與实验相关的概念。Ryan於1959年提出了實驗型錯誤率(Experiment-wise Error Rate),它表示在一次實驗中發生第一類錯誤的概率。可以視作實驗型錯誤率是一組檢驗的集合,且該集合中的所有檢驗都受到了統一控制。
在統計上,"家族"這個詞有數個定義。Hochberg和Tamhane(1987年)定義「家族」為「任何一組推論,其有意義地考慮某種綜合的錯誤度量。」而這個定義強調了統計分析中的正確性和選擇效應。
假設 | 結果 |
---|---|
H1 | ... |
H2 | ... |
當進行多個假設檢驗時,可能會出現幾種結果。例如,假設有m個假設,真假設的數量和假陽性的數量會影響最終的統計結論。
家族型錯誤率的核心在於控制至少一次的第一類錯誤。
控制家族型錯誤率的傳統方法有多種。最知名的包括:
以Bonferroni程序為例,這是一種非常簡單的方法,它將每個假設檢驗的顯著性水平除以檢驗的總數,從而控制整體的家族型錯誤率。
有研究指出,Holm的階梯法比Bonferroni方法更具強大性,且能夠有效控制所有假設的錯誤率。
在對假設進行檢驗的過程中,統計學家還需考慮測試間的依賴關係。傳統的方法如Bonferroni和Holm提供了一個相對保守的解決方案,適合於多元假設中檢測的跨測試依賴情況。
然而,這些方法的保守性也意味著它們的效能可能受到某種依賴結構的限制。在某些情況下,採取重抽樣策略,例如引入自舉法和置換法,可以改善錯誤率控制的能力,同時增強檢測的效能。
在所有這些策略之中,家族型錯誤率控制比假發現率(False Discovery Rate, FDR)控制提供了更為嚴格的保障。
值得注意的是,每種方法都對錯誤率的控制有其自身的強項與弱點,根據研究的背景和假設的特性,選擇合適的控制策略至關重要。此外,控制家族型錯誤率通常是試圖降低不確定性和決策風險的一部分,這在科學研究中至關重要。
從長遠來看,如何平衡控制錯誤率和保持結果的有效性,將繼續成為統計學研究中的一個挑戰。在這種背景下,約翰·圖基的創新值得我們反思,它對數據科學的影響又將如何變化?