データ分析と統計は、今日の科学研究、特に仮説検定のプロセスにおいて欠かせない要素です。ただし、研究者が複数の仮説検定を実施する場合、エラーの割合を制御することが特に重要になります。この時点で、実験ごとのエラー率 (EER) とファミリーごとのエラー率 (FWER) の違いと、どちらか一方または両方を制御する必要がある理由を理解する必要があります。
ファミリーワイズエラー率とは、一連の仮説検定を実行するときに少なくとも 1 つのタイプ I エラーが発生する確率です。
ファミリーワイズエラー率の概念は、1953 年に統計学者ジョン・テューキーによって提案されました。これは、特定のテスト セット、つまりテストの「ファミリ」を対象としています。統計学では、実際には正しい仮説(つまり、帰無仮説)を誤って棄却した場合に、タイプ I の誤りが発生します。つまり、複数のテストを実行する場合、いずれか 1 つのテストが間違っていると、全体の結果に影響が出ます。
実験エラー率は、特定の実験内で少なくとも 1 つのタイプ I エラーが発生する確率を表します。
一方、実験エラー率は、実験で実行されるすべてのテストを含む、実験全体のテストに重点を置いています。この設定は、結果を分析するときに、いずれかのテストが偽である場合は、全体の結果を慎重に検討する必要があることを意味します。
これら 2 つの概念の違いを理解することは、研究結果を正しく解釈するために重要です。 FWER は一連の仮説検定に対するエラー制御であり、EER は実験全体の再現性と信頼性に重点を置いているため、この区別により、学術研究者は仮説検定の結果をより正確に解釈し、反映することができます。
これらのエラー率を制御するには、Bonferroni 手順、Šidák 手順など、さまざまな方法があります。
これらのメソッドは、複数のテストを実行するときにエラーが発生する可能性を減らすように設計されています。たとえば、フェローニ法では、有意水準をテスト間で分散させることにより、全体的なエラー率を削減します。 Shidak メソッドは、より強力ですが、わずかに改善された制御手段を提供します。
家族全体のエラー率を制御することは、多くの状況、特に研究結果が臨床または政策決定に大きな影響を与える可能性がある場合には、優先事項となる可能性があります。対照的に、実験エラー率は、より高い多様性と柔軟性を必要とする方法で一般的に使用されます。
結論要約すると、ファミリーワイズエラー率と実験エラー率はどちらも複数の仮説検定を実施するときにタイプ I エラーを防ぐことを目的としていますが、適用可能なシナリオと制御戦略は異なります。これらの違いを理解することで、研究者は実験を設計する際により良い選択を行うことができます。
では、実験を設計してデータを分析する際に、ファミリーワイズエラー率の制御と実験エラー率の制御の間のトレードオフのバランスをどのように取るのでしょうか?