В статистике тест отношения правдоподобия – это метод проверки гипотез, который сравнивает соответствие двух конкурирующих статистических моделей, чтобы определить, какая из них больше соответствует наблюдаемым данным. Две модели обычно представляют собой модель, полученную путем максимизации глобального пространства параметров, и модель, на которую накладываются ограничения. В этом процессе цель теста — использовать их отношение правдоподобия, чтобы определить, подтверждают ли наблюдаемые данные гипотезу между более простой моделью и сложной моделью. Короче говоря, этот тест помогает нам выявить основные закономерности в данных.
Основная идея теста отношения правдоподобия заключается в том, что если более простая модель (т. е. нулевая гипотеза) подтверждается наблюдаемыми данными, то правдоподобие двух моделей не должно отличаться более чем на ошибку выборки.
Предположим, у нас есть статистическая модель в пространстве параметров Θ
. Нулевая гипотеза обычно означает, что параметр θ
находится в пределах определенного подмножества Θ₀
, тогда как альтернативная гипотеза означает, что θ
находится в пределах Θ₀.
Дополнение кода>, то есть Θ \ Θ₀
. Статистику теста отношения правдоподобия можно рассчитать следующим образом:
λLR = -2 ln [ sup
θεεΘ₀
L(θ
) / supθاΘ
L(θ
) ]
L(θ)
— это только что упомянутая функция правдоподобия. Значение этой формулы заключается в том, что когда нулевая гипотеза установлена, вычисленный результат будет приближаться к распределению хи-квадрат по мощности, что позволит нам использовать этот результат для проверки гипотезы.
При выполнении теста отношения правдоподобия две модели необходимо вложить. Это означает, что более сложную модель можно преобразовать в более простую, наложив ограничения на параметры. Многие общие статистические данные тестов, такие как Z-тест, F-тест и т. д., могут быть выражены с использованием аналогичных концепций. Если две модели не являются вложенными, для обнаружения можно использовать их обобщенную версию.
Предположим, у нас есть случайная выборка из нормального распределения и мы хотим проверить, равно ли ее среднее значение определенному значению. Например, пусть нулевая гипотеза будет H₀: μ = μ₀
, а альтернативная гипотеза — H₁: μ ≠ μ₀
. В это время мы можем использовать функцию правдоподобия для проведения теста и, наконец, получить соответствующую статистику, а затем оценить ее значимость.
Если нулевая гипотеза отклонена, это означает, что альтернативная гипотеза более соответствует данным, в противном случае нулевую гипотезу нельзя отвергнуть.
Теорема Уилкса утверждает, что если нулевая гипотеза верна, то по мере увеличения размера выборки статистика теста отношения правдоподобия будет иметь тенденцию быть случайной величиной с распределением хи-квадрат. Это позволяет нам рассчитать отношение правдоподобия и сравнить его со значением хи-квадрат, соответствующим определенному уровню значимости в различных гипотетических ситуациях, в качестве приблизительной статистической схемы тестирования.
В реальной жизни тест отношения правдоподобия широко используется в различных областях, включая биостатистику, социальные науки и психологию. Конкретные сценарии применения включают оценку эффекта лечения пациентов, анализ данных об окружающей среде и прогнозирование рыночных тенденций. Тем не менее, с развитием науки о данных и машинного обучения мы можем столкнуться с более сложными и неполными средами данных, что ставит под сомнение границы применения традиционных методов статистического тестирования.
Итак, с развитием технологий может ли тест отношения правдоподобия продолжать играть ключевую роль в области анализа данных?