Language
Country/Area
No result found
측에 대한 신뢰도를 높이기 위해 분류기 점수를 실제 클래스 확률로 변환하는 방법을 알아보세요
오늘날의 데이터 중심 세계에서 예측 모델의 정확성은 점점 더 많은 관심을 받고 있으며, 주요 문제 중 하나는 분류기 점수를 실제 클래스 확률로 변환하는 방법입니다. 이러한 확률은 예측 결과를 반영할 뿐만 아니라 모델의 신뢰성을 평가하는 주요 지표이기도 합니다.
“예측자가 사건에 확률을 30으로 할당한다면 장기적으로 실제 발생 확률은 30에 가까워야 합니다.”
분류 문제에서 모델 보정은 예측 신뢰성을 향상시키는 중요한 단계입니다. 분류기가 클래스를 잘 분리하더라도 예측 확률은 현실과 다를 수 있습니다. 따라서 교정을 수행하면 이러한 추정치를 개선하는 데 도움이 될 수 있습니다.
분류자가 생성한 확률의 보정 정도를 측정하기 위해 많은 평가 측정항목이 제안되었습니다. 기본 작업의 예로는 ECE(예상 교정 오류)가 있습니다. 2020년대에는 적응형 교정 오류(ACE) 및 테스트 기반 교정 오류(TCE)와 같은 지표가 등장하여 ECE의 높은 농도 문제를 해결했다는 점에 주목할 가치가 있습니다.
이러한 개발 중 ECI(예상 보정 지수)는 ECE의 개념을 확장하고 특히 모델 과신 또는 불충분한 상황에 대한 보다 자세한 측정을 제공합니다. 처음에는 바이너리 설정용으로 설계된 ECI는 이후 다중 클래스 설정에도 적용되어 모델 보정에 대한 로컬 및 글로벌 통찰력을 제공했습니다.
"Famiglini 등은 일련의 실험을 통해 모델 보정 수준을 보다 정확하게 이해하고 보정 평가에서 편향을 줄이기 위한 전략을 논의하는 데 있어 이 프레임워크의 효율성을 입증했습니다."
기본 보정 방법 외에도 할당된 값 방법, 베이지안 방법, 등각 회귀, Platt 스케일링을 포함하여 분류기 점수를 두 가지 유형의 사례에 대한 클래스 확률로 변환하는 데 사용할 수 있는 특수한 일변량 보정 방법도 있습니다. 특히 베이지안 비닝-정량화(BBQ) 교정.
확률적 예측 및 예측 분야에서 일반적으로 사용되는 평가 도구 중 하나는 브라이어 점수(Brier Score)로, 이는 일련의 예측의 예측 정확도, 즉 할당된 확률의 크기가 일관성이 있는지를 측정하는 데 사용됩니다. 관찰의 상대 빈도와 함께. 이는 Daniel Kahneman이 말한 것처럼 정확도 및 정밀도와는 다릅니다. “발생하는 모든 이벤트에 0.6의 확률을 할당하고 발생하지 않는 모든 이벤트에 0.4의 확률을 할당하면 보정이 완벽합니다. 그렇습니다. 하지만 식별 기술은 다음과 같습니다. 끔찍하다."
회귀 분석에서 교정 문제는 알려진 데이터를 사용하여 다른 변수를 예측하는 방법을 의미합니다. 이러한 종류의 역방향 회귀를 슬라이스 역방향 회귀라고 부르기도 합니다. 다중 클래스의 경우 분류기 점수를 클래스 확률로 변환하려면 적절한 다변량 교정 방법이 필요합니다.
“예를 들어 나이테나 방사성탄소를 사용하여 물체의 연대를 측정하는 것은 알려진 연대와 관측치 사이의 관계를 모델링할 수 있는 방법을 보여주는 좋은 예입니다.”
그러나 알려진 연령을 관측치에 연관시킬 때 모델이 관측 오류 또는 날짜 오류를 최소화하는 데 초점을 맞춰야 하는지 여부는 특히 알려진 결과로부터 멀어질수록 더욱 심화되는 결과를 낳습니다.
모델 보정을 종합하면 예측의 정확성을 높일 수 있을 뿐만 아니라 결과에 대한 사용자의 신뢰도도 높일 수 있습니다. 점점 더 자동화되는 의사 결정 과정에서 모델 점수를 실제 수업 확률로 효과적으로 변환하는 방법은 향후 연구의 중요한 주제가 되었습니다. 이러한 전략과 방법에 직면한 독자들은 다음과 같은 생각을 하지 않을 수 없습니다. 모델 예측의 정확성을 검토할 때 모델의 신뢰성을 보장하기 위해 어떤 지표나 단계에 집중해야 합니까?
