Language
Country/Area
No result found
數據背後的秘密：如何評估概率分類器的真實效能？
在機器學習的世界中，分類器扮演著至關重要的角色，其中概率分類器以其獨特的方式提供了關於未來事件的預測。這些模型不僅僅是告訴我們某個樣本屬於哪一類，而是能夠給出每一類別的概率分佈，這使得它們在許多應用中極具價值。
概率分類器不僅可以獨立使用，還可以在集成模型中結合其他分類器來進行更準確的預測。
分類的類型
一般來說，一個“普通”分類器是一個規則或函數，該函數將樣本 x 分配給一個類別標籤 ŷ。這些樣本來自某個集合（例如，所有文件或所有圖像），而類別標籤則形成在訓練之前定義的有限集合。
與此同時，概率分類器通過給定一組條件分佈 Pr(Y|X) 進一步擴展了這一概念。這意味著對於給定的 x ∈ X，它們為所有的 y ∈ Y 分配概率，這些概率的總和為一。一次性的“硬”分類可以通過最佳決策規則進行。
不同的分類模型如朴素貝葉斯、邏輯回歸和多層感知機等自然地適用於概率，而其他模型如支持向量機則不是，但卻有方法可以將其轉換為概率分類器。
生成與條件訓練
一些模型如邏輯回歸是條件訓練的，這意味著它們直接在訓練集上優化條件概率 Pr(Y|X)。而其他分類器如朴素貝葉斯則是生成訓練的：在訓練時計算類別條件分佈 Pr(X|Y) 和類別先驗 Pr(Y)。
在這種情況下，可以利用貝葉斯定理推導出條件分佈
Pr(Y|X)。
概率校準
並非所有的分類模型都是自然概率的，其中一些，比如朴素貝葉斯分類器和決策樹，可能會產生失真的類別概率分佈。在決策樹的情況下，Pr(y|x) 是具有標簽 y 的訓練樣本在 x 最終所在的葉中的比例。
這些失真是由於學習算法的設計導致的，旨在產生同質性葉，從而導致需求樣本的少量而使得概率失真。校準可以通過校準圖（也叫可靠性圖）來評估，該圖顯示了每個類別在預測概率或得分的帶寬中所佔的比例。
評估概率分類
通常用於評估的度量指標包括對比預測概率與觀察結果的對數損失、Brier分數以及各種校準誤差。這些指標幫助量化概率分類器的輸出是否良好校準。
正如Philip Dawid所言，“如果一個預測者對其賦予的30%概率的事件，長期比例實際上變成30%，那麼這個預測者就是良好校準的。”
期望校準誤差（ECE）是用於測量校準誤差的基礎性工作，而最近的工作則提出了對ECE的變體，以解決當分類器的得分集中在[0,1]的狹窄子集時可能出現的限制。
軟體實現
MoRPE是一種可訓練的概率分類器，使用等距回歸進行概率校準，通過將多類情況降至二元任務來解決問題。這是一種使用非均質多項式核的核機器。
機器學習的發展日新月異，而評估概率分類器的真實效能，對於提升模型準確率與應用價值至關重要。你認為未來的機器學習是否能徹底改變我們決策的方式?
