Language
Country/Area
No result found
数据背后的秘密：如何评估概率分类器的真实效能？
在机器学习的世界中，分类器扮演着至关重要的角色，其中概率分类器以其独特的方式提供了关于未来事件的预测。这些模型不仅仅是告诉我们某个样本属于哪一类，而是能够给出每一类别的概率分布，这使得它们在许多应用中极具价值。
概率分类器不仅可以独立使用，还可以在集成模型中结合其他分类器来进行更准确的预测。
分类的类型
一般来说，一个“普通”分类器是一个规则或函数，该函数将样本 x 分配给一个类别标签 ŷ。这些样本来自某个集合（例如，所有文件或所有图像），而类别标签则形成在训练之前定义的有限集合。
与此同时，概率分类器通过给定一组条件分布 Pr(Y|X) 进一步扩展了这一概念。这意味着对于给定的 x ∈ X，它们为所有的 y ∈ Y 分配概率，这些概率的总和为一。一次性的“硬”分类可以通过最佳决策规则进行。
不同的分类模型如朴素贝叶斯、逻辑回归和多层感知机等自然地适用于概率，而其他模型如支持向量机则不是，但却有方法可以将其转换为概率分类器。
生成与条件训练
一些模型如逻辑回归是条件训练的，这意味着它们直接在训练集上优化条件概率 Pr(Y|X)。而其他分类器如朴素贝叶斯则是生成训练的：在训练时计算类别条件分布Pr(X|Y) 和类别先验Pr(Y) 。
在这种情况下，可以利用贝叶斯定理推导出条件分布
Pr(Y|X)。
概率校准
并非所有的分类模型都是自然概率的，其中一些，比如朴素贝叶斯分类器和决策树，可能会产生失真的类别概率分布。在决策树的情况下，Pr(y|x) 是具有标签y 的训练样本在x 最终所在的叶中的比例。
这些失真是由于学习算法的设计导致的，旨在产生同质性叶，从而导致需求样本的少量而使得概率失真。校准可以通过校准图（也叫可靠性图）来评估，该图显示了每个类别在预测概率或得分的带宽中所占的比例。
评估概率分类
通常用于评估的度量指标包括对比预测概率与观察结果的对数损失、Brier分数以及各种校准误差。这些指标帮助量化概率分类器的输出是否良好校准。
正如Philip Dawid所言，“如果一个预测者对其赋予的30%概率的事件，长期比例实际上变成30%，那么这个预测者就是良好校准的。”
期望校准误差（ECE）是用于测量校准误差的基础性工作，而最近的工作则提出了对ECE的变体，以解决当分类器的得分集中在[0,1]的狭窄子集时可能出现的限制。
软体实现
MoRPE是一种可训练的概率分类器，使用等距回归进行概率校准，通过将多类情况降至二元任务来解决问题。这是一种使用非均质多项式核的核机器。
机器学习的发展日新月异，而评估概率分类器的真实效能，对于提升模型准确率与应用价值至关重要。你认为未来的机器学习是否能彻底改变我们决策的方式?
