Language
Country/Area
No result found
距离计算的真相：为什么特征缩放对分类器如此重要？
在当今的数据科学和机器学习领域，特征缩放（Feature Scaling）是一个不可忽视的概念。简单来说，特征缩放是用来正规化数据中独立变量或特征的一种方法，这在数据预处理阶段中尤为关键。如果不进行特征缩放，某些机器学习算法中的目标函数可能会因为数据范围的广泛差异而无法正确工作。
「在数据处理中，数据的范围会影响到分类器达到最佳性能的能力。」
举例来说，许多分类器透过欧几里得距离来计算两个数据点之间的距离。如果某一个特征的值范围相当广泛，那么这个特征对最终距离的影响将会压过其他特征。所以，确保所有特征的范围经过正规化是非常重要的，这样每个特征都能适度地对最终距离作出贡献。
另外，进行特征缩放还可以让梯度下降的收敛速度更快。当使用正则化作为损失函数的一部分时，对特征的缩放也是至关重要的，以便正确地惩罚系数。根据实证研究显示，特征缩放能够有效提升随机梯度下降法的收敛速度，并且在支持向量机（SVM）中能加快找到支持向量的速度。对于需要处理解距离和相似性的应用场景，例如聚类和相似性搜寻，特征缩放同样非常常见。以 K-means 聚类算法为例，它对特征的缩放敏感。
特征缩放的方式
1. 重缩放（最小-最大正规化）
重缩放又被称作最小-最大缩放，这是一种最简单的方法，通过将特征范围重新缩放到 [0, 1] 或 [-1, 1]。选择目标范围取决于数据的特性。这里是重缩放的一个基本公式：
x' = (x - min(x)) / (max(x) - min(x))
举例来说，假设我们有学生的体重数据，范围为 [160 磅, 200 磅]。要对这些数据进行重缩放，我们先从每位学生的体重大于 160 的数值中减去 160，然后将结果除以 40（即最大和最小体重的差）。
2. 均值正规化
均值正规化的公式为：
x' = (x - x̄) / (max(x) - min(x))
这里，x̄ 是该特征向量的平均值。另一种形式的均值正规化则是将数据除以标准差，这也称为标准化。
3. 标准化（Z-score 正规化）
在机器学习中，我们可以处理各种类型的数据，像是音频信号和图像数据的像素值，这些数据可能包含多个维度。特征标准化使得每个特征的值以零均值（当在分子中减去平均值时）和单位方差为标准。这一方法广泛应用于许多机器学习算法中，例如支持向量机、逻辑回归和人工神经网络。
x' = (x - x̄) / σ
这里，σ 是特征的标准差。
4. 稳健缩放
稳健缩放又名为使用中位数与四分位距（IQR）的标准化，旨在对异常值保持稳健。它使用中位数和四分位距作为参考点进行缩放。
x' = (x - Q2(x)) / (Q3(x) - Q1(x))
其中 Q1(x)、Q2(x)、Q3(x) 是特征的三个四分位数（25th, 50th, 75th 百分位）。
5. 单位向量正规化
单位向量正规化将每个单一数据点视为一个向量，并且将每个数据点除以其向量范数，以获得：
x' = x / ||x||
任何向量范数均可使用，但使用最常见的是 L1 范数与 L2 范数。
结语
采用适当的特征缩放方法不仅能提升模型的准确率，更能加快训练速度。随着技术的进步，对数据预处理的要求愈来愈高，这也促使数据科学家和机器学习工程师必须对特征缩放有深刻的理解和运用。那么，未来的数据处理技术又将朝向何方发展呢？
