php+网站开发+pdf,网站下载地址,多城市二手车网站源码,中国工程机械网官网文章目录 一. 归一化二. 归一化的常见方法1. 最小-最大归一化 (Min-Max Normalization)2. Z-Score 归一化#xff08;标准化#xff09;3. MaxAbs 归一化 三. 归一化的选择四. 为什么要进行归一化1. 消除量纲差异2. 提高模型训练速度3. 增强模型的稳定性4. 保证正则化项的有效… 文章目录 一. 归一化二. 归一化的常见方法1. 最小-最大归一化 (Min-Max Normalization)2. Z-Score 归一化标准化3. MaxAbs 归一化 三. 归一化的选择四. 为什么要进行归一化1. 消除量纲差异2. 提高模型训练速度3. 增强模型的稳定性4. 保证正则化项的有效性5. 避免数值计算问题 一. 归一化
归一化Normalization是数据预处理中的一种常用方法主要用于将不同尺度的数据转换到一个统一的范围内通常是将数据缩放到一个固定的区间如 [0, 1] 或 [-1, 1]。归一化有助于消除特征之间的量纲差异使得所有特征在同一个尺度上进行计算避免某些特征对模型的训练过程产生过大影响。
二. 归一化的常见方法
1. 最小-最大归一化 (Min-Max Normalization)
最常见的归一化方法将数据按比例缩放到指定的区间通常是 [0, 1]。其公式为 x ′ x − min ( x ) max ( x ) − min ( x ) x \frac{x - \min(x)}{\max(x) - \min(x)} x′max(x)−min(x)x−min(x)
其中 ( x ) ( x ) (x) 是原始数据 ( min ( x ) ) ( \min(x) ) (min(x)) 是数据集中的最小值 ( max ( x ) ) ( \max(x) ) (max(x)) 是数据集中的最大值 ( x ′ ) ( x ) (x′) 是归一化后的数据。
优点
适用于数据范围已知且具有固定上下界的情况。结果数据范围固定便于后续操作。
缺点
对于异常值非常敏感异常值可能会拉大数据的范围使得大部分数据集中在某一小范围内。
2. Z-Score 归一化标准化
Z-Score 归一化将数据转换为具有零均值和单位方差的分布常用于需要满足正态分布假设的机器学习算法中。其公式为 x ′ x − μ σ x \frac{x - \mu}{\sigma} x′σx−μ
其中 ( x ) ( x ) (x) 是原始数据 ( μ ) ( \mu ) (μ) 是数据集的均值 ( σ ) ( \sigma ) (σ) 是数据集的标准差 ( x ′ ) ( x ) (x′) 是标准化后的数据。
优点
对异常值不敏感能保持数据的分布形态。保持数据的相对差异适用于大多数机器学习算法尤其是需要度量距离的算法。
缺点
对数据本身的分布要求较高尤其是对于数据呈现非正态分布时可能需要更多的处理。
正态分布 3. MaxAbs 归一化
将每个特征值除以其最大绝对值使得数据的范围在 [-1, 1] 之间。这种方法在数据中没有负值时尤其适用。 x ′ x max ( ∣ x ∣ ) x \frac{x}{\max(|x|)} x′max(∣x∣)x
优点
保留了稀疏矩阵的零值适合处理稀疏数据。不改变数据的分布形态适用于数据不含异常值的情况。
缺点
数据不一定遵循均值为0的分布可能对一些算法如线性回归不太适用。
三. 归一化的选择
如果数据的数值范围已知且有明确的上下限如图像像素值通常在[0, 255]之间使用 最小-最大归一化 比较合适。如果数据的分布较为均匀且目标是让特征符合标准正态分布使用 Z-Score 归一化标准化 更为合适。如果数据本身已经分布得很好且不希望改变分布特性可以选择 MaxAbs 归一化。
总之归一化是对特征进行尺度调整的过程选择合适的归一化方法能够显著提高模型的表现和训练效率。
四. 为什么要进行归一化
1. 消除量纲差异
不同特征可能有不同的单位或量纲例如某些特征可能是温度单位是摄氏度或华氏度而其他特征可能是收入单位是人民币、美元等。这些特征的数值范围可能相差很大。比如温度可能在0到100之间而收入可能在几千到几百万之间。如果不进行处理这种量纲差异可能会导致一些特征在模型中占主导地位影响模型的学习效果。 归一化将数据缩放到一个固定的范围如[0, 1]。这样可以消除量纲差异让每个特征在同一尺度上进行处理。 标准化通过去除均值并除以标准差使数据具有零均值和单位方差。标准化后的数据使得每个特征的分布更加一致便于算法进行处理。
2. 提高模型训练速度
许多机器学习算法特别是基于梯度下降的算法如线性回归、逻辑回归、神经网络等对特征的尺度非常敏感。如果数据的尺度不一致某些特征可能对梯度的更新产生较大影响而其他特征则几乎没有影响。这样会导致优化过程收敛速度慢甚至不收敛。
通过归一化或标准化可以确保所有特征对模型的贡献大致相同从而加快收敛速度避免梯度爆炸或梯度消失问题。
3. 增强模型的稳定性
一些模型如支持向量机SVM、K-近邻KNN和K-means聚类等基于距离度量如欧式距离、曼哈顿距离等来进行预测或分类。如果特征的尺度差异较大模型计算距离时尺度较大的特征会主导距离计算从而影响预测结果。通过归一化或标准化特征尺度变得一致能提高模型的稳定性和预测准确性。
4. 保证正则化项的有效性
在一些机器学习算法中正则化项如L2正则化用于控制模型的复杂度避免过拟合。如果特征的尺度差异较大某些特征可能会对正则化项产生较大影响导致模型偏向某些特征进而影响模型的泛化能力。归一化或标准化后正则化项会对所有特征产生更均衡的影响有助于提高模型的鲁棒性。
5. 避免数值计算问题
在某些机器学习算法中如果输入数据的数值范围过大可能会导致计算中的数值稳定性问题。例如在神经网络中输入数据的数值过大可能导致梯度更新过程不稳定进而影响训练过程。通过归一化或标准化可以避免这种数值计算问题。
