南京专业网站设计哪个品牌,flash个人网站,福州企业公司网站建设,烟台做网站要多少钱概述
论文地址#xff1a;https://arxiv.org/abs/2403.18731 本研究提出了一种利用可解释性技术提高机器学习#xff08;ML#xff09;模型性能的方法。该方法已用于铣削质量预测#xff0c;这一过程首先训练 ML 模型#xff0c;然后使用可解释性技术识别不需要的特征并去…概述
论文地址https://arxiv.org/abs/2403.18731 本研究提出了一种利用可解释性技术提高机器学习ML模型性能的方法。该方法已用于铣削质量预测这一过程首先训练 ML 模型然后使用可解释性技术识别不需要的特征并去除它们以提高准确性。这种方法有望降低制造成本提高对 ML 模型的理解。这项研究表明可解释性技术可用于优化和解释制造业的预测模型。
介绍
铣削是一种加工工艺通过去除材料来加工出所需的形状或表面光洁度。在这一过程中被称为铣刀的切削工具高速旋转在移动工件的同时去除材料。工件固定在一个可以多轴移动的工作台上可以进行各种方向和角度的加工Fertig 等人2022 年。铣削过程中的能耗会因设置和材料的不同而有很大差异但通常被认为是一种能源密集型工艺。如果能预测和预防质量问题就能降低能耗减少因生产缺陷零件而造成的浪费Pawar 等人2021 年。
机器学习ML模型可以识别数据中的模式和结构并在不受程序直接指导的情况下进行预测。这些模型是预测铣削操作最终质量的有用工具可以提高制造过程的效率和可靠性Mundada 和 Narala2018 年。然而铣削操作的实验数据非常昂贵因此可用数据往往很少难以训练 ML 模型来预测工件质量Postel 等人2020 年。
此外在使用复杂的 ML 模型尤其是深度神经网络模型时其内部运作是不透明的其 黑箱 性质可能会造成问题。出现这一问题的原因是这些模型的预测结果难以理解因此无法被制粉质量预测领域的从业人员和利益相关者完全理解Kwon 等人2023 年。
本研究提出了一种利用可解释性方法来阐明和优化 ML 模型预测机制从而提高 ML 模型性能的方法。通过使用可解释性方法可以识别 ML 模型预测中的重要特征并消除不必要的特征从而有效推进优化工作Bento 等人2021 年Sun 等人2022 年。
相关研究
将机器学习ML应用于制造和加工任务至少已有十年之久Kummar2017。例如ML 最初用于优化车削操作Mokhtari Homami 等人2014 年、预测铣削操作的稳定条件Postel 等人2020 年、估算内孔质量Schorr 等人2020 年以及使用 ML 驱动的表面质量控制对缺陷进行分类Chouhad 等人2021 年。Chouhad 等人2021 年等。
然而可解释人工智能XAI方法在制造过程中的应用最近才开始受到关注Yoo 和 Kang2021 年Senoner 等人2022 年。正在进行的欧洲 XMANAI 项目Lampathaki 等人2021 年旨在评估 XAI 在不同制造领域的能力。特别是XAI 在故障诊断领域的成功应用潜力已经显现Brusa 等人2023 年。
还有一些研究侧重于数据集的特征选择而不直接考虑 ML 模型Bins 和 Draper2001 年Oreski 等人2017 年Venkatesh 和 Anuradha2019 年。本研究探讨了使用 XAI 通过消除不必要的传感器来提高预测模型质量的可能性尽管通过可解释性方法来提高 ML 模型性能的方法在可解释性 ML 的背景下是众所周知的Bento 等人2021 年Sun 等人2022 年Nguy 等人2022 年。等人2022 年Nguyen 和 Sakama2021 年Sofianidis 等人2021 年但这是 XAI 首次用于铣削操作的质量预测模型。特别是通过使用 XAI 方法识别和消除不需要的特征来改进铣削过程质量预测模型的方法非常新颖。
方法论
本研究提出了一种利用可解释性技术提高机器学习ML模型性能的方法具体步骤如下。
1. 训练 ML 模型
首先使用给定的数据集训练 ML 模型。本研究使用了三种模型决策树回归、梯度提升回归和随机森林回归。与神经网络相比这些模型需要的数据更少也更容易解释。
2. 可解释性方法的应用
将可解释性方法应用于训练好的 ML 模型和数据集以确定对预测准确性至关重要的特征。这一步骤包括对特征的重要性进行排序并使用越来越多的重要特征来训练新模型。
3. 特征选择
根据特征的重要性只使用最重要的特征来训练新模型。这一过程可提高 ML 模型的性能。
机器学习模型
决策树回归模型
决策树回归模型将输入空间划分为不同的区域并对每个区域内的训练样本拟合一个简单的模型通常为常数。 对新输入 x 的预测 ^表示如下。 其中cm 是拟合区域 R m的常数 M 是区域数量 ⋅I⋅ 是指标函数。
梯度提升回归模型
梯度提升回归模型结合了多个弱模型来优化损失函数。从初始近似值F0(x)开始通过添加弱模型hmx(x)对其进行如下更新。 其中 α 是学习率hm(x) 是弱学习器用于纠正前一个模型中的错误。
()-1()⋅타()
随机森林回归模型
随机森林回归模型通过训练多棵决策树并取其平均值来做出最终预测。
新输入数据x 最终预测结果表达如下 其中 T 是树的总数yt(x)() 是第 t 棵树的预测值。
^()1∑1()
可解释性技术
特征的排列重要性
特征置换重要性是一种评估模型重要特征的问责方法。它通过随机替换某些特征并监测模型性能的变化来衡量每个特征的重要性。
夏普利值
夏普利值源于合作博弈论根据每个参与者的边际贡献分配公平值。在机器学习模型中它量化了每个特征对预测的贡献。
案例研究
本研究使用 ENSAM 生成的数据集来应用所提出的方法。详情如下。
目标
本案例研究的目的是为每个质量指标开发一个预测模型。这不仅包括训练模型还包括明确预测结果的原因以及识别和删除不需要的特征。这一步骤旨在通过减少冗余传感器、优化资源和降低成本最大限度地降低安装和维护成本。 图 1用于加工工件的铣床
数据预处理
由于本研究处理的是时间序列长度不固定的数据因此对每个时间序列都计算了方框图值。此外数据集中的元数据包含各种实验参数。
训练机器学习模型
在本研究中对决策树回归、梯度提升回归和随机森林模型进行了训练以预测每个质量指标。模型输入和输出的整体视图如图 2 所示。每个模型的训练都采用了五部分交叉验证法。这种方法将数据分成五个相等的部分其中四个部分80%用于训练其余一个部分20%用于每次迭代测试。这一过程重复五次五部分中的每一部分都作为测试集。对模型的性能取五次迭代的平均值以得出更可靠的评估结果。 图 2ML 预测模型接收箱形图时域和频域和机器配置参数并输出质量指标。
分析
对所提出的方法进行了分析。首先评估了 ML 模型的性能然后分析了 ML 模型的预测机制最后评估了去除特征对 ML 模型性能的影响。
评估模型的预测质量
本研究旨在评估梯度提升回归、决策树和随机森林这三种 ML 模型的预测准确性。评估预测质量的主要指标是平均绝对误差率MAPE。如果 MAPE 小于 5%则认为预测质量较高。 设置使用 100 个样本的预处理数据集。 运行在预处理数据集上训练了梯度提升回归、决策树和随机森林三种不同的机器学习模型并使用 k 分割交叉验证法测量了 MAPE。 研究结果利用这些 ML 技术我们能够利用一套完整的质量特征对 Rdq 进行预测误差率低于 5%。具体来说梯度提升回归模型的误差率为 4.58%随机森林模型的误差率为 4.88%。
了解 ML 模型的预测机制
研究评估了每个属性在预测质量指标方面的重要性。
设置侧重于梯度提升回归模型这些模型在训练后表现出最佳性能。运行应用特征的排列重要性和 Shapley 值。发现我们发现不同的解释方法显示出不同的原因。例如与夏普利值相比排列特征重要性突出显示 fa_ts_max 是更重要的特征见图 3。 图 3使用 FPI特征排列重要性排列和 SHAP夏普利值方法对 Rdqmaxmean 预测的特征重要性等级进行可视化展示。
提高性能
本实验探索了将可解释性方法整合到 ML 模型开发过程中以提高模型性能的可能性。 设置ML 模型中的变量根据特征的重要性从高到低进行分类每次试验都要训练一个新的模型并改变顶级特征的比例p。 运行尝试只使用重要特征来提高模型的性能。 研究结果通过将最重要的特征整合到训练数据集中ML 模型的性能得到了提高。例如只选择排列重要性最高的 20% 的最重要特征MAPE 就从约 4.58 提高到了 4.4。 图 4在 Rdq 预测中根据不同方法使用不同比例的最重要特征。
讨论
本案例研究展示了可解释机器学习ML方法对制造质量预测模型的益处。可解释性分数如特征重要性用于解释每个特征与模型预测能力的相关性。人类专家可以利用这种解释来分析训练有素的模型并验证重要性高的特征是否对预测任务有意义。
ML 模型可以揭示输入特征与预测目标之间的新关系但在质量预测环境中由于缺乏数据过度依赖某些特征可能会成为学习错误相关性的指标。可解释性方法可以作为模型验证和人工检查的工具。
此外研究还表明可以通过去除低级特征来改进模型。具体来说如图 4 所示只保留最重要的特征就能提高模型的准确性。这种方法不仅提高了预测的准确性还减少了预测所需的传感器数量从而降低了预测的计算成本。在生产过程中进行实时质量预测以检测潜在缺陷和偏离计划的情况时重要的是要尽量减少预测所需的时间并提高预测频率。
在设计生产原型机时同样重要的是在早期阶段对预测模型进行评估以确定机器的最终传感器组。虽然原型机配备了许多传感器但只有在对预测模型进行评估后才会选择相关的传感器。
此外使用简单且可解释的模型Breiman2001 年Rudin 等人2022 年可能有利于制造业质量预测模型的开发。然而简单性和准确性之间存在权衡奥卡姆困境模型越简单准确性就越低。在案例研究中简单决策树与更复杂的梯度提升树和随机森林之间的误差差异也体现了这种权衡。使用可解释性技术减少特征数量再次降低了模型的复杂性并使最终模型更具可解释性。
总结
本研究展示了结合机器学习ML和可解释性技术来提高制造业表面质量预测模型性能的潜力。尽管可用数据有限但基于可解释性技术的特征选择能够利用少量数据提高 ML 模型的有效性。
未来研究的目标是将可解释性方法扩展到铣削以外的制造工艺并建立一个更全面的预测系统。此外这些 ML 模型将被用作物理机器的数字孪生模型并将应用参数优化方法来开发新的开发成果。这种整合不仅能提高模型的准确性还能对机器操作进行实时微调从而提高效率并降低成本。
