phpcms v9做网站,网页界面设计欣赏,河南seo网站策划,国家已明令禁止现货交易《Advances and Open Problems in Federated Learning》
选题#xff1a;Published 10 December 2019-Computer Science-Found. Trends Mach. Learn.
联邦学习定义
联邦学习是一种机器学习设置#xff0c;其中多个客户端在中央服务器或服务提供商的协调下协作解决机器学习…《Advances and Open Problems in Federated Learning》
选题Published 10 December 2019-Computer Science-Found. Trends Mach. Learn.
联邦学习定义
联邦学习是一种机器学习设置其中多个客户端在中央服务器或服务提供商的协调下协作解决机器学习问题。客户端的数据不动让模型动。从而实现数据保护并且实现模型的训练。
第一种分类
横向纵向迁移
第二种分类
跨设备跨孤岛
过程定义
客户端的选择服务器从符合条件中的客户端进行抽取。传播将选定的模型下发到客户端客户端计算选定的客户端进行模型的训练和本地模型的更新聚合客户端将训练结果传送到服务器端服务器更新汇总根据具体算法思想进行聚合。模型选择服务器根据客户端的聚合的结果计算出聚合更新后的模型。重复2~4步 联邦学习所面临的挑战 非独立同分布的数据 什么是非独立同分布数据(Non-IID) 非独立同分布数据Non-Independent and Identically Distributed, Non-IID是指在数据集中样本之间不满足独立同分布的特性。独立同分布是指样本之间独立且具有相同的概率分布。 在非独立同分布数据中样本之间可能存在相关性或者具有不同的概率分布。这种情况常见于某些特定的数据场景例如时间序列数据、空间数据或者群体数据。对非独立同分布数据进行建模和分析时需要考虑样本之间的相关性或者概率分布差异以确保模型的准确性和可靠性。 在机器学习和统计分析中非独立同分布数据的存在可能会影响模型的选择和结果的解释。因此在处理非独立同分布数据时需要采用特定的建模方法和统计推断技术以适应数据的特点和需求。 当数据集中的样本不独立同分布时通常会出现以下一些情况 相关性样本之间存在相关性即一个样本的出现可能会影响其他样本的出现。例如时间序列数据中的前一时刻的观测结果可能会对后一时刻的观测结果产生影响。 异方差性样本的概率分布可能不相同即样本的方差可能存在差异。例如某项测量在不同场景下可能具有不同的方差导致数据不满足同方差性的要求。 非平稳性样本的概率分布可能随着时间、空间或其他因素的改变而发生变化。例如金融市场中的股票价格可能随着时间的推移而呈现出非平稳性的特征。 处理非独立同分布数据的方法取决于具体的数据特点和分析目的。通常可以采用以下方法 建立适当的模型根据数据的特点选择适当的模型例如时间序列模型、混合模型或因子模型等以捕捉数据的相关性和非均匀性。 引入随机效应对于群体数据或者面板数据可以引入随机效应模型或混合效应模型以考虑不同样本之间的相关性。 数据转换通过对数据进行差分、标准化或者变换等方法使数据满足独立同分布的假设从而适用于传统的统计方法。 常见的方式 特征分布倾斜协变量飘移即使共享P ( y ∣ x ) 不同客户端上的边缘分布P i ( x )也可能不同。标签分布倾斜先验概率飘移即使P ( x ∣ y )是相同的对于不同客户端上的边缘分布P i ( y ) 也可能不同。标签相同特征不同概念飘移即使共享P ( y ) 不同客户端上的条件分布P i ( x ∣ y ) 也可能是不同。由于文化差异天气影响生活水平等因素对于相同的标签y yy对于不同的客户端可能对应着差异非常大的特征x。特征相同标签不同概念飘移即使P ( X ) 是相同的对于不同客户端上的条件分布P i ( y ∣ x )也可能不同。由于个人偏好训练数据项中的相同特征向量可能具有不同的标签。数量倾斜或者不平衡不同的客户可以拥有着样本数量差异很大的数据。 通信带宽 不可靠的设备
研究方向 Non-IID数据的处理 非独立同分布数据的处理方法包括可用客户端的数据分布i ∼ Q 针对客户端采样分布不均匀和客户端的数据分布( x , y ) ∼ P i ( x , y )都是Non-IID的现在已经有了一些解决方法例如通过全局共享的数据集给客户端补足数据或者是专门设计针对Non-IID的优化算法或者为不同客户端提供不同的模型。 IID和Non-IID在FL中收敛率的研究 研究IID和Non-IID数据集的收敛率不管联邦学习的数据是否为IID目前FedAvg都已经被证明是收敛的。 其他优化 个性化增加输入特征。多任务学习在所有任务中共享一些参数一般底层在特定任务层顶层使用自己独有参数可以考虑将任务作为客户端的子集然后与FL结合。元学习Meta Learning元学习希望使得模型获取一种“学会学习”的能力使其可以在获取已有“知识”的基础上快速学习新的任务目前已经有模型不可知元学习算法MAML可以与FL结合但领域较新还存在诸多问题。改进FL的训练机制可以考虑是否能以全局模型为每个客户端定制化自己的模型。 传统机器学习在FL中存在的问题 神经网络结构设计对于non-IID数据分布可能会有更好的网络体系结构设计。训练过程中的调试在传统机器学习中经验丰富的建模人员可以直接检查子数据集的任务比如调试错误分类\发现异常值\手动标记样本或检测训练集中的偏差。然而这在联邦学习中是行不通的开发隐私保护技术来解决此类去中心的问题是主要的开放性问题上。中心服务器分发初始模型时参数的设置在资源有限的移动设备上使用不同的超参数进行多轮培训可能会受到限制。对于小型设备这可能导致过度使用有限的通信和计算资源。 提高通信效率 梯度压缩减少从客户端到服务器通信的对象的大小该对象用于更新全局模型模型广播压缩减小从服务器向客户端广播的模型的大小客户端从该模型开始本地训练减少本地计算其实也是一种算法压缩修改整体训练算法使本地训练过程在计算上更加高效。 常见的压缩方法 量化方法降低更新参数的分辨率知识蒸馏将大模型知识迁移到小模型低秩矩阵将通信内容结构化低秩分解。稀疏化只传递足够重要的信息
隐私计算 抵御的威胁 在联邦学习中数据通常分布在不同的设备或机构中这使得联邦学习面临一些特定的威胁和挑战。以下是一些常见的威胁 隐私泄露联邦学习的一个主要威胁是隐私泄露因为原始数据存储在各个设备中并且数据可能包含敏感信息。攻击者可能通过拦截和分析模型更新、参数传输或梯度信息来推断出原始数据的一些敏感特征。黑盒攻击黑盒攻击是指攻击者试图通过仅基于模型的输入和输出来推断出敏感数据。攻击者可能通过向模型提供恶意数据来观察模型行为或者通过查询模型输出来推断出输入数据的特性。模型倾斜联邦学习中的数据分布可能不均衡有些设备可能只有少量的数据样本而其他设备可能有大量的数据样本。这可能导致在模型聚合过程中对于拥有更多数据的设备的贡献权重过高使得其他设备的数据被较少考虑。恶意参与者联邦学习中的每个设备都可以参与模型训练和更新但其中可能存在恶意参与者他们可能故意篡改或损害模型的性能。这些恶意参与者可能试图提供错误的更新传播恶意代码或者泄漏数据。 为了应对这些威胁可以采取以下防护措施 隐私保护技术采用差分隐私、加密技术等方法来保护数据隐私例如在模型训练中添加噪声或者使用安全多方计算来保护数据的敏感信息。 安全通信和模型聚合使用安全的通信协议来保护模型参数、梯度和更新的传输以防止中间攻击者获取敏感信息。同时在模型聚合过程中使用权重分配策略以平衡各个设备的数据贡献。 模型鲁棒性与防御方法设计鲁棒的深度学习模型可以抵抗对抗性样本和恶意攻击。使用模型压缩、聚合学习和模型修复技术以提高模型的强健性和鲁棒性。 参与者验证和信任建立在联邦学习中对参与者进行身份验证和信任建立是关键的在参与者选择和评估过程中要充分考虑参与者的信誉和可靠性。 涉及研究方向 安全计算 可信执行环境安全多方计算安全聚合、安全shuffle等 安全shuffle是一种密码学概念用于在计算机安全领域中实现数据的随机化和保护。它主要用来加密敏感数据确保数据在传输过程中不容易被破解和分析。安全shuffle的基本原理是通过对数据进行混淆和重新排列来隐藏数据的原始顺序。通常使用密码学中的随机数生成算法来生成随机化的数据顺序从而实现对数据的保护。安全shuffle可以应用在多个领域如加密通信、数据库安全和隐私保护等。通过安全shuffle可以增加数据的难以猜测性降低敏感信息泄露和数据被攻击者窃取的风险。它在保护数据隐私和确保数据传输安全方面发挥着重要的作用。 隐私保护 本地差分隐私分布式差分隐私 通过安全聚合实现分布式差分隐私通过安全shuffling实现分布式差分隐私 混合差分隐私 通过允许多种模型共存与纯本地DP或纯中央DP机制相比混合模型机制可以在给定用户群中实现更高的实用性 可验证性 零知识证明ZKPs 零知识证明Zero-Knowledge Proof是一种密码学协议用于验证某个陈述的真实性而不需要向验证方透露除必要信息之外的任何额外知识。在零知识证明中证明者能够向验证者证明某个陈述为真但无需向验证者透露关于该陈述如何成立的任何具体信息。零知识证明的目标是确保证明的有效性同时最大限度地保护证明所涉及的隐私和机密信息。它通过利用一系列巧妙的互动过程在不透露实际的解决方案或答案的情况下向验证者证明陈述的正确性。零知识证明的基本思想是证明者可以通过进行一系列互动来向验证者证明某个陈述的真实性。这些互动通常会涉及一些具有特定性质的数学计算使得验证者能够在互动的过程中逐步确信陈述的真实性而无需获得陈述的具体解决方案。使用零知识证明可以实现一系列应用如身份验证、密码学协议、匿名交易等。其中的关键点是确保在证明过程中保护个人隐私和敏感信息同时能够有效证明某个陈述的真实性。总之零知识证明是一种在证明某个陈述的真实性时最大限度保护隐私和机密信息的密码学协议。通过巧妙的互动过程证明者能够让验证者相信陈述的真实性而无需透露陈述的解决方案或答案。 可信执行环境中的远程证明 主要作用 证明服务器已经进行了聚合shuffle或者添加差分隐私的操作。证明client输入的数据符合某项规范
针对客户端恶意操作的保护 量化联邦学习模型对特定攻击的效果 最常用的量化方法是使用特定数据集模拟对模型的攻击然后评估模型的效果该数据集与实际中预期的数据集类似。如果代理数据集确实与最终用户数据相似那么这就可以量化模型的攻击敏感性。通过这种方法可以确定数据集对模型的影响效果。 中心式差分隐私 中心式差分隐私Centralized Differential Privacy是一种隐私保护技术主要应用于中心化的数据收集和分析场景中。它的目标是在保护用户隐私的前提下对数据进行统计分析。中心式差分隐私通过在数据发布之前对原始数据进行噪声添加以保护个体的隐私信息。具体来说中心式差分隐私会对数据添加一定的噪声使得在数据集中的个体的隐私信息不易被恢复或追溯。同时通过在多次查询中添加不同的噪声可以进一步加强隐私保护。在中心式差分隐私中数据的收集和分析是由数据中心或第三方服务提供商进行的。这些服务提供商负责对用户数据进行汇总和分析并确保隐私数据的安全性和保密性。中心式差分隐私技术可以应用于各种场景如健康数据分析、社交网络分析、市场调查等。通过采用中心式差分隐私技术可以在保护用户隐私的同时为数据分析提供可信的统计结果。非均匀抽样对隐私保护的影响客户端随机数的来源安全如何评估差分隐私的实现效果 模型迭代过程中的安全问题 模型迭代即每轮训练后模型的更新版本被假定为对系统中的多个参与者可见包括选择参与该轮的服务器和客户端。为了向客户端隐藏迭代每个客户端都可以在提供保密特性的TEE中运行其联邦学习的本地部分服务器将验证预期的联邦学习代码是否在TEE中运行依赖于TEE的认证和完整性功能然后将加密的模型迭代结果传输到设备以便它只能在TEE中解密。最后模型更新将在返回到服务器之前在TEE内部加密使用仅在安全环境内部和服务器上已知的密钥。使用TEE来进行训练/发布发布是指服务器的操作也在TEE环境中运行不过目前终端算力较弱TEE成本过高。使用MPC技术密钥由分析师和客户端持有或者可信第三方采用同态加密加密模型但是MPC需要较高的硬件条件。 动态数据库或时间序列数据的差分隐私 随时间变化的收集到的一系列数据也存在隐私泄露的风险。 防止模型被滥用 在联邦学习中防止模型被滥用是一个重要的问题。由于联邦学习涉及多个参与方共同训练模型担心有恶意参与者滥用模型或操纵结果是合理的。以下是几种防止模型被滥用的方法 访问控制和身份验证在联邦学习中采取适当的访问控制措施确保只有被授权的参与者才能访问模型和数据。通过使用身份验证和授权机制只有合法的参与者才有权参与模型的训练和评估过程。安全聚合和加密计算采用安全聚合机制确保在模型训练过程中每个参与者的贡献被正确聚合而不暴露个体数据。使用加密计算技术可以在不泄露原始数据的情况下进行模型训练和推断从而保护数据隐私。模型审核和监控对参与者提交的模型进行审核和监控以确保模型没有被篡改或植入恶意代码。监控模型在运行时的行为和输出及时发现异常或不当使用的情况。对抗性训练和鲁棒性检测为了防止模型被针对性的攻击和滥用可以采用对抗性训练方法使模型对抗各种攻击。同时进行鲁棒性检测以确保模型在面对攻击时仍能保持良好的性能。泛化能力和差分隐私设计具有良好泛化能力的模型能够在未知数据上具有较好的表现而不是过度拟合个体数据。另外采用差分隐私技术向模型训练中引入随机噪声以保护个体数据的隐私。法律和合规性考虑应当遵守相关法律法规和隐私政策将合规性作为设计和实施联邦学习系统的基本原则并确保数据使用符合法律和道德要求。 针对服务器恶意操作的保护 对于联邦学习中的服务器保护免受恶意操作的影响也是非常重要的。以下是一些针对服务器恶意操作的保护措施特别适用于联邦学习环境 安全联盟选择在建立联邦学习联盟时选择可信赖和安全的参与方。验证参与方的身份和可信度并确保其具备适当的安全措施和良好的安全记录。安全通信采用加密通信协议来保护联邦学习系统中的数据传输。例如使用安全套接层SSL协议或传输层安全TLS协议来加密数据传输并防止数据在传输过程中被拦截或篡改。隐私保护在联邦学习中参与方通常只分享模型的更新参数而不是原始数据。确保在共享参数时对其进行适当的匿名化和去标识化处理以保护用户的隐私。安全聚合在联邦学习中参与方将在服务器上进行模型参数的聚合。确保在聚合期间对数据进行安全存储和处理以防止未经授权的访问或篡改。安全审计和监控建立服务器日志记录和监控机制以跟踪和检测恶意操作。定期审查服务器活动日志并设置警报系统来及时发现可疑活动。异常检测和入侵防御使用入侵检测系统IDS和入侵防御系统IPS等工具监测和识别潜在的恶意操作并采取适当的措施如阻止或隔离恶意行为。安全更新和漏洞管理定期更新和修补服务器上的软件、应用程序和操作系统以防止已知漏洞被利用。执行漏洞管理流程及时处理新发现的漏洞。应急响应计划建立用于应对可能的安全事件和恶意操作的应急响应计划。准备好应急响应团队定义响应流程并进行演练和测试。 目前方案的缺点 1.本地差分隐私LDP如果要实现与传统的中心式差分隐私效果相同的话即由中央服务器进行加密或者可信第三方加密操作就需要相对较大的用户群或较大的保密参数选择意思为隐私级别较低2.混合差分隐私HDP 目前的研究都是基于独立同分布的。3.shuffle模型 shuffle模型需要中介或可信第三方来执行shuffle操作。4.安全聚合模型 该协议比较适合FL是为FL量身定制的但是也存在一些局限性。 它假设服务器并不完全是恶意的允许服务器查看聚合后的结果聚合效率不高无法检测客户端输入格式是否正确 分布式差分隐私 可以使用本节刚开始介绍的分布式差分隐私来保证FL的安全性在安全聚合协议、差分隐私的实现方法、用户掉线等问题还存在诸多研究的空间。 保证用户在训练子模型时的选择隐私性 客户将在参与时下载完整模型使用与他们相关的子模型然后提交涵盖整个模型参数的集合的模型更新即除了与相关子模型相对应的条目中其余所有地方都为零。这样我们需要在保持客户的子模型选择私密性的同时实现沟通效率高的子模型联合学习即不能让服务器观察到客户端选择了哪个子模型。
用户体验 用户隐私需求 行为研究 用户偏好用户行为 鲁棒性 ·对模型的攻击 模型更新中毒 拜占庭攻击 拜占庭用户可以给服务器发送任意值而非发送本地更新后的模型。这会导致全局模型在局部最优处收敛甚至会导致模型发散。可以采用基于中值的或者其他的等更加健壮的聚合方法来减弱这类攻击。另一种模型更新中毒防御机制使用冗余和洗牌数据来减轻拜占庭式攻击。 针对性模型更新攻击 攻击者控制一小部分客户端比如10%通过将毒药数据发送给服务器从而给模型留下后门。中毒模型更新的外观和行为在很大程度上类似于没有受到目标攻击的模型这使得单单是检测后门的存在就十分困难。此外由于对手的目标是只影响少量数据点的分类结果同时保持全局学习模型的整体准确性因此针对非目标攻击的防御通常无法解决目标攻击。现有的针对后门攻击的防御要么需要仔细检查训练数据、访问一组类似分布式数据的保留集要么需要完全控制服务器上的训练过程而在联邦学习设置中这些都不可能实现。未来工作可以尝试的一个有趣途径是探索使用零知识证明来确保用户提交的更新属性是预先确定的属性。基于硬件认证的解决方案也可以考虑。例如用户的手机可能有能力证明共享的模型更新是使用手机摄像头生成的图像正确计算的。 数据中毒 数据中毒是一种比模型更新中毒更具潜在限制性的攻击类型。在这种模式下对手不能直接损坏到发送到中心节点的信息。相反对手只能通过替换数据的标签或特定特征来操作客户端数据。与模型更新中毒一样数据中毒可以分为针对攻击和非针对攻击。数据中毒会导致模型更新中毒在联邦学习中即便只是检测有毒数据的存在不要求对其纠正或用有毒数据标识被入侵的客户端也是一项挑战。当该数据中毒攻击企图安装后门时该困难还将进一步增大因为就算是全局训练精度或单用户训练精度这些性能指标也不足以探测出后门的存在。相比模型更新中毒数据中毒可能实现起来非常简单可以执行数据中毒攻击的客户端的最大数量可能比能执行模型更新中毒攻击的数量高得多。 推理阶段的攻击 攻击者可以通过观察模型黑盒模型或者直接获取模型参数白盒模型来定制化数据使得模型输出错误的结果对抗性训练adversarial training被证明应对这种攻击是有效的。但是将对抗性学习方法引入到联邦学习环境中的需求引发了许多新的问题。例如对抗训练在获得显著的稳健性之前可能需要许多时间。然而在联邦式学习尤其是跨设备的联邦式学习中每一种训练样本的学习次数是有限的。一般来说对抗性训练主要是针对IID数据开发的尚不清楚它在非IID环境下的表现。其次生成对抗性样本相对昂贵。虽然一些对抗性训练框架试图通过重用对抗性样本来最小化这一成本但这些方法仍然需要大量客户端计算资源。这在算力较弱的客户端中可能存在问题在这种情况下对抗性样本生成可能会加剧内存或电量的使用。目前想要同时解决推理阶段的攻击和训练阶段的攻击更复杂的解决方案可能是将训练时间防御(如健壮聚合或差异隐私)与对抗训练结合起来 非恶意的意外错误 客户端的不稳定性 客户端在训练过程中出现故障目前看来使用安全聚合的方式实现FL时当大量设备掉线时可能存在影响隐私风险。这其中降低故障的方法就是提高安全聚合的效率这样可以降低时间窗口。另一种方法是开发一种异步的安全聚合方法还有一种想法是每次采用多轮训练的参数这样掉队的客户端可能会在后续聚合中。 数据管道故障 数据管道存在于客户端主要用于将原始数据处理为适应FL训练的训练数据此管道中的错误或意外操作可能会极大地改变联邦学习过程。 保护隐私和鲁棒性之间存在矛盾关系 模型参数带噪失真由于网络不稳定或其他原因 即使不存在攻击者发送到服务器的模型更新也可能由于网络和体系结构因素而失真。这在跨客户端设置中尤其可能在这些设置中单独的实体控制服务器、客户端和网络。由于客户端数据可能会发生类似的失真。即使客户端上的数据不是故意恶意的它也可能具有噪声特征。无论是由于网络因素还是噪声数据上述的污染都可能损害联邦学习过程的收敛性。一种缓解策略将是使用防御措施来对抗模型更新和数据中毒攻击。鉴于目前在联邦环境下缺乏明显的健壮训练方法这可能不是一个实际的选择。即使存在这样的技术它们对于许多联邦学习应用来说可能过于计算密集。这里的开放性工作涉及开发对小到中等水平的噪声具有鲁棒性的训练方法。例如标准联邦训练方法如联邦平均法对少量噪声具有内在的鲁棒性。
公平性
机器学习模型通常会表现出令人惊讶和意想不到的行为。 当此类行为导致对用户产生不良影响的模式时我们可能会根据一些标准将模型归类为“不公平”。 训练数据存在偏差 机器学习模型中不公平的一个驱动因素是训练数据中的偏差包括认知抽样报告和确认偏差。一种常见的场景是训练数据中少数民族或边缘化社会群体的代表不足因此学习者在训练期间对这些群体的加权较小[222]导致对这些群体成员的预测质量较差这可能会引发一些种族歧视或者其他的问题。由于联邦学习中的数据是非独立同分布的那么这种类型的偏差存在十分普遍。对于联邦学习研究和机器学习研究而言调查可识别或减轻数据生成过程中偏差的程度是一个关键问题。同样尽管有限的先前研究已经证明了在联邦环境中识别和纠正已经收集的数据中的偏差的方法但仍需要在这一领域进行进一步的研究。 确保模型部署的公平性 明确地使用属性无关的方法来确保公平的模型性能对于未来的联邦学习研究是一个开放的机会尤其重要的是随着联邦学习达到成熟当看到更多的采用真实的用户群进行部署过程中不需要了解用户的敏感身份。 其他 利用联邦学习来提高模型多样性。联邦学习为公平研究者提供了独特的机会和挑战。
总结
联邦学习使分布式客户端设备可以协作学习共享的预测模型同时将所有训练数据保留在设备上去除了进行机器学习的能力与数据需要存储在云中的条件。近年来无论是在工业界还是在学术界该主题的兴趣都呈爆炸性增长。大型技术公司已经在生产中部署了联邦学习并且成立了许多初创公司目的是使用联邦学习来解决各个行业中的隐私和数据收集挑战。此外在这项工作中调查的论文的广泛性表明联邦学习正在广泛的跨学科领域中获得关注从机器学习到优化到信息理论和统计再到密码学公平性和隐私性。
