贵州网站制作公司,制作只有一张图片的网站,央企网站群建设中标公告,怎么看一个网站做外链stanford宋舒然团队
宋舒然是斯坦福大学的助理教授。在此之前#xff0c;他曾是哥伦比亚大学的助理教授#xff0c;是Columbia Artificial Intelligence and Robotics Lab的负责人。他的研究聚焦于计算机视觉和机器人技术。本科毕业于香港科技大学。
主题相关作品 diffusio…stanford宋舒然团队
宋舒然是斯坦福大学的助理教授。在此之前他曾是哥伦比亚大学的助理教授是Columbia Artificial Intelligence and Robotics Lab的负责人。他的研究聚焦于计算机视觉和机器人技术。本科毕业于香港科技大学。
主题相关作品 diffusion policy
diffusion policy
扩散策略是一种生成机器人行为的新方法它将机器人的视觉运动策略visuomotor policy表示为条件去噪扩散过程conditional denoising diffusion process。在 4 个不同的机器人操纵基准中的 15 个不同任务中对 Diffusion Policy 进行了基准测试发现它平均提高了 46.9%。Diffusion Policy 可以学习动作分布得分函数的梯度gradient of the action-distribution score并在推理过程中通过一系列随机Langevin动力学步骤对该梯度场进行迭代优化。扩散公式在用于机器人策略时具有强大的优势包括可以优雅地处理多模态动作分布、适用于高维动作空间以及表现出令人印象深刻的训练稳定性。本文提出了一系列关键技术贡献包括递减视界控制receding horizon controlMPC控制、视觉调节visual conditioning和时间序列扩散transformer。
之前的研究试图通过图 1 a)显示策略(高斯混合、量化动作的分类表示法)或者图 1 b从显式转换为隐式以更好地捕捉多模态分布。本方法通过引入一种新形式的机器人视觉运动策略来应对这一挑战即通过 “机器人动作空间上的条件去噪扩散过程”Diffusion Policy来生成行为。在这种方法中策略不是直接输出动作而是根据视觉观察结果在 K 次去噪迭代中推导出动作分数梯度图 1 c。
扩散模型的几个关键特性 Expressing multimodal action distributions。通过学习动作得分函数的梯度并在此梯度场上执行随机Langevin动力学采样扩散策略可以表达任意可归一化分布其中包括多模态动作分布。 High-dimensional output space。扩散模型在高维输出空间中具有卓越的可扩展性。这一特性允许策略联合推断一系列未来行动而不是单步行动这对于鼓励时间行动一致性和避免短视的规划至关重要。 稳定的训练。训练基于能量的策略通常需要负采样来估计一个难以处理的归一化常数而这会导致训练的不稳定性。扩散策略通过学习能量函数的梯度绕过了这一要求从而在保持分布表达性的同时实现了稳定的训练。
Method
将视觉运动机器人策略制定为去噪扩散概率模型DDPMs。关键是扩散策略能够表达复杂的多模态动作分布并具有稳定的训练行为–几乎不需要针对特定任务进行超参数调整。
Denoising Diffusion Probabilistic Models
DDPM 是一类生成模型其输出生成被模拟为一个去噪过程通常称为随机Langevin动力学。
从高斯噪声采样的 x K x^K xK开始DDPM 执行 K 次迭代去噪产生一系列噪声水平递减的中间动作 x k , x k − 1 . . . x 0 x^k,x^{k-1}...x^0 xk,xk−1...x0直到形成所需的无噪声输出 x 0 x^0 x0。该过程遵循公式: 其中 ε θ ε_θ εθ 是噪声预测网络将通过学习进行优化 N ( 0 , σ 2 ) N(0, σ^2) N(0,σ2)是每次迭代时添加的高斯噪声。上述公式 1 也可以解释为一个单一的噪声梯度下降步骤 其中噪声预测网络 ε θ ( x , k ) ε_θ (x, k) εθ(x,k) 有效地预测了梯度场 ∇E(x)γ 是学习率。作为迭代步数 k 的函数α、γ、σ 的选择也称为噪声调度(noise schedule)可以解释为梯度赋值过程中的学习率调度。事实证明α 略小于 1 可以提高稳定性。
DDPM Training
训练过程的第一步是从数据集中随机抽取未经修改的样本 x 0 x^0 x0。对于每个样本我们随机选择一个去噪迭代 k然后为迭代 k 采样一个具有适当方差的随机噪声 ε k ε^k εk。噪声预测网络需要从添加了噪声的数据样本中预测噪声。 使用均方误差MSE, Mean Squared Error作为损失函数来衡量网络的预测值 ε θ ( x 0 ε k , k ) ε_θ(x^0ε^k, k) εθ(x0εk,k) 和实际噪声 ε k ε^k εk之间的差异。
Diffusion for Visuomotor Policy Learning DDPM 通常用于生成图像x 是一幅图像使用 DDPM 来学习机器人视觉运动策略需要对公式进行两大修改 1. 将输出 x 改为代表机器人动作。2. 使去噪过程以输入观测 O t O_t Ot 为条件。图 2 显示了相关概述。
闭环行动序列预测有效的行动表述应鼓励长视距规划的时间一致性和平稳性同时允许对意外观察做出迅速反应。为此在重新规划之前会在固定时间内使用扩散模型生成的行动序列预测。具体来说在时间步长 t 处策略将最新的 T o T_o To 步观测数据 O t O_t Ot 作为输入并预测出 T p T_p Tp步行动其中 T a T_a Ta 步行动将在机器人身上执行无需重新规划。在这里我们将 T o T_o To 定义为观察期 T p T_p Tp 定义为行动预测期 T a T_a Ta 定义为行动执行期。这样既能保证行动的时间一致性又能保持反应灵敏。我们还使用receding horizon control通过使用之前的行动序列预测来warm-starting下一个推理设置从而进一步提高行动的平滑性。
视觉观测条件我们使用 DDPM 来近似条件分布 p ( A t ∣ O t ) p(A_t |O_t ) p(At∣Ot) 而不是 联合分布 p ( A t , O t ) p(A_t , O_t ) p(At,Ot) 。这种表述方式使模型能够根据观察结果预测行动而无需付出推断未来状态的代价从而加快了扩散过程提高了生成行动的准确性。为了捕捉条件分布 p ( A t ∣ O t ) p(A_t |O_t ) p(At∣Ot)我们将公式 1 修改为: 将公式 3 中的训练损失修改为 从去噪过程的输出中排除观测特征 Ot 能显著提高推理速度更好地适应实时控制。这也有助于使视觉编码器的端到端训练。
Key Design Decisions
Network Architecture Options
第一个设计决策是 ε θ ε_θ εθ 的神经网络架构选择。研究了两种常见的网络架构类型CNNs和Transformers并比较它们的性能和训练特性。 CNN-based Diffusion Policy。采用Janner et al. 的1D temporal CNN并做了一些修改:首先我们只对条件分布 p ( A t ∣ O t ) p(A_t |O_t) p(At∣Ot)进行建模通过FiLM(Feature-wise Linear Modulation) 和去噪迭代k来调节观察特征 O t O_t Ot上的动作生成过程如图2 (b)所示。其次我们只预测动作轨迹而不预测concat的观察动作轨迹。第三我们删除了基于绘画的目标状态条件作用因为它与我们利用超前预测视界的框架不兼容。然而目标条件作用仍然可能与用于观察的相同的FiLM条件作用方法共用。实际上基于 CNN 的骨干网络在大多数任务中都能很好地运行无需进行过多的超参数调整。然而当所需的动作序列随时间发生快速而剧烈的变化时如速度指令动作空间它的表现就会很差这可能是由于时间卷积偏好低频信号的归纳偏差 。
Time-series diffusion transformer。为了减少CNN模型Tancik et al.中的过平滑效应我们引入了一种新的基于transformer的DDPM该模型采用minGPT Shafiullah et al.的变压器架构进行动作预测。带有噪声 A t k A^k_t Atk的动作作为transformer解码器块的输入tokens传入扩散迭代k的正弦嵌入作为第一个token。通过共享MLP将观测值 O t O_t Ot转化为观测值嵌入序列作为输入特征传递到transformer解码器堆栈中。“梯度” ε θ ( O t , A t k , k ) ε_θ (O_t,A_t^k,k) εθ(Ot,Atk,k)由解码器堆栈的每个相应输出tokens预测。在基于状态的实验中大多数表现最佳的策略都是通过transformer主干实现的尤其是在任务复杂度和行动变化率较高的情况下。然而我们发现transformer对超参数更为敏感。未来有可能通过改进transformer训练技术或扩大数据规模来解决。
Recommendations。一般建议从基于 CNN 的扩散策略实施开始作为新任务的首次尝试。如果由于任务复杂或动作变化率高而导致性能低下则可以使用Time-series diffusion transformer来提高性能但需要付出额外的tuning代价。
Visual Encoder
视觉编码器将原始图像序列映射为潜在嵌入 O t O_t Ot并使用扩散策略进行端到端训练。不同的摄像机视角使用不同的编码器每个时间步中的图像独立编码然后串联形成 O t O_t Ot。我们使用标准 ResNet-18无预训练作为编码器并做了以下修改 1) 用spatial softmax pooling取代全局平均池化global average pooling以保持空间信息。2) 用 GroupNorm 取代 BatchNorm 以获得稳定的训练。当归一化层与指数移动平均Exponential Moving Average结合使用时这一点非常重要 常用于 DDPMs。
Noise Schedule
噪声表由 σ、α、γ 和加性高斯噪声 ε k ε^k εk 定义是 k 的函数Ho 等人2020 年、Nichol 和 Dhariwal2021 年对噪声表进行了积极研究。基本噪声表控制着扩散策略捕捉动作信号高频和低频特征的程度。在我们的控制任务中我们根据经验发现iDDPM中提出的平方余弦时间表Square Cosine Schedule最适合我们的任务。
Accelerating Inference for Real-time Control
我们使用扩散过程作为机器人的策略因此对于闭环实时控制来说拥有快速的推理速度至关重要。Song 等人2021 年提出的去噪扩散隐含模型DDIM方法将训练和推理中的去噪迭代次数分离开来从而允许算法使用较少的推理迭代次数来加快推理过程。在我们的实际实验中使用 100 次训练迭代和 10 次推理迭代的 DDIM可以在 Nvidia 3080 GPU 上实现 0.1 秒的推理延迟。
Intriguing Properties of Diffusion Policy
Model Multi-Modal Action Distributions
扩散策略的多模态行为产生有两个来源——潜在的随机抽样过程和随机初始化。在随机朗之万动力学中在每个采样过程开始时从标准高斯中提取初始样本 A t K A^K_t AtK这有助于为最终动作预测 A t 0 A^0_t At0指定不同可能的收敛盆地。然后该动作进一步随机优化在大量迭代中添加高斯扰动这使得单个动作样本能够收敛并在不同的多模态动作盆地之间移动。图3显示了平面推送任务(Push T)中扩散策略的多模态行为示例没有对测试场景进行明确演示。 Synergy with Position Control
我们发现具有位置控制动作空间的扩散策略始终优于具有速度控制的扩散策略如图4所示。这一令人惊讶的结果与最近大多数依赖于速度控制的行为克隆工作形成了鲜明对比。 我们推测这种差异有两个主要原因:首先动作多模态在位置控制模式下比在使用速度控制模式下更为明显。由于扩散策略比现有方法更好地表达了行动多模态我们推测它本质上比现有方法受这一缺陷的影响更小。此外位置控制比速度控制受复合误差效应的影响更小因此更适合于动作序列预测(如下节所述)。因此扩散策略既不受位置控制的主要缺点的影响又能更好地利用位置控制的优点。
Benefits of Action-Sequence Prediction
由于难以从高维输出空间中有效采样大多数策略学习方法往往避免了序列预测。例如IBC在对具有非平滑能量landscape的高维动作空间进行有效采样时会遇到困难。类似地BCRNNand和BET也难以指定动作分布中存在的模式数(需要gmm或k-means步长)。相反DDPM可以很好地扩展输出维度而不会牺牲模型的表达性这在许多图像生成应用程序中得到了证明。利用这种能力扩散策略以高维动作序列的形式表示动作它自然地解决了以下问题:
时间动作一致性:以图3为例。为了将T块从底部推入目标策略可以从左侧或右侧绕过T块。然而假设序列中的每个动作都被预测为独立的多模态分布(如在BCRNNand BET中所做的那样)。在这种情况下连续的动作可以从不同的模式中绘制出来导致在两个有效轨迹之间交替的抖动动作。对空闲动作的鲁棒性:当演示暂停时会发生空闲动作并导致一系列相同的位置动作或接近零速度的动作。它在远程操作中很常见像液体倾倒这样的任务有时就需要。然而单步策略很容易过度适应这种暂停行为。例如BC-RNN和IBC经常在现实世界的实验中陷入困境因为没有明确地从训练中移除空闲动作。
