asp企业网站开发技术,信息门户网站怎么做,做介绍英文网站,接网站建设的单子papercodehttps://arxiv.org/pdf/2210.10542.pdfhttps://europe.naverlabs.com/research/computer-vision/posegpt/
方法 将动作压缩到离散空间。使用GPT类的模型预测未来动作的离散索引。使用解码器解码动作得到输出。 效果 提出的方法在HumanAct12#xff08;一个标准但小规…papercodehttps://arxiv.org/pdf/2210.10542.pdfhttps://europe.naverlabs.com/research/computer-vision/posegpt/
方法 将动作压缩到离散空间。使用GPT类的模型预测未来动作的离散索引。使用解码器解码动作得到输出。 效果 提出的方法在HumanAct12一个标准但小规模的数据集以及BABEL最近的大规模MoCap数据集和GRAB人-物体交互数据集上取得了最先进的结果。
方法总览 PoseGPT 生成一个人体运动序列以动作标签、持续时间 T T T 为条件(观察到的过去人类运动为可选条件。类似GPT[54]的模型G按顺序预测离散的潜在指数这些指数使用解码器D解码为生成的人体运动。当也对过去的人体运动进行调节时输入的人体运动用 E 编码并使用 q ( ⋅ ) q(\cdot) q(⋅) 量化到离散潜在空间中。 实现细节
VQVAE 潜在空间的离散性和压缩性使类似 GPT 的模型能够专注于长距离信号因为它消除了输入信号中的低级冗余。编码器 E 将人体运动 p 映射到潜在表示 z ^ \hat z z^然后使用码本 Z \mathcal Z Z 对其进行量化。解码器 D 从量化的潜在序列 z q z_q zq 重建人体运动 p ^ \hat p p^。
Attention 屏蔽注意力图 :在编码器中屏蔽注意力图会导致模型可以根据过去的观察结果进行调节。在解码器中屏蔽注意力图也允许模型进行在线预测。
未来运动预测 在离散潜在空间中自回归转换器模型 G 根据前一个潜在指数预测下一个潜在指数。我们以人体动作标签、序列持续时间和观察到的运动为条件。
结果
