网站seo站长工具,网站建设品牌推广seo,所有网站打不开,泰格豪雅手表官方网站前言 现有的头部姿势估计主要集中在具有预先检测到的正面头部的单个人#xff0c;这依赖于单独训练的面部检测器#xff0c;不能很好地泛化到完整的视点。在本文中#xff0c;作者关注全范围 MPHPE 问题#xff0c;并提出了一个名为 DirectMHP 的直接端到端简单基线#x… 前言 现有的头部姿势估计主要集中在具有预先检测到的正面头部的单个人这依赖于单独训练的面部检测器不能很好地泛化到完整的视点。在本文中作者关注全范围 MPHPE 问题并提出了一个名为 DirectMHP 的直接端到端简单基线通过多头的联合回归位置和方向设计了一种新颖的端到端可训练单级网络架构以解决 MPHPE 问题。这种灵活的设计可以接受任意姿势表示同时可以隐含地从更多环境中获益以提高 HPE 精度同时保持头部检测性能。Transformer、目标检测、语义分割交流群欢迎关注公众号CV技术指南专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。计算机视觉入门1v3辅导班论文https://arxiv.org/pdf/2301.13817.pdf代码https://github.com/hnuzhy/DirectMHP论文出发点目前两个最广泛使用的 HPE 数据集BIWI和300W-LP仅包含窄范围偏航角-99°99°的头部姿势标签。现有 HPE 方法的性能在这些基准上趋于饱和。然而覆盖全范围偏航角−180°、180°的 HPE 方法因此同样具有重要的应用价值。作者认为目前的两阶段 HPE 方法存在以下两个缺点1人脸/头部检测和方向估计的两阶段模型不能端到端地训练这使得它不紧凑且效率低下(2) 单独的阶段无法整合和利用整个人体和周围背景的信息因此这些模型在野外应用时对挑战性条件不稳健。创新思路由于多人头部姿势估计 (MPHPE) 任务没有专门的公共数据集。因此本文首先分别构建两个 2D 全范围 MPHPE 数据集 AGORA-HPE 和 CMUHPE。然后本文提出了一种新颖的单级端到端网络结构 DirectMHP它可以直接预测出现在一张图像中的所有人类头部的全方位姿势。该方法通过共享特征实现联合头部检测和姿势估计。同时将头部姿势作为相邻属性集成到典型对象预测中支持任意姿势表示例如欧拉角。方法Benchmarks Construction1AGORA-HPE首先通过封闭形式的解决方案从具有精确正面视图和预定义相机参数Cref的通用头部模型Href计算相似变换矩阵Mc。在Hreal和Href中精心选择N0对角地标进行对齐。然后使用Mc松散地围绕每个头部定义一个变换后的3D半球并通过具有真实相机参数Creal的2D投影生成其边界框以获得包含背景和整个头部的区域。最后为了提取头部方向估计从相机世界Ccam到现实世界Creal的变换矩阵 Mr。Mr计算如下然后按照数据集300W-LP和BIWI按照俯仰-偏航-滚动顺序拆分出三个欧拉角。丢弃掉可能没有至少一个有效头部姿势标签的图像最终生成的 AGORA-HPE 基准分别包含1,070和14,408个图像用于验证和训练集。2CMU-HPECMU Panoptic Dataset由一个大规模的多视图系统收集。它的场景主要集中在半球形设备中的一个人或互动的人身上。其标签包括 31 个同步高清视频流中多人的 3D 身体姿势、手部关键点和面部特征。它还提供来自31个视图的校准相机参数Creal。典型的采样时刻快照如下图所示类似于构建AGORA-HPE的过程本文构建了CMU-HPE它分别有16,216和15,718个图像用于验证和训练集。如下图本文构建的两个数据集的俯仰角和横滚角基本上服从正态分布。提出的两个全范围数据集自然包含比300W-LPAFLW2000和BIWI更多的人脸隐形头。如下图所示除了那些奇特的头部后仰外普通的正面脸往往与自遮挡、隐现遮挡或异常角度等复杂情况并存。DirectMHP在MPHPE方法中训练了一个密集的检测网络来直接预测一组头部对象其中包含头部边界框集和相应的头部姿势同时设置并联合头部检测和姿势估计之间的内在相关性。然后将头部姿势视为附加的头部属性并将其与其头部位置连接起来以构建头部对象的联合表示在统一框架中使用联合预测将这两个任务集成在一起。一方面一个合适的头部边界框具有强烈的局部特征例如眼睛、耳朵和下巴和弱的全局特征例如周围背景和解剖位置用于其头部方向估计。因此本文将两者绑定到一个嵌入中以使网络能够学习它们的内在关系。Network Architecture Design网络结构如下图所示。采用目标检测架构YOLOv5作为backbone从一张输入图像I中提取特征并生成预测网格。在训练期间使用目标网格G来监督损失函数L。在推理中应用对预测的头部对象进行非最大抑制 (NMS)以获得最终边界框集和相关头部姿势集。Multi-Loss Optimization计算总训练损失计算三个损失分量如下Splitting: Offline Inference训练结束后需要对预测对象集进行处理。首先使用非极大值抑制 (NMS) 来过滤掉误报和冗余边界框。通过计算每个预测对象的置信度不需要修改获得正头部边界框的常见NMS步骤。结果DIRECTMHP-M与在300W-LP 数据集上训练的方法的比较红色表示最好的结果蓝色表示第二好的结果同理在AGORA-HPE 基准验证集的性能比较类似的在CMU-HPE 基准验证集的性能比较来自 COCO val-set 的一些野外图像的可视化如下图所示。第二行和第三行分别是比较6DRepNet和本文方法的例子。使用6DRepNet估计的头部样本有明显的不准确黄色圈出。欢迎关注公众号CV技术指南专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。【技术文档】《从零搭建pytorch模型教程》122页PDF下载QQ交流群444129970。群内有大佬负责解答大家的日常学习、科研、代码问题。模型部署交流群732145323。用于计算机视觉方面的模型部署、高性能计算、优化加速、技术学习等方面的交流。用于超大图像的训练策略Patch Gradient Descent新方案从错误中学习点云分割中的自我规范化层次语义表示ECCV2022 | 重新思考单阶段3D目标检测中的IoU优化目标检测模型的评价标准总结Vision Transformer和MLP-Mixer联系和对比Visual Attention NetworkTensorRT教程一初次介绍TensorRTTensorRT教程二TensorRT进阶介绍从零搭建Pytorch模型教程一数据读取从零搭建Pytorch模型教程二搭建网络从零搭建Pytorch模型教程三搭建Transformer网络从零搭建Pytorch模型教程四编写训练过程--参数解析从零搭建Pytorch模型教程五编写训练过程--一些基本的配置从零搭建Pytorch模型教程六编写训练过程和推理过程从零搭建Pytorch模型教程七单机多卡和多机多卡训练从零搭建pytorch模型教程八实践部分一微调、冻结网络从零搭建pytorch模型教程八实践部分二目标检测数据集格式转换【技术文档】《从零搭建pytorch模型教程》122页PDF下载入门必读系列十五神经网络不work的原因总结入门必读系列十四CV论文常见英语单词总结入门必读系列十三高效阅读论文的方法入门必读系列十二池化各要点与各方法总结入门必读系列十一Dropout原理解析入门必读系列十warmup及各主流框架实现差异入门必读系列九彻底理解神经网络入门必读系列八优化器的选择入门必读系列七BatchSize对神经网络训练的影响入门必读系列六神经网络中的归一化方法总结入门必读系列五如何选择合适的初始化方法入门必读系列四Transformer模型入门必读系列三轻量化模型入门必读系列二CNN经典模型入门必读系列一欠拟合与过拟合总结
