做经营网站怎么赚钱,大型网站模板,网站备案新增域名,许昌住房建设局的网站一点点 cv 经验 1#xff1a;cv方向、模型评估、输入尺寸、目标检测器设计 cv 方向Pytorch数据集划分 模型评估误差偏差方差噪声 输入尺寸方法一#xff1a;让数据适应模型方法二#xff1a;修改模型适应数据方法三#xff1a;划分Patch#xff0c;分别处理 目标检测器结构… 一点点 cv 经验 1cv方向、模型评估、输入尺寸、目标检测器设计 cv 方向Pytorch数据集划分 模型评估误差偏差方差噪声 输入尺寸方法一让数据适应模型方法二修改模型适应数据方法三划分Patch分别处理 目标检测器结构设计思路从哪几个方面分析目标检测器YOLO 系列Anchor-Based cv 方向
cv 各个方向https://github.com/amusi/Computer-Vision-Tasks-Survey
CV的研究大致分为以下几个方向
二维:
图像图像分类、图像分割、目标检测、人脸识别、文字识别、姿态估计、异常检测、图像检索、图像增强、风格迁移、图像生成等等视频视频分类、目标跟踪、重识别、行为识别、视频目标分割、视频内容分析
三维
三维目标检测、位姿估计点云生成深度估计三维重建物、场景、人视觉重定位视觉SLAM
Pytorch 数据集划分
import os # 导入 os 模块用于处理文件和目录路径
import random # 导入 random 模块用于随机化数据
import shutil # 导入 shutil 模块用于文件操作例如复制文件# 定义函数将图像列表复制到指定子目录下
def copy_file(img_list, target_dir, setnametrain): # 没有提供setname参数选择那么函数将使用默认值“train”img_dir os.path.join(target_dir, setname) # 目标子目录路径os.makedirs(img_dir, exist_okTrue) # 创建目标子目录for p in img_list: # 遍历图像列表shutil.copy(p, img_dir) # 复制图像到目标子目录print(f{setname} dataset: copy {len(img_list)} images to {img_dir}) # 打印复制信息# 主程序入口
if __name__ __main__:# 指定花朵图像所在的目录img_dir rE:\data\flowers_data\jpg# 获取指定目录下所有图像文件的路径列表img_list [os.path.join(img_dir, name) for name in os.listdir(img_dir)]random.seed(10086) # 设置随机种子以确保每次运行时随机结果的一致性random.shuffle(img_list) # 随机打乱图像路径列表# 定义训练集和验证集所占比例train_ratio 0.8valid_ratio 0.2# 计算总图像数量和训练集图像数量num_img len(img_list)num_train int(num_img * train_ratio)num_valid num_img - num_train# 获取训练集和验证集图像路径列表train_list img_list[: num_train]valid_list img_list[num_train: ]# 获取花朵图像目录的父目录作为目标目录target_dir os.path.abspath(os.path.dirname(img_dir))# 将训练集图像复制到新的 train 子目录下copy_file(train_list, target_dir, train)# 将验证集图像复制到新的 valid 子目录下copy_file(valid_list, target_dir, valid)列表生成器作用
这两行代码的作用是获取指定目录下所有图像文件的路径列表。
假设你有一个目录结构如下
E:
└── data└── flowers_data└── jpg├── flower1.jpg├── flower2.jpg├── flower3.jpg└── ...其中E:\data\flowers_data\jpg 是存放花朵图像的目录里面有很多花朵的图片文件比如flower1.jpg、flower2.jpg等。
那么这两行代码做的事情就是
img_dir rE:\data\flowers_data\jpg将花朵图像所在的目录路径存储在变量img_dir中。img_list [os.path.join(img_dir, name) for name in os.listdir(img_dir)] os.listdir(img_dir)获取目录img_dir下的所有文件名列表比如[flower1.jpg, flower2.jpg, flower3.jpg, ...]。os.path.join(img_dir, name)将目录路径img_dir与每个文件名name拼接起来形成完整的文件路径比如E:\data\flowers_data\jpg\flower1.jpg。最终img_list中存储的就是所有花朵图像的完整文件路径列表例如[E:\data\flowers_data\jpg\flower1.jpg, E:\data\flowers_data\jpg\flower2.jpg, ...]。
这样img_list就包含了目标目录下所有花朵图像的文件路径。
怎么调用
这个代码的作用是将一个目录中的图像分成训练集和验证集并将它们复制到新的目录中的子目录中。
你可以按照以下步骤来使用这个代码 准备数据 确保你有一组花朵图像这些图像应该存储在一个目录中在这个例子中是E:\data\flowers_data\jpg。 保存代码 将代码保存为一个Python文件比如split_data.py。 运行代码 在命令行或终端中进入到存放代码的目录。执行代码python split_data.py。 查看结果 运行完代码后会在原始图像目录的父目录中生成两个子目录train和valid。train目录中包含80%的训练集图像valid目录中包含20%的验证集图像。
确保在运行代码之前你已经安装了Python并且已经安装了用到的shutil、os和random模块。
模型评估
误差偏差方差噪声
假设我们正在使用YOLO算法来检测图像中的交通标志。我们有一个包含交通标志及其位置标注的数据集。我们将误差分解为偏差、方差和噪声来解释模型的表现。 偏差Bias 假设我们选择了一个简单的YOLO模型它只有少量的卷积层和池化层无法很好地捕捉交通标志的复杂形状和背景。由于模型过于简单它可能会错过一些交通标志导致在训练集和测试集上都无法很好地检测到交通标志。这种情况下偏差会很高表明模型的拟合能力不足。 方差Variance 假设我们选择了一个非常复杂的YOLO模型它有很多卷积层和池化层以及大量的参数。这个模型在训练集上表现非常好可以准确地检测到交通标志。然而由于模型过于复杂它对训练集中的数据点非常敏感。如果我们稍微改变训练集中的一些图像可能会导致模型产生很大的变化。因此模型在训练集和测试集上的性能差异很大方差会很高。 噪声Noise 假设我们的数据集中存在一些图像质量较差、光照不足或者遮挡的情况这些因素会影响模型的检测性能。即使我们使用最好的模型也无法完全消除这些影响。噪声表示模型在当前任务上任何学习算法所能达到的期望泛化误差的下界。
偏差表示模型的拟合能力方差表示模型对数据的敏感性噪声表示数据的不确定性。
通过误差分解我们可以更好地理解模型在训练和测试过程中的表现从而选择合适的模型和优化策略。 输入尺寸
在处理机器学习和特别是计算机视觉问题时输入尺寸的管理是一个重要的方面因为模型通常要求所有输入数据具有一致的尺寸。
方法一让数据适应模型
这种方法涉及调整数据以匹配模型的预设输入要求。
例如如果你使用的模型设计为接收 256x256 像素的图像你需要将所有输入图像调整为这个尺寸。
这通常通过以下技术实现
缩放改变图像的尺寸以匹配模型的输入尺寸。裁剪从原始图像中裁剪出符合模型输入尺寸的部分。填充如果原始图像比需要的尺寸小可以在图像周围添加像素通常是黑色或白色以达到所需的尺寸。
这种方法的优点是实现简单可以直接使用预训练模型而无需修改模型架构。
缺点是可能会引入几何变形或丢失信息特别是当原始图像的宽高比与模型所需的宽高比不一致时。
在实践中有一些模型会固定输入尺寸而一些模型则可以接受变化的输入尺寸。
模型固定输入尺寸的情况 传统的卷积神经网络例如VGG、ResNet 这些经典的卷积神经网络通常在设计时会固定输入尺寸例如224x224像素。这样做的好处是可以更轻松地设计网络结构并且在训练和推理过程中的计算量是确定的。 一些定制的网络架构 有些特定任务或特定领域的网络架构可能会要求固定的输入尺寸这是因为网络的设计与输入尺寸有关。
模型灵活接受不同输入尺寸的情况 YOLOYou Only Look Once目标检测算法 YOLO算法是一种可以处理任意尺寸的图像的目标检测算法。它将输入图像分成网格并在每个网格上预测目标的边界框和类别。因此YOLO不需要固定的输入尺寸可以处理各种尺寸的图像。 FCNFully Convolutional Network语义分割网络 FCN是一种用于图像分割的网络可以接受任意尺寸的输入图像并输出相同尺寸的语义分割结果。这种网络通过使用卷积和反卷积操作来实现对变尺寸输入图像的处理。 深度变换器网络Spatial Transformer NetworkSTN STN是一种可以对输入图像进行空间变换的网络可以处理不同尺寸和角度的输入图像并生成相应的变换后图像。
总的来说有些模型需要固定的输入尺寸而有些模型则可以接受不同尺寸的输入。
对于需要固定输入尺寸的模型需要在训练和推理过程中将所有输入图像调整为相同的尺寸而对于可以接受不同尺寸的模型可以灵活处理不同大小的输入图像。
方法二修改模型适应数据
这种方法涉及修改模型的架构以适应不同尺寸的输入数据。
这通常意味着使用更灵活的网络结构例如全卷积网络它们能够处理任意尺寸的输入。例如
调整网络层修改模型的第一层或其他层使其能够接受不同尺寸的输入。使用自适应池化层使用自适应池化如自适应平均池化或自适应最大池化来保证网络的输出尺寸独立于输入尺寸。
修改模型使之适应不同的输入尺寸可以使模型更加灵活不再受限于特定的输入尺寸。然而这可能需要较深的技术知识来调整网络结构且有时候可能导致训练效率降低。 在提供的图像中模型架构包括多个卷积层、池化层和全连接层。
这是一个经典的卷积神经网络通常用于图像识别任务。
五种方法我们可以对此模型进行修改以适应不同的输入尺寸需求。这些修改分别影响模型的接受输入尺寸和特征提取的能力
删除一个Pooling层使224x224变为可接收112x112
删除一个Pooling层比如2x2 Max Pooling减少了图像尺寸下降的速度。这样模型可以在更小的输入尺寸如112x112上运行而不会太快减小特征图的维度保留更多的特征信息。
增加一个Pooling层使224x224变为可接收448x448
增加一个Pooling层可以使网络在处理更大尺寸的输入图像如448x448时快速减小特征图的尺寸以避免在网络深层中处理过大的数据量。
卷积步长stride2 的改为stride1使输入可变为112x112
当卷积层的步长从2改为1时特征图的尺寸下降速度减慢。这样较小的输入尺寸如112x112也能够在网络中保持足够的特征图尺寸避免在深层中特征图尺寸过小。
卷积步长stride1 的改为stride2使输入可变为448x448
相反地增加卷积层的步长可以加快特征图的尺寸下降。这样在处理较大尺寸的输入如448x448时可以避免特征图在网络深层中过大有助于减少计算量和内存消耗。
使用全局平均池化GAP
引入全局平均池化层可以替换传统的全连接层它会计算每个特征图的平均值形成一个固定大小的特征向量。这种方法的优势在于它使得网络可以处理任意尺寸的输入图像因为无论输入图像的尺寸如何变化全局平均池化输出的维度总是固定的。
这些修改使模型更加灵活能够适应不同尺寸的输入同时也影响模型的计算效率和特征提取能力。通过这样的调整可以根据实际应用需求定制模型优化其性能和资源使用效率。
方法三划分Patch分别处理
在某些应用中尤其是图像尺寸非常大如遥感影像或数字病理图像时可以将大图像划分为较小的片段Patch然后分别处理这些片段。例如
图像分割将大尺寸图像分割为多个较小的图像块每个块符合模型的输入尺寸。独立处理对每个图像块独立应用模型然后可能需要合并这些模型的输出以得到最终结果。
这种方法使得处理大尺寸图像变得可行特别是当图像太大而无法直接输入到网络中时。这种方法的挑战在于如何有效地合并或解释这些独立处理块的结果以确保整体结果的连贯性和准确性。
通过上述不同的方法可以有效地管理和处理不同尺寸的输入数据以满足特定模型的需求或优化模型性能。
目标检测器结构设计思路
目标检测其目标是识别图像或视频中的物体并确定它们的位置。这个任务通常包括两个子任务分类和回归。 分类这意味着识别图像中的物体属于哪一类别。例如在一张道路场景的图像中分类任务可能是识别汽车、行人、自行车等。 回归这涉及确定物体的位置通常是通过边界框来表示。边界框是一个矩形用于描述物体在图像中的位置和大小。回归任务的目标是预测这些边界框的位置和尺寸使其紧密地包围物体。
以YOLOYou Only Look Once为例它是一种流行的目标检测算法之一。
YOLO使用单个神经网络模型来同时执行分类和回归任务。
它将输入图像分成网格并为每个网格预测边界框和类别。
这样YOLO可以在一次前向传播中快速而准确地检测图像中的物体因此它在实时应用中具有很高的性能。
目标检测对一块区域分类回归算法设计
需要自己构造样本需要自己为构造的样本分配标签除了分类任务外 还有一个额外的回归任务。反映在损失函数上 除了分类损失函数外 还应有一个额外的回归损失函数。
这种最简目标检测器YOLO V1将目标检测任务转换为滑窗区域的分类任务。 转换为分类任务传统的目标检测任务涉及检测图像中的物体并定位它们。而这种方法则将目标检测任务简化为对图像中每个滑窗区域进行分类。滑窗是指图像上以固定大小和步长滑动的小方块区域。 使用分类模型的 Backbone为了实现这个目标可以直接使用一个预训练的图像分类模型的主干网络backbone如VGG、ResNet等。这样可以利用图像分类任务中已经学到的特征来帮助分类滑窗区域中是否包含目标物体。 构造分类损失函数针对每个滑窗区域构造分类损失函数来衡量模型对该区域的分类准确性。这个损失函数通常使用交叉熵损失函数来衡量模型对图像中目标物体的分类准确性。 每个滑窗区域作为一个样本每个滑窗区域都被视为一个样本并且被送入网络进行分类。因此图像中的每个滑窗都会生成一个类别预测结果。 输出为M×N个向量与传统的图像分类任务不同网络的输出不再是一个单一的向量而是包含了M×N个向量每个向量对应一个滑窗区域的分类结果。
举个例子假设我们有一张图像大小为300×300像素。
我们选择一个大小为50×50像素的滑窗并使用步长为10像素来滑动图像。
这样我们就可以得到大约20×20400个滑窗区域。
然后我们将每个滑窗区域作为一个样本送入预训练的分类模型进行分类。
最终我们会得到400个分类结果每个结果指示该滑窗区域是否包含目标物体。
从哪几个方面分析目标检测器
Backbone提取图像特征Neck对特征图进行多尺度特征融合并把这些特征传递给head层Head分类分支、 回归分支负责执行具体的任务如分类、目标检测和图像分割等。通过输入经过Neck处理过的特征产生最终的输出从而实现模型的预测和分类任务.Anchor的选取方式正负样本的分配方式损失函数 分类损失、 回归损失
从主干网络中得到特征图每个位置都得到一个分类和回归的预测有密集预测的问题会漏掉部分目标。
一阶段目标检测算法YOLO都有这种问题后来还有俩阶段目标检测算法再加一个head层俩个head一个粗调一个精调更慢但效果更好。
YOLO 系列
v1在图上做各个局部做卷积得到特征图在特征图上寻找物体和具体位置
v2v1特征图都是正方形框但实际物体长的都不是正正方方改进了预测框的自定义形状如不同比例的长方形
v3v2在处理图像有很多层层越深感受野越大最后一层输出层就越适合大目标检测
那小目标咋办v3打算分类处理引入多个输出层越前面的输出层适合小目标中间的输出层适合中目标最后一个输出层适合大目标。
v4把别的论文中最新的好用模块改到Yolo中反正视觉算法都是要提特征的这种思想一直在持续导致Yolo特别适合水论文满大街都是各种Yolo论文
v5从个人论文到团队项目在不断维护适合做项目
v6略。
v7推理加速原先的Yolo加了很多分支结构互相等导致速度变慢训练时候可以不管用但推理阶段你得合并如卷积和bn层合并配合gpu优化11补零凑出33卷积多卷积核分支合并。
v8v5团队续作适合工程项目。做了一个集成不仅能做检测还能搞分割分类追踪姿态估计只需要改输出头如分割只需要把最后一个输出层改一下
v9v4 v7作者续作v9解决神经网络因为链式结构的层层传播导致的信息丢失那就开更短的辅助支路解决浅层神经网络信息丢失问题。
v10解决冗余预测问题和提高模型效率与准确度的策略。
首先通过持续双重分配策略包括双重标签分配和一致匹配度量解决了后处理中的冗余预测问题消除了对NMS的需求。
其次在模型架构方面通过轻量级分类头、空间-通道解耦下采样和rank引导block设计等方法提高了效率同时采用大核卷积和部分自注意力模块增强了模型的准确度。
这些改进使得模型在保持高效率的同时在训练和推理过程中都能取得更优异的性能表现。
假设我们有一个YOLO模型用于物体检测但在后处理过程中存在冗余预测问题导致输出结果中有大量的重叠框。
想通过改进后处理步骤来解决这个问题并同时提高模型的效率和准确度。
首先引入了持续双重分配策略。
在训练过程中为每个目标物体分配两个标签一个主要标签和一个次要标签。
这样模型在学习时可以得到更丰富和更和谐的监督信号。
在推理过程中使用一致匹配度量来对预测结果进行过滤而不是传统的非极大值抑制NMS方法。这消除了对NMS的需求提高了推理的效率并保持了竞争性的性能水平。
其次对模型架构进行了全面的优化。
设计了轻量级分类头减少了计算冗余。
同时采用了空间-通道解耦下采样和rank引导block设计进一步提高了模型的计算效率。
为了增强模型的准确度我们引入了大核卷积和部分自注意力模块以提高模型的感知能力和性能表现。
Anchor-Based
