视频网站,网页设计模板的网站,盐步网站制作,网站业务功能设计目标检测作为当前计算机视觉落地的热点技术之一#xff0c;已被广泛应用于自动驾驶、智慧园区、工业检测和卫星遥感等场景。开发者在研究相关目标检测技术时#xff0c;通常需熟练掌握图像目标检测框架#xff0c;如通用目标检测框架 YOLO 系列#xff0c;旋转目标检测框架…目标检测作为当前计算机视觉落地的热点技术之一已被广泛应用于自动驾驶、智慧园区、工业检测和卫星遥感等场景。开发者在研究相关目标检测技术时通常需熟练掌握图像目标检测框架如通用目标检测框架 YOLO 系列旋转目标检测框架 R3Det 等技术学习门槛较高还需不断优化和改进算法来获得理想的目标检测效果。随着大模型的发展有效帮助开发者降低目标检测的使用门槛。
在2023 IDEA大会IDEA研究院发布最新视觉提示Visual Prompt模型T-Rex帮助释放计算机视觉更多应用场景。小编在上手使用T-Rex模型直呼太香了无需设计算法开箱即用简单通过拖拽方框框住想识别的物体点击“开始检测”就自动将相似的结果识别出来 下面小编带大家体验一把
零基础上手秒识别检测T-Rex模型来了
打开视觉提示模型T-Rex的模型实验室官网DeepDataSpace | The Go-To Choice for CV Data Visualization, Annotation, and Model Analysis选择或者上传你想要检测的图像 框住想要识别的物体点击开始检测秒出结果 是不是很简单便捷
其实背后的T-Rex模型大有来头
今年4月IDEA研究院发布的Grounded SAM (Grounding DINO SAM)在Github已获得 11K Star区别于只支持文字提示的Grounded SAMT-Rex模型着重打造强交互的视觉提示功能。无需重新训练或微调即可检测模型在训练阶段从未见过的物体。该模型不仅可应用于包括计数在内的所有检测类任务还为智能交互标注场景提供新的解决方案通过直观的视觉反馈与强交互性也有助于提升检测的效率与精准度。目前T-Rex 可应用在农业、零售、医疗、电子等行业。
据官网显示T-Rex模型有以下四大特性
开放集不受预定义类别限制具有检测一切物体的能力
视觉提示利用视觉示例指定检测目标克服罕见、复杂物体难以用文字充分表达的问题提高提示效率
直观的视觉反馈提供边界框等直观视觉反馈帮助用户高效评估检测结果
交互性用户便捷参与检测过程对模型结果进行纠错
除了上面笔者试用的最基础的单轮提示模式目前T-Rex模型还支持以下三种进阶模式
· 多轮正例模式适用于视觉提示不够精准造成漏检的场景
· 正例负例模式 适用于视觉提示带有二义性造成误检的场景
· 跨图模式适用于通过单张参考图提示检测他图的场景
大家可以多多尝试
为什么是T-Rex
我们已迈入“大模型时代”在许多领域大模型都展现出巨大潜力和价值。 如今我们可以简单用一句话、一个提示词就可以让AI帮助我们生成一张图片、一篇文章。然而在一些情况下例如工业场景中的物体在日常生活中较为罕见难以用语言描述。在此情况下视觉提示显然是更高效的方法。T-Rex通过图片来提示达到 “一图胜千言”的准确与高效。
谈及计算机视觉的发展IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋表示首先是计算机视觉的应用场景长尾其次是其场景碎片化每个应用场景不一样。他出计算机视觉领域在呼唤通用大模型的来临。以GPT-4V为代表的多模态大模型是在语言能力上增加视觉能力IDEA研究院的计算机视觉团队则选择了另一条路径先将基础的视觉能力做到极致再增加语言能力。
仔细思考大模型的意义是让我们从判别式AI走向深层次判别式的AI前者从数据和信号中去提取特征进行识别完成像人脸识别语音识别、图像识别等任务后者可以基于海量数据训练生成文字、语言、图片、视频等更加智能、高效有效提高生产力。毋庸置疑通过之前的Grounded SAM发布到如今T-Rex的推出IDEA研究院走出自己的计算机视觉之路。
想了解更多T-Rex详情可查看GitHubtrex-counting.github.io
