上海住建部网站,网址导航的意思,海城市建设局网站,北京互联网公司聚集地一、AI 硬件精选论文
《DrEureka: Language Model Guided Sim-To-Real Transfer》
瑜伽球上遛「狗」这项研究由宾夕法尼亚大学、 NVIDIA 、得克萨斯大学奥斯汀分校的研究者联合打造#xff0c;并且完全开源。他们提出了 DrEureka#xff08;域随机化 Eureka#xff09;并且完全开源。他们提出了 DrEureka域随机化 Eureka这是一种利用 LLM 实现奖励设计和域随机化参数配置的新型算法可同时实现模拟到现实的迁移。该研究展示了 DrEureka 算法能够解决新颖的机器人任务例如四足机器人平衡和在瑜伽球上行走而无需迭代手动设计。
https://eureka-research.github.io/dr-eureka/assets/dreureka-paper.pdf
《Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving》
该论文介绍了一个进化框架 LaserMix整合了来自不同 LiDAR 扫描的激光束操作并结合了 LiDAR- 相机对应关系进一步辅助数据有效学习通过整合多模态来增强 3D 场景一致性正则化推进自动驾驶中的 3D 场景理解。
http://arxiv.org/abs/2405.05258v1
《Evaluating Real-World Robot Manipulation Policies in Simulation》
机器人领域在通用机器人操作策略方面取得了重要进展。然而对这些策略进行真实世界的评估不可扩展并面临再现性挑战。同时随着策略扩展能执行的任务范围扩大这些挑战可能会加剧。文章指出真实与模拟环境之间的控制和视觉差距是可靠模拟评估的关键挑战并提出了一些方法来减轻这些差距而无需制作真实环境的完整数字孪生体。
http://arxiv.org/abs/2405.05941v1
《Octo: An Open-Source Generalist Robot Policy》
加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌 DeepMind 的 18 位研究者组成的 Octo Model Team 发布了他们的开创性研究成果Octo 模型。能让 GRP 更轻松地应对下游机器人应用的接口多样化问题。
https://arxiv.org/pdf/2405.12213
《iVideoGPT: Interactive VideoGPTs are Scalable World Models》
清华、华为等提出 iVideoGPT 一个可扩展的自动回归变换器框架通过将多模态信号视觉观察、动作和奖励整合成序列令牌实现 agents 的交互式体验并利用其可扩展架构预训练 iVideoGPT 在数百万人类和机器人操纵轨迹上使其适应各种下游任务。
https://arxiv.org/pdf/2405.15223
《YOLOv10: Real-Time End-to-End Object Detection》
YOLOv10 被认为是计算机视觉领域的突破性框架该论文中在从后续处理和模型架构两个方面进一步提高 YOLO 系列模型的性能-效率边。
https://arxiv.org/pdf/2405.14458
《面向开放世界感知、具有互补通路的视觉芯片》
清华「天眸芯」是全球首款类脑互补视觉芯片标志着国内芯片领域在类脑计算和类脑感知两个重要方向上均已取得基础性突破。
https://www.nature.com/articles/s41586-024-07358-4
《PowerInfer-2: Fast Large Language Model Inference on a Smartphone》
上交大发布 LLM 手机推理框架 PowerInfer-2提速 29 倍该论文针对手机模型遇到的挑战提出了新的解决方案。
https://arxiv.org/abs/2406.06282
《OpenVLA: An Open-Source Vision-Language-Action Model》
本文介绍了 OpenVLA一个开源的视觉语言行动VLA模型该模型通过大规模互联网视觉语言数据和多样化的机器人演示进行预训练实现了对视觉运动控制的强大性能并可通过微调获得鲁棒且泛化的策略解决了现有 VLA 模型封闭和不可访问的问题并提出了有效的 VLA 微调新方法。
http://arxiv.org/abs/2406.09246v1
《李飞飞最新 DataBricks 峰会演讲》
李飞飞教授介绍了其空间智能领域团队的系列研究。该团队通过结合视觉、语言和空间智能开发出了一系列先进的算法使机器人能够理解三维空间并执行复杂任务。
https://mp.weixin.qq.com/s/zs31ld6bZUzuqmz28KZLPQ
《Pandora: Towards General World Model with Natural Language Actions and Video States》
Pandora 通过大规模预训练和指导调整实现了领域通用性、视频一致性和可控性。展示了 Pandora 在不同领域室内/室外、自然/城市、人类/机器人、2D/3D 等的广泛输出。
http://arxiv.org/abs/2406.09455v1
二、AI 硬件开源项目
OpenGlass
OpenGlass 旨在将普通眼镜改造成具有人工智能功能的智能眼镜。
https://github.com/BasedHardware/OpenGlass
Barkour Robot
Barkour Robot 是由 Google DeepMind 开发的一系列敏捷四足机器人为各种机器学习和机器人研究提供支持。
https://github.com/google-deepmind/barkour_robot
Octo
Octo一个基于 80 万条来自 Open X-Embodiment 数据集的轨迹进行训练的大型 Transformer 策略这是迄今为止最大的机器人操作数据集。
http://arxiv.org/abs/2405.12213v1
InternGPT
一种基于指向语言驱动的视觉交互系统允许用户使用指向设备通过点击、拖动和绘制与 ChatGPT 进行互动。
https://github.com/OpenGVLab/InternGPT/blob/main/README_CN.md
三、AI 硬件产品案例 AutoLife Robotics 奇绩校友产品
AutoLife Robotics 致力于规模化推广低成本通用半人形 AI 机器人首先解决零售环境下的重复劳动例如替换大型连锁咖啡店的重复性劳动、服装店衣物整理工作或在免税店部署智能的机器人销售助理。
Rabbit-R1本周潜空间嘉宾
是由 Rabbit Tech 推出的手持 AI 设备设计为个人的日常数字助理主要通过自然语言交互进行操作。这款设备的核心特点是它的操作系统 Rabbit OS 和底层的“ Large Action Model (LAM) ”这使得它不仅能执行简单任务还能学习并执行更复杂的数字任务。
https://www.rabbit.tech/rabbit-r1
特斯拉 Optimus 人形机器人
二代 Optimus 在机器人的 FSD 计算机上实时运行而仅仅依靠 2D 摄像头、手部触觉和力传感器。Optimus 利用它的腿保持平衡同时网络驱动着整个上半身。
https://mp.weixin.qq.com/s/P5pJFKGxxvi-jBuPCmk-RQ
大脑—脊柱接口小装置
瑞士的研究人员利用 AI 来读取用户意图然后转化成电信号再和肌肉的运动相匹配在用户大脑和脊髓之间建立了一座「数字桥梁」。
https://mp.weixin.qq.com/s/cxKQAO-2-NhCwSB69dccVQ
Mi-GPT
MiGPT 是一个将小爱音箱与 ChatGPT 等大语言模型完美融合的产品致力于打造一个更智能、更懂你的智能家居助手。
https://github.com/idootop/mi-gpt
苹果智能
加持 GPT-4o全家桶都上生成式 AI Siri 脱胎换骨。
https://mp.weixin.qq.com/s/sCD2DKx9-rroCoTh1bSvBQ
AI Pin
Ai Pin 是一款集成了 AI 交互功能的无屏幕激光投影穿戴设备重量为 34.2 g外形类似方形手表表盘可以轻松别在衣服上。它采用无屏幕设计通过激光投影技术将界面投射至手掌结合手势控制能力来实现无屏幕交互体验。
https://humane.com/
