近日，北京具身智能机器人创新中心正式发布Pelican-VL 1.0具身视觉语言模型（VLM），宣称 Pelican-VL 1.0 是"全球最大规模开源具身多模态大模型"，展示出强大的技术实力。

而近期本平台也在策划“等待具身智能数据的 ChatGPT 时刻”的系列直播节目( #欢迎大家扫描下方海报二维码加入直播群)，借此机会，正好和大家梳理一下，目前全球具身智能机器人行业几个公认的高质量数据集。

01

Open X-Embodiment

●发布方：Google DeepMind等全球21家机构
●发布时间：2023.10
●项目链接：
https://robotics-transformer-x.github.io/
●论文链接：
https://arxiv.org/abs/2310.08864
●数据集链接：
https://github.com/googledeepmind/openxembodiment
它是目前规模较大的开源真实机器人数据集，除了整合 21 家机构的 22 类机器人数据外，后续还纳入了来自全球 34 个机器人研究实验室的 60 个现有机器人数据集，包含超 100 万条真实机器人运动轨迹，涵盖从单机械臂、双机械臂机器人到四足机器人等多种形态机器人的操作数据，场景涉及各类常见动作以及家庭场景中的多种物体。

RT - X 模型，其并非单一模型，而是包含两个核心衍生模型。一是 RT - 1 - X，基于用于大规模实际机器人控制的 RT - 1 模型训练而成，适配机器人控制场景；二是 RT - 2 - X，由视觉 - 语言模型 RT - 2 优化而来，可将机器人动作转化为自然语言标记输出。其中 RT - 2 - X（550 亿参数版本）是当前能在学术实验室中完成未训练任务的大型模型之一。
其核心优势就是 “积极迁移学习能力”。例如 RT - 1 - X 相比原始模型，在相关任务上的平均性能提升了 50%；RT - 2 - X 甚至能完成训练数据中未涉及的动作，像精准区分 “把苹果放到布料附近” 和 “把苹果放到布料上” 这类精细指令并准确执行，极大降低了机器人适配新任务的训练成本，为机器人商业化落地提供了有力支撑。

02

Agibot World

●发布方：智元机器人，上海人工智能实验室等
●发布时间：2024.12
●HuggingFace:
https://huggingface.co/agibot-world
●Github:
https://github.com/OpenDriveLab/agibot-world
●项目主页：
https://agibotworld.com/
https://huggingface.co/datasets/agibot-world/AgiBotWorld-Alpha

智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思，正式开源 Agibot World 项目。AgiBot World 是全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集。
全域真实场景复刻：数据集源自智元自建的超 4000 平方米数据采集工厂与实验基地，里面有 3000 多种真实物品，精准还原了家居、餐饮、工业、商超和办公五大核心场景。其中家居场景占比最高达 40%，工业场景复刻了仓库与生产线，可训练物料分拣、物流搬运等工业相关动作。
全能硬件支撑采集：每台机器人装有 8 个环绕式摄像头，能 360 度实时感知环境；配备 6 自由度灵巧手，末端还装有六维力传感器和高精度触觉传感器，可感知力的微小变化；全身共 32 个主动自由度，机器人能完成毫米级精细操作和复杂动作，为数据集提供高质量的动作数据。
严苛全程质量把控：数据集建立了 “标准化采集流程 + 自动化质检 + 人工在环审核” 的三维质控机制。采集的数据先经端、云两侧自动筛选剔除不合格内容，再由专业审核员逐帧审核，最后通过算法二次验证，这使得数据准确性达到 99% 以上。

03

DROID

●发布方：Stanford University, UC Berkeley, Toyota Research Institute等
●发布时间：2024.03
●项目链接：
https://droid-dataset.github.io/
●论文链接：
https://arxiv.org/abs/2403.12945
●数据集链接：
https://droid-dataset.github.io/

构建规模庞大、类型多样且质量过硬的机器人操作数据集，是研发性能更强大、稳定性更可靠的机器人操作策略过程中的关键基石。然而，此类数据集的构建面临诸多挑战：在多样化环境中采集机器人操作数据，不仅存在后勤协调与安全保障方面的难题，还需要在硬件设备与人力投入上进行大量资源倾斜。因此，即便是当前通用性最强的机器人操作策略，其训练数据也大多来源于少数几种环境，场景与任务的多样性均存在显著局限。
DROID，即分布式机器人交互数据集，Distributed Robot Interaction Dataset 的缩写。该数据集涵盖 7.6 万条演示轨迹，对应 350 小时的交互数据，由来自北美、亚洲和欧洲的 50 名数据采集人员历时 12 个月共同完成，覆盖 564 个场景与 86 项任务。实验表明，基于 DROID 数据集训练的策略，在性能表现、鲁棒性和泛化能力上均实现了显著提升。我们已开源完整数据集、策略训练代码，以及一份详细的机器人硬件配置复现指南。
相较于谷歌 Open X-Embodiment（22 类机器人、16 万 + 任务、多机构协作）：DROID 的优势在于 “跨地域分布式采集” 和 “场景密度更高”（564 个场景 vs Open X-Embodiment 初期场景覆盖较集中），但在机器人类型多样性、任务总数量上略逊；

04

BridgeData V2

●发布方：UC Berkeley, Stanford, Google DeepMind, CMU
●发布时间：2023.09
●项目链接：
https://rail-berkeley.github.io/bridgedata/
●论文链接：
https://arxiv.org/abs/2308.12952
●数据集链接：
https://rail.eecs.berkeley.edu/datasets/bridge_release/data/
BridgeData V2 是一个庞大而多样化的机器人操作行为数据集，旨在促进可扩展机器人学习的研究。该数据集与以目标图像或自然语言指令为条件的开放词汇、多任务学习方法兼容。从数据中学习到的技能可以推广到新物体、环境和机构。

BridgeData V2 数据集包含60,096条轨迹，其中50,365次是遥控演示，9,731次是通过脚本化的取放策略进行的部署。

05

ARIO

●发布方：鹏城实验室、南方科技大学、中山大学等
●发布时间：2024.08
●项目链接：
https://imaei.github.io/project_pages/ario/
●论文链接：
https://arxiv.org/abs/2408.10899
●数据集链接：
https://openi.pcl.ac.cn/ARIO/ARIO_Dataset
ARIO（All Robots In One）具身智能数据开源联盟由鹏城实验室、松灵机器人、中山大学、南方科技大学、香港大学等领先机构联合发起。鹏城实验室具身所首先设计了一套针对具身大数据的格式标准，该标准能记录多种形态的机器人控制参数，并且有结构清晰的数据组织形式，还能兼容不同帧率的传感器并记录对应的时间戳，以满足具身智能大模型对感知和控制时序的精确要求。
ARIO 数据集共有258个场景，321,064个任务，和3,033,188个演示轨迹。数据模态涵盖2D图像、3D点云、声音、文本和触觉形式。数据有3大来源，一是通过布置真实环境下的场景和任务进行真人采集；二是基于 MuJoCo、Habitat 等仿真引擎，设计虚拟场景和物体模型，通过仿真引擎驱动机器人模型的方式生成；三是将当前已开源的具身数据集，逐个分析和处理，转换为符合 ARIO 格式标准的数据。

06

RoboMIND

●发布方：国地共建具身智能机器人创新中心，北京大学，智源研究院等
●项目链接：
https://x-humanoid-robomind.github.io/
●论文链接：
https://arxiv.org/abs/2412.13877
●数据集链接：
https://zitd5je6f7j.feishu.cn/share/base/form/shrcnOF6Ww4BuRWWtxljfs0aQqh
RoboMIND 通过人类远程操作收集，包含全面的机器人相关信息，包括多视图RGB-D图像、本体感觉机器人状态信息、末端执行器详细信息和语言任务描述。研究人员不仅发布了55,000次成功运输的轨迹，还记录了5,000次现实世界中的失败案例轨迹。机器人模型可以通过学习这些失败案例轨迹来探索失败的原因，从而通过这种学习经验来提高其性能。这种技术代表了从人类反馈中进行的强化学习（RLHF），其中人类的监督和反馈指导模型的学习过程，使其产生更令人满意和准确的结果。

RoboMIND 数据集包含了来自四种不同机器人实体的数据，总计涵盖279项任务中的55,000条轨迹、61个不同的物体类别以及36项操作技能。
以上就是今天跟大家分享 6 个全球范围内规模较大的，高质量具身智能数据集。如果大家对以上具身智能数据集所做一些应用 demo 感兴趣，欢迎评论区留言，未来机域编辑部会通过干货文章或者主题直播等各种形式，向大家呈现更多行业盘点。

未来机域
https://mp.weixin.qq.com/s?__biz=MjM5OTE2NTk3Ng==&mid=2247483721&idx=1&sn=4094318d519d166e84f5521b8efee605&scene=21#wechat_redirect
https://mp.weixin.qq.com/s?__biz=MjM5OTE2NTk3Ng==&mid=2247483706&idx=1&sn=7704342978db96cd342d52233f4398f6&scene=21#wechat_redirect