小米开源 Xiaomi-Robotics-U0:具身领域首个“通吃”四类任务的统一生成模型
作者 David Thompson
发布于 2026-07-15
阅读量 5分钟阅读
小米于7月15日推出了一款名为 Xiaomi-Robotics-U0 的新模型,这是一个具备 380 亿参数的多模态自回归具身生成基础模型。该模型被誉为具身智能领域的首个能够处理四类任务的统一生成模型,并且能够整合机器人图像和视频数据的生成与编辑功能。
该模型具备以下四种核心能力:
- 具身场景生成:能够根据文本描述,为指定的机器人本体创建多视角的初始场景。无论用户描述的是桌面、厨房、仓库还是更复杂的开放世界环境,模型都能生成相应的机器人观测。
- 具身迁移:允许将已有的机器人轨迹应用到新的环境中,例如调整光照、背景、桌面材质、目标物体或工作区风格,同时保持原始轨迹中的机械臂姿态和场景布局。
- 机器人交互视频生成:能够基于初始观测和操作指令生成后续视频,确保动作的连贯性和物理真实性,并能实现零样本泛化到各种场景。
- 通用文生图和图像编辑:模型保留了通用的图像生成和编辑功能,使得互联网上的视觉知识能够被应用于具身智能任务中。
小米方面表示,该模型可以在保持几何一致性的前提下,对现有数据进行增强,例如更换物体、光照、背景或添加干扰,而无需重新收集数据。同时,它也能从零开始生成全新场景,覆盖真实机器人难以触及的危险、极端或长尾环境。借助 FlashAR+ 推理加速方案,该模型的生成效率相较于传统的自回归范式提升了约 83 倍,极大地加速了工程部署的进程。这为规模化生成具身训练数据以提升模型效果提供了一个可控且高效的解决方案。
在 WorldArena 评测基准中,Xiaomi-Robotics-U0 获得了总分第一的成绩,在参评的全球 126 个模型中脱颖而出。此外,在实际机器人评测中,使用 Xiaomi-Robotics-U0 扩充数据训练的策略,在面对未知光照和陌生背景等“非分布内”场景时,任务完成率平均提升了超过 26%。
目前,相关的代码和模型权重已完全开源。
留下你的寶貴意見,與我們一同成長