编辑｜Clio
把一家冰淇淋店交给机器人，需要准备多少东西？
机械臂、灵巧手、摄像头，以及负责感知和决策的模型，构成了看得见的系统。但在禾赛联合创始人兼 CEO 李一帆看来，要让机器人真正上岗，还要解决一系列与「空间」有关的问题。
在发布会上谈到 Sharpa 与 DQ 的合作时，他列出了团队希望达到的三个目标：尽量不改造原有环境，完成任务的完整闭环，以及承担真正的制作工作。他介绍道，制作冰淇淋包含五十多个步骤，团队希望机器人能够把整套流程接管。
为了让机器人拿下这套流程，团队先为它准备了一家「数字门店」：将真实门店的布局、设备和操作空间搬进虚拟环境，用于训练。
禾赛表示，过去专业团队人工建模还原一家门店需要约 300 个小时，他们的设备约 15 分钟即可完成扫描并生成高度还原的三维训练环境；Sharpa 的失败案例降至原来的十分之一，任务成功率达到 99%。
这也是空间智能正在讨论的问题。李飞飞将空间智能概括为 AI 在三维空间中感知、推理并行动的能力。与只回答「看到了什么」的视觉模型相比，它进一步要求 AI 理解物体在哪里、空间的几何关系，以及一个动作发生之后，世界会怎样变化。
那么，一家真实门店，究竟怎样变成机器人可以反复学习的地方？
10 月 14 日，禾赛发布三维世界数据引擎 Kosmo，包括空间相机 Kosmo One 和云平台 Kosmo World。前者负责采集真实空间，后者进行重建、理解与编辑，并将数据交付给机器人仿真、世界模型和三维创作等工作流。目前，这套数据也已进入皮克斯相关创作工作流，以及高德的空间展示应用。
扫描一家店之后，哪些信息会被留下？这些信息又如何变成机器人能够使用的训练轨迹？
为什么要专门造一台空间相机？
机器人需要怎样的数字门店？
柜台表面的颜色和纹理，影响视觉识别；桌沿的位置、设备之间的间隔，关系到接近路径与操作空间；换一个观察角度之后，杯子是否被设备挡住，又会改变机器人获得的观测。
因此，一个可用于训练的数字环境，需要同时保留外观、几何和空间关系。
专业团队当然可以通过传统 CG 建模完成这件事，但问题在于，真实世界中的门店、工厂和酒店各不相同。如果每进入一个新场景，都从头开始建模，成本会随着真实世界的复杂程度快速增加。
现场扫描提供了另一条路径：不再先假设一个标准空间，而是直接把具体场所记录下来。
Kosmo One 将激光雷达、影像系统与高精度 IMU 集成在一台设备中。激光雷达提供空间测量，摄像头记录颜色与纹理，IMU 为设备运动估计提供信息，再通过同步、标定和融合，把不同来源的数据放进统一的空间参照。
毫米级精度意味着什么？向少卿在发布会上展示了一把网球拍。
他介绍道，球拍网孔约为 5 毫米间距，Kosmo 的定制激光雷达能够清晰呈现这些细小结构。这个演示让抽象的精度指标有了一个直观参照：当扫描对象从房间轮廓变成细小结构，测量能力会决定哪些细节能够被留下。
影像系统则采用一英寸大底 CMOS，支持最高 8K 拍摄，最终导出文件最高分辨率为 6K。但在三维重建中，分辨率之外还有另一个问题：多个摄像头拍到的同一个物体，能否保持一致？
向少卿用一块地板来解释这个问题。扫描者在房间里走动，同一块地板会反复进入不同摄像头的画面。随着拍摄方向和背景变化，自动曝光、白平衡等处理可能作出不同调整，使同一个表面呈现出不同的亮度和颜色。
这些功能可以改善单张照片的观感，三维重建却需要把多个时刻、多个视角组织起来。如果同一表面的外观不断变化，纹理还原和视角切换的连续性都会受到影响。
因此，Kosmo 为三维重建定制了 ISP，也就是把影像传感器原始信号处理成图像的系统。它需要兼顾跨相机、跨时刻的一致性，让不同画面共同描述同一个空间。
几何与影像之间，也需要准确对应。扫描者走过柜台时，相机拍下一张图像，激光雷达取得一组测量，设备本身还在移动。系统需要知道这些信息分别来自什么时刻、什么位置，才能让图像里的柜台边缘与空间测量中的边缘对齐。
因此，一台空间相机的完成度，要在整条采集链路中体现：既要取得足够细的几何与视觉信息，也要让这些信息相互配合。
使用过程则需要尽量简单。向少卿在介绍 Kosmo One 时，特意强调了一个实体按钮和一个屏幕按钮：用户能够完成开机、扫描等操作。他为这款产品设定的目标，是让空间建模变得像拍照一样容易。
禾赛表示，在普通室内条件下，约 15 分钟可以完成 100 平方米空间的扫描，具体时间随场景结构和采集要求变化。
不过，扫描完成之后，得到的还只是一份空间记录。接下来的关键，是如何把它加工成能够反复使用的训练资产。
一次扫描，如何变成大量训练轨迹？
采访中，李一帆曾向媒体抛出一个问题：大家会不会把三维重建理解成给点云上色，或者把照片贴到墙上？
他随即举了一个例子：看墙上的钟。
人在不同位置看同一只钟，看到的形状、反光和细节会发生变化。如果只保留正面的一张照片，就很难完整表达侧面观察时的效果。当机器人在环境中移动，这类视角变化会不断发生。
Kosmo World 的底层系统 Kosmo Spatial Core，可以在一次重建中生成 3DGS、Mesh 和 Depth。三种表达分别服务于外观、几何表面和距离信息的需要。
3DGS，即三维高斯泼溅，通过大量带有位置、形状、透明度和颜色等参数的高斯表示来重建场景，支持从新视角渲染画面。虚拟相机沿着柜台移动时，系统可以生成相应位置看到的物体、纹理与遮挡关系。
Mesh 用顶点、边和面描述物体表面，为碰撞与交互建模提供几何基础。Depth 则描述特定视角下的距离信息，可以与图像配合，用于空间感知。
三种表达保持空间对齐，意味着机器人在画面里看到的柜台，能够与几何模型中的柜台、深度信息中的距离相互对应，训练系统因此可以在同一个环境中获得不同形式的空间信息。
接下来，需要把虚拟相机放到机器人实际观察的位置。
人站着能够看见的桌面，可能被低处相机视野中的桌沿遮住。相机的安装高度、朝向和视场角变化，都会改变物体在画面中的大小、可见范围与遮挡关系。禾赛介绍道，Kosmo 生成的数据能够针对目标机器人的相机特性进行视觉适配，让数字场景中的观测更贴近实际使用条件。
场景本身也可以变化。
Kosmo World 支持 AI 驱动的语义分割，可以识别并提取椅子、沙发、相机等对象，再对其进行移动和编辑。原本固定的空间记录，由此获得了重新布置的可能。
假设把门店里的一把椅子从桌边移到过道，通行区域会缩小，部分物品可能被挡住。相机即使沿原来的路径移动，得到的画面也会不同。这些调整可以构成新的训练或测试条件，用来观察模型对布局与遮挡变化的适应能力。
编辑也会暴露采集时没有看到的区域。移走沙发后，下面的地毯从哪里来？
在发布会演示中，Kosmo 通过 AI 推断，补全了沙发原先遮挡的区域。这样的处理让物体更便于移动，场景也更完整。与此同时，补全部分包含模型推断，训练团队需要根据任务要求判断其是否适用：用作背景，与用作精确接触和操作的表面，对数据的要求有所不同。
有了能够从不同视角观察、能够编辑的环境，轨迹生成就具备了基础。
在现实门店里采集一段视频，需要有人或设备沿路线移动；在数字门店中，可以重新设置虚拟相机的位置、方向、高度和路径，沿途生成连续画面，以及相应的深度和位姿。
更重要的是，同一个真实空间并不只对应一组固定数据。通过调整物体位置、改变虚拟相机的观察条件，可以持续生成新的场景和训练轨迹。禾赛表示，基于同一个三维空间，可以自动生成上万条训练轨迹。
一份空间记录可以围绕不同观察条件持续生成数据，团队也能针对容易出错的位置增加采样。例如，某个设备经常挡住目标，就可以围绕相关区域设置更多观察路径，检查不同视角下的可见情况。
但不同轨迹承载的信息并不相同。
虚拟相机运动产生的观测序列，可以服务于多视角学习、空间感知和相关世界模型训练。机器人完成抓取、搬运等任务的操作轨迹，还涉及关节动作、接触状态和任务结果，需要机器人模型、物理仿真与策略系统共同参与。
那么，当一个场景已经可以不断编辑、生成新的训练条件，为什么还需要继续走进更多真实门店？
因为机器人训练真正要解决的，是学会面对更多不同的场景。李一帆在采访中提到，机器人训练数据解决的本质是泛化问题：一个房间被数字化之后，可以成为类似场景的训练样本，但从餐饮走向零售、酒店，再进入家庭，真实世界中的空间差异仍然会不断增加。
一个房间可以不断变化，更多真实房间则提供了新的结构、物体和空间关系。前者负责把一份数据的价值继续放大，后者负责不断提供新的「世界」。
在李一帆的判断中，AI 能够处理的场景越多，对真实世界数据的需求也会扩大。
一次扫描的价值，也就延伸到了扫描结束之后。
从空间相机到数据引擎，禾赛想走多远？
过去十年，禾赛最为人熟悉的业务是激光雷达，应用从自动驾驶延伸到机器人等领域。此外，禾赛的激光雷达还曾用于《黑神话：悟空》的古建扫描。
李一帆在采访中先回应了一个问题：一家做激光雷达的公司，为什么要做 Kosmo？
产品的起点来自客户。测绘、建筑等领域的客户不断要求更高精度的激光雷达，从厘米级推进到毫米级。这些客户拿到雷达之后，还要配置摄像头、惯导和计算平台，才能搭出完整的空间采集系统。
不同团队反复完成类似的集成工作，让禾赛看到了产品机会：将传感器、采集系统与后续数据处理放在一起设计。过去在复杂光机电系统、定制芯片、标定测试和产品化方面积累的能力，也可以延伸到空间采集。
这一延伸有明确的工程关联。Kosmo 需要同时处理几何测量、影像质量、传感器同步和现场操作，单个部件的性能最终要转化为整套系统的可用性。禾赛已有的硬件与制造经验，为这项工作提供了基础。
进入训练资产领域后，应用端的反馈同样重要。
禾赛与 Sharpa 独立运营，共同创始团队则为两端提供了较紧密的交流条件。机器人团队可以提出具体需求：哪些观察角度容易丢失目标，物体分割后能否方便地进入仿真，重建资产还需要多少人工处理。采集与重建团队据此调整产品，再通过实际使用检验效果。
这使数据质量有了具体的讨论指标。一份三维场景看起来是否逼真，只能回答部分问题；它能否适配机器人传感器，能否方便地配置任务，才关系到开发团队何时能够开始训练。
禾赛表示，Kosmo 已连接 Isaac Sim、Isaac Lab、Omniverse 等平台。工具兼容性、对象编辑和资产加工的便利程度，都会影响最终交付效率。随着客户扩展到不同本体与训练框架，这些环节也将成为产品需要持续打磨的部分。
有些需求，则出现在团队最初预期之外。
李一帆在采访中，将影视领域的使用称为「意外收获和意外惊喜」。皮克斯 RenderMan 创意负责人 Dylan Sisson 拿到 Kosmo 后，扫描了皮克斯园区广场，将数据通过 USD 格式导入 Houdini，再交给 RenderMan 渲染。真实园区随后被处理成具有绘画笔触的画面，场景中的元素可以继续调整。
他还扫描了一块手工制作的纸板电视框。纸板纹理、折边和胶水痕迹被保留下来，成为后续创作能够调用的细节。对于创作者，一次扫描的价值也体现在这些细节进入专业软件之后，仍有多少编辑与表达空间。
高德的应用则将三维资产带向空间浏览。据悉，Kosmo 与高德合作，首批重建的重美术馆、偏锋画廊已上线扫街榜「飞行街景」，用户可以在到访前观察场所内部。
用途的扩展，也让交付方式出现变化。
有些客户需要设备，以便持续采集；有些客户只是希望完成一个项目，取得重建后的模型；还有一些客户希望直接使用已经制作好的空间资产。
相应地，禾赛提出了两类商业模式：通过软硬件一体化产品服务有持续采集需求的客户，以及面向世界模型和物理 AI 企业提供规模化空间数据生产服务。
前者需要让客户方便地完成采集与处理，后者还涉及场景组织、质量控制和持续交付。设备销售之后，数据能否顺利使用、能被重复调用多少次，会进一步影响客户对产品价值的判断。
这也是 Kosmo 当前仍需探索的部分。被问到最大的客户群体是谁时，李一帆在采访中没有给出确定答案，不同行业的需求仍在使用中逐渐显现。
对禾赛而言，从传感器延伸到数据引擎，意味着交付对象发生了变化。激光雷达的测距、精度和可靠性，可以通过相对明确的指标评估；三维资产进入训练后，其价值还与任务、模型和仿真配置有关。
Kosmo 试图改变的，正是过去「一次采集、一次建模、一次使用」的方式。一个真实空间被数字化之后，还可以继续编辑物体、改变观察条件、生成新的训练场景，一次采集也可能成为后续多轮训练的数据起点。
结语：给 AI 一张「真实世界的底图」
这几年 AI 的能力在所有人的见证中快速增长：从下棋、文字和图像，到现在对真实物理空间的探索。
毫无疑问，世界模型和空间智能是当下相当热门的方向。它们所对应的未来应用也令人心驰神往，从自动驾驶、具身智能、数字孪生……许多过去只存在于科幻作品里的场景，正在逐渐获得技术上的可能性。
但随着热度的攀升，关于「具身智能泡沫」的讨论也随之出现。解决这种担忧的方式，或许不是给行业降温，而是把基础一点点补齐。
其中一个绕不开的问题，就是数据。向少卿在发布会上将具身智能的数据问题概括为一个「不可能三角」：真机遥操作数据足够真实，却成本高、效率低、难以规模化获取；仿真数据容易扩展，却难以完整还原真实世界的复杂物理规律；二维图像和视频又缺少深度、位姿以及真实空间关系。
如果过去相当一部分 AI 训练数据来自互联网中的文本、图像和视频，那么物理 AI 要进一步成长，就需要更多来自真实世界的数据，以及一套把这些数据采集、加工并送入训练流程的基础设施。
李一帆在采访中将禾赛定位为「物理 AI 行业基础设施的建设者」，并强调这不会是一条单一产品线，而是围绕多个基础环节展开。
Kosmo 所尝试的，正是让真实世界变成一种可以持续让 AI 学习并被不断利用的资源。
