11月18日,地平线机器人实验室发布原生视频几何基础模型LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从RGB视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。
架构方面,LoFT原生面向连续视频建模,采用双循环Transformer架构,将跨帧视觉信息聚合与相机状态迭代优化相结合:第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算,进而结合双循环特征预测逐帧深度及其置信度。

数据层面,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,积累约297万条有效训练序列、9.62亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。
评测方面,研究团队在SpatialBench、ClassicBench和VRBench三套评测体系中,将LoFT与VGGT-Ω、DA3-Giant等代表性模型进行对比,其中VRBench涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT在多项深度估计指标上达到SoTA水平。

应用侧,官方称LoFT可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。对以智驾芯片为主业的地平线而言,这项成果与其具身智能方向布局形成呼应,也为高阶智驾的视觉感知底层能力提供技术储备。




