速递！蚂蚁集团：让机器"读懂"边界，比70亿参数巨型模型更精准感知系统

这项由蚂蚁集团（Ant Group）研究团队主导的研究，以技术报告形式于2026年7月6日发布，编号为arXiv:2607.05247，感兴趣的读者可通过该编号在arXiv平台检索完整论文。

(资料图片)

**视觉系统的"阿喀琉斯之踵"**

人眼看世界，不只是认出"这是一只猫"那么简单。当你把一杯咖啡放在桌子上，你的大脑会精确判断杯子的边缘在哪里、桌面在哪里、两者之间的距离是多少。这种能力让你可以准确地拿起杯子，而不是扑了个空。对于机器人和自动驾驶汽车来说，这种"密集空间感知"能力同样至关重要——它需要从普通的相机画面里，恢复出精确的三维结构信息。

然而，当下最先进的视觉AI模型，普遍存在一个严重的短板。这些模型经过海量图片训练，擅长回答"图里有什么"，却在"这些东西在哪里、彼此距离多远、边界在哪里"这类问题上表现平平。根本原因在于，大多数模型的训练目标是"语义不变性"——也就是说，不管从什么角度、什么光线拍同一只猫，模型都应该认出它是猫。为了做到这一点，模型会主动忽略空间细节，因为这些细节会随角度和光线变化而变化。但恰恰是这些被忽略掉的细节，构成了空间理解的核心。

蚂蚁集团的研究团队注意到这个矛盾，并提出了一个全新的思路：**如果训练过程中，让模型把"找边界"当成核心任务，而不是副产品，会怎样？**

这个看似简单的问题，催生了一套叫做"LingBot-Vision"的视觉预训练系统，以及由此驱动的深度补全系统"LingBot-Depth 2.0"。在多项测试中，这个参数量约10亿的模型，在空间感知任务上超越了参数量高达70亿的同类竞争者。

一、为什么"边界"是视觉理解的核心密码

回想一下上学时学过的物理课：当一束光从一种介质进入另一种介质时，会在交界面发生折射。图像里的边界，本质上也是类似的"交界面"——在这里，物体的外形停止了，另一个表面开始了，深度发生了跳变，运动的方向改变了。

研究团队的核心论点是，**边界不应该只是AI感知的输出结果，而应该成为AI学习的原始信号**。以往的做法是先训练一个通用视觉模型，然后专门加一个"边界检测"的头部模块来检测边缘——边界是任务的终点。而蚂蚁集团的团队反其道而行之，把边界的发现和学习放在了训练的最核心位置。

为了实现这一点，他们借鉴了一种在"线段检测"和"线框解析"领域已经使用多年的密集场表示方法——"吸引力场"（attraction field）。这种表示方法的核心思想，可以用一个直观的类比来理解。

假设你在一张大地图上画了一条河流。传统的做法是只把河流的轮廓线标出来，其他地方是空白。但"吸引力场"的做法是，让地图上**每一个点**都存储一段信息：我到最近这条河的距离是多少、河的走向是什么、河的两个端点从我这里看分别在哪个方向。这样，哪怕地图的大部分被遮住了，你从任意一个可见的点，都能还原出整条河的大致形状。这就是"过参数化"（over-parameterized）——用冗余但稳健的方式编码稀疏信息。

正是这种冗余性，给了整个系统一个惊人的性质：**即使吸引力场里的具体数值还不准确，通过让很多点"投票"汇总，依然能解码出合理的线段**。这意味着，在模型训练的最初阶段，哪怕参数还是随机初始化的，系统就已经能从自身的预测中提取出粗糙的边界信号——这为整套"自举"（bootstrapping）机制打下了基础。

二、遮住最关键的部分，强迫模型真正理解场景

理解了边界表示的原理，就可以进入这项研究最核心的方法设计了——**掩码边界建模**（Masked Boundary Modeling）。

在正式介绍这个方法之前，需要先了解一下它所基于的训练范式，也就是近年来在视觉AI领域非常流行的"自蒸馏"（self-distillation）框架。简单来说，这个框架维护两个结构完全相同的网络：一个叫"学生"，一个叫"老师"。老师是学生经过时间平滑的版本（技术上叫EMA，指数移动平均），所以通常比学生更稳定、预测质量更高。学生的任务是，从一张被随机遮住部分区域的图片中，预测被遮住部分的特征表示——老师看到完整的图片，告诉学生"正确答案"是什么。通过这种自我对比，模型逐渐学会理解图片的内容。

这套框架有一个长期被忽视的问题：**遮住哪些部分？** 以往的做法是随机选择。随机遮掩的问题在于，绝大多数被遮住的区域，都是物体的内部——纹理均匀、颜色单一——学生可以从周围的邻居那里轻易推断出它们长什么样。这就好比一道填空题，题目是"太阳从东边____"，答案几乎不需要思考就能填上。学生根本没有受到真正的挑战。

与此同时，最难、信息量最丰富的区域——也就是边界处，两种不同纹理、不同深度的区域交汇的地方——反而经常侥幸逃过遮掩，没有被要求去预测。

蚂蚁集团团队的解决方案是：**强制把边界区域塞进遮掩集合里**。老师网络在预测完整图片的边界场之后，会把所有"包含边界的像素块"识别出来，强制加入学生需要预测的遮掩集合。学生必须从周围的上下文中还原出这些边界区域——既要给出语义层面的预测，又要给出几何层面的预测（边界到底长什么样、走向如何、端点在哪里）。

这种"强制遮掩"的设计，把边界位置变成了整个训练过程中最难也最有价值的预测目标。一旦学生在这种高难度题目下反复训练，它所学到的特征表示就天然地对几何边界高度敏感——这正是空间感知任务所需要的。

不过，这里有一个鸡生蛋、蛋生鸡的问题：如果模型还没训练好，它怎么知道边界在哪里，从而决定遮住哪些地方？研究团队用两个技巧解决了这个问题。

第一个技巧是借助"角点检测器"（corner-point detector）。这是一个极小的、固定权重的视觉模型，专门用来找图片里的角点和拐点。即使边界场里的数值完全是随机的，只要有角点作为锚，投票机制就能把这些随机数值汇聚成以角点为端点的线段——也就是粗糙的边界。这是论文里一个重要的发现（Finding 1）：边界来自角点的锚定，不需要等到模型学好才出现。随着训练推进，边界场的预测越来越准，提取出的边界也越来越精细，形成一个良性循环。

第二个技巧是"范畴化重新参数化"（categorical reparameterization），这是让整个系统稳定工作的关键数学设计。

三、把连续的几何数值变成"投票选择题"，解决训练崩溃问题

直接让神经网络预测连续数值形式的边界场（比如"距离最近线段3.7像素，方向角47.2度"）存在严重的训练稳定性问题。在老师-学生循环里，如果老师给出的目标是连续数值，这些数值很容易在训练过程中漂移和崩溃，导致模型学到无意义的表示。

蚂蚁集团的团队提出了一个巧妙的解决方案：把每个连续数值"离散化"成若干个区间（bin），把原本的连续回归问题，变成一个分类问题——不再预测"距离是3.7像素"，而是预测"距离落在第3个区间还是第4个区间"，就像在做单选题而不是填空题。

这个转变有两个重要好处。第一，分类问题可以直接使用和语义自蒸馏相同的"中心化"和"锐化"技术——这是防止自蒸馏系统崩溃的标准机制，现在几何分支可以和语义分支共享同一套稳定机制。第二，分类问题天然对应一个统计检验：如果某个区域真的没有边界，那么方向角的预测分布应该是均匀的（每个区间概率相等），就像随机猜答案；如果某个区域真的有边界，方向角的预测应该高度集中在某个特定区间。这正是"反事实"（a-contrario）理论的核心思想——通过比较预测分布与均匀分布的差距，判断一个线段候选是否真实存在。这样一来，**边界验证成了表示学习的天然组成部分**，不需要额外的人工标注或后处理步骤。

在实际操作中，老师网络的工作流程是这样的：先对当前图片预测一个密集的边界场，然后结合角点检测器的输出，通过投票机制生成候选线段集合，接着对每个候选线段做反事实统计检验（用公式计算"如果方向是随机的，出现当前这么一致的投票的概率有多低"），只保留那些统计上显著的线段，最后把这些验证过的线段重新渲染回密集场，作为干净的监督信号传给学生。通过这道验证关卡，杂乱的噪声和幻觉不会进入训练信号，系统保持了自举过程的清洁性。

四、在小规模实验上先验证，然后才放大

在把整套方法扩展到大规模训练之前，研究团队先在ImageNet-1K数据集上用ViT-L/16架构做了严格的对照实验，以验证每个设计决策的效果。他们用的基准线是DINO+iBOT——一个标准的语义自蒸馏框架，在完全相同的训练配置下对比。

基准线在ImageNet图片分类的k近邻（k-NN）准确率是81.6%，在NYU-Depth v2深度估计数据集上的线性探针δ?指标（一种衡量深度预测精度的标准）是81.4%，均方根误差（RMSE）是0.474。

研究团队按照以下顺序逐步加入各个组件，每步观察指标变化。

仅加入范畴化边界目标（纯几何监督），不改变其他任何东西，k-NN分类准确率几乎不变（81.8%），但深度估计的δ?跃升到84.4%，RMSE下降到0.446。这证明几何监督确实能够大幅提升空间感知能力，同时几乎不损害语义识别能力。

进一步加入"双重监督"——在边界区域同时保留语义自蒸馏目标和几何目标，k-NN上升到82.0%，δ?进一步提升到84.7%，RMSE降至0.443。这说明语义目标和几何目标不是竞争关系，而是互补的。

再加入旋转位置编码（RoPE）骨干网络，最终的k-NN达到82.4%，δ?达到84.9%，RMSE降至0.440。

作为对比，有一个关键的控制实验：如果只做强制边界遮掩，但仍然用语义目标（而非几何目标）来监督这些被遮住的边界区域，结果是k-NN 81.4%，δ? 81.2%，RMSE 0.481——比基准线还要略差。这直接证明了"遮哪里"和"预测什么"必须配合使用，缺一不可。强制遮掩边界，是告诉模型"在这些困难地方必须做功"；几何目标，是给这些困难地方提供正确的学习方向。两者结合，才能产生真正的增益。

五、把验证过的方法放大到十亿参数，打造LingBot-Vision

有了小规模实验的充分验证，研究团队开始构建LingBot-Vision——一个基于ViT-g/16架构、参数量约11亿的大型视觉基础模型。

训练数据方面，团队遵循了与DINOv2类似的数据整理流程，但实现在自己的数据源上。原始候选池是约20亿张网络图片，最终通过基于相似度检索的筛选，保留了约1.607亿张经过质量控制的图片。这批数据的规模与DINOv2使用的1.42亿张数据集相当，但比DINOv3使用的16.89亿张数据集小了一个数量级。为了覆盖多样的下游任务，检索时用到了多个领域的种子数据集，包括ImageNet、谷歌地标数据集、Mapillary城市街景数据集，以及ADE20K语义分割、NYU-Depth v2深度估计等。

训练本身分三个阶段：30万步的自蒸馏预训练、10万步的Gram锚定（用于修复长期训练后密集特征图可能出现的退化现象）、以及10万步的512像素高分辨率适应。总训练量不到DINOv3的三分之一。

工程效率方面，团队做了大量优化。边界预测头只在边界区域（而非所有像素）展开计算，因此计算量与边界区域的数量成正比，而非与图片总尺寸成正比。软标签构建和分类交叉熵损失被融合进自定义CUDA核心，消除了中间张量。老师网络的在线目标生成流水线（场解码、角点匹配、反事实验证、线段重渲染）全部实现为批量GPU操作，没有任何CPU往返通信，最终开销仅占总训练时长的极小一部分。

在完成大模型（ViT-g）的预训练之后，研究团队进一步通过蒸馏，得到了更小的学生模型：参数量约3亿的ViT-L、约8600万的ViT-B、以及约2100万的ViT-S。蒸馏时用冻结的大模型替代EMA老师，在相同流水线下训练，使学生也能继承大模型的几何感知能力。

六、实验结果：一个10亿参数的模型，在深度估计上击败70亿参数的竞争者

研究团队在多个标准测试集上对LingBot-Vision进行了系统评估，所有评估都采用"冻结特征探针"协议——骨干网络的权重完全固定，只训练一个线性层作为解码头，以确保性能差异真正来自特征质量，而非解码头设计。

在深度估计上，测试数据集包括室内场景的NYU-Depth v2和室外驾驶场景的KITTI。在NYU-Depth v2上，LingBot-Vision（ViT-g/16，约10亿参数）的RMSE达到了0.296，是所有对比模型中最好的——比参数量高达70亿的DINOv3（RMSE 0.309）和20亿参数的V-JEPA 2.1（RMSE 0.307）都要更低。与同等规模的竞争者相比，优势更大：比AM-RADIOv2.5低13%，比DINOv3 ViT-H+低16%，比DINOv2低20%，比同规模视频预训练模型V-JEPA 2.1 ViT-g低15%。在KITTI数据集上，LingBot-Vision以RMSE 2.552排在所有20亿参数以下模型的第一位，仅次于70亿参数的DINOv3（2.346）和20亿参数的V-JEPA 2.1（2.461）。

在语义分割上，测试数据集包括ADE20K、Cityscapes和VOC12。LingBot-Vision的表现接近同样是从70亿参数教师蒸馏出来的DINOv3 ViT-H+，在ADE20K上51.74 mIoU对53.5 mIoU，在Cityscapes上持平（79.6 vs 79.5），在VOC12上（87.5 vs 85.8）甚至超过后者。与等规模的DINOv2相比，在三个数据集上都有约4 mIoU的一致性提升。值得注意的是，LingBot-Vision是从零随机初始化开始训练的，没有借助更大的教师模型；而DINOv3 ViT-H+是从70亿参数教师蒸馏的，AM-RADIOv2.5则聚合了多个专门化教师的信号。

在视频物体分割上，研究团队测试了DAVIS-2017和YouTube-VOS——这两个测试需要把第一帧里标注的物体轮廓，通过特征相似度"传播"到后续帧，完全不需要在视频数据上做任何微调。LingBot-Vision在DAVIS上得到70.0分，在YouTube-VOS上得到73.5分，与DINOv3 ViT-H+（71.1和74.0）和70亿参数DINOv3（71.1和74.1）非常接近，是所有其余模型里最好的。与同规模的DINOv2相比，分别高出6.1和7.9分；甚至比在视频上预训练的V-JEPA 2.1 ViT-g还要高出1.9和1.2分，尽管后者专门用视频数据训练。

在ImageNet图片分类上，LingBot-Vision（ViT-g）的线性探针准确率为86.32%，k-NN准确率为83.39%，与DINOv2的旗舰模型（87.00%和83.68%）基本持平，但低于DINOv3（87.87%和85.68%）和SigLIP 2（87.33%和84.75%）。这个差距符合预期：边界导向的预训练把模型容量更多地投入了局部几何结构，而不是全局语义不变性。

蒸馏家族方面，ViT-L学生在NYU-Depth v2上取得0.310的RMSE，比同规模DINOv2（0.411）低25%，与70亿参数DINOv3的0.309几乎持平，但ViT-L只有约3亿参数，约是70亿参数模型的二十三分之一。ViT-B学生在同规模竞争者中取得最好的分类准确率（85.05%）和最好的深度表现（0.339 NYUv2，2.793 KITTI）。ViT-S学生在分类准确率上依然领先（82.22%）。

通过主成分分析（PCA）可视化，也能直观看到特征质量的差异：LingBot-Vision的特征把物体呈现为边界清晰的连贯区域，而DINOv2的特征有明显的逐块"斑点"噪声，SigLIP 2在非显著区域退化成块状噪声，V-JEPA 2.1的前景和背景纹理有明显的混叠。

七、把空间感知能力应用到深度补全，驱动LingBot-Depth 2.0

LingBot-Vision最直接的应用场景之一，是驱动深度补全（depth completion）任务——从深度相机拍摄的不完整深度图（里面有大量空洞，比如玻璃表面、镜子表面会让深度相机返回无效值），结合RGB图像，恢复出完整准确的深度图。这对机器人抓取、空间导航等实际应用极为重要。

研究团队之前已经有了第一代产品LingBot-Depth，其核心框架叫"掩码深度建模"（Masked Depth Modeling, MDM）。这个框架把深度补全重新理解为一种掩码自编码问题：把RGB图像和原始深度图分别用两个独立的嵌入层处理成特征序列，拼接在一起，然后让深度相机本身产生的"无效区域"充当自然的掩码——这些区域正好是最难的地方（玻璃、镜子、无纹理表面），需要模型从视觉上下文中推断。编码器初始化自DINOv2，解码器是一个层次化的卷积堆叠模块，用L1损失在有效真实深度的像素上训练。

LingBot-Depth 1.0的训练数据来自两个渠道：合成数据通过Blender渲染室内场景，加上模拟的散斑投影双目视觉，再通过半全局匹配算法产生带有真实相机噪声特征的深度图（约100万样本）；真实世界数据来自研究团队自建的多相机采集装置，涵盖多种室内、商业和室外场景，用FoundationStereo从红外双目对中蒸馏出伪真实深度（约200万样本）。两者加上公开数据集合计约1000万样本，公开释放了其中300万样本。

LingBot-Depth 2.0只做了两处改动：把编码器初始化从DINOv2换成LingBot-Vision（分别提供ViT-L/16和ViT-g/16两个版本），并把训练数据从公开的300万样本扩展到新整理的1.5亿样本。MDM框架本身的任何超参数和模块设计都没有改变。

研究团队做了一组严格的对照实验，专门验证编码器初始化的价值：在完全相同的MDM流水线和相同的数据集上，分别用DINOv2 ViT-L/14、DINOv3 ViT-L/16和LingBot-Vision ViT-L/16作为初始化，在14个基准测试集上对比。结果显示，LingBot-Vision的初始化在ViT-L规模下几乎横扫所有测试集，优势在最难的大面积遮挡场景（DIODE-Indoor）上最为显著（RMSE 0.094对DINOv2的0.152，DINOv3的0.114）。扩展到ViT-g规模后，LingBot-Vision（0.083）继续领先DINOv2（0.118）。

数据量扩展的效果同样经过了系统测试，分别用300万、2000万和1.5亿样本训练，对比LingBot-Vision和DINOv2两种初始化在各阶段的表现。两种初始化的精度都随数据量单调提升，但提升速度不同：在D102（严格阈值准确率）指标上，两者在300万数据时几乎持平（0.692对0.689），到2000万时差距扩大（0.777对0.752），到1.5亿时差距进一步扩大（0.795对0.755），而DINOv2在2000万到1.5亿之间的提升已经趋于饱和（0.752到0.755）。**更好的预训练，遇到更多数据，优势被放大而不是抹平**——这说明空间感知能力的优势确实来自编码器的内在特质，不会随数据规模增加而消失。

在最终的评测中，LingBot-Depth 2.0（ViT-L）在8个大面积遮挡和稀疏深度点测试集中的7个上取得最好的RMSE，在8个真实传感器测试集中的6个上取得最好的成绩。在最困难的透明物体场景（ClearGrasp数据集，专门测试D415和D435相机拍摄玻璃物体的情况）上，LingBot-Depth 2.0的RMSE分别达到0.010和0.012，比竞争对手CDMs（0.017和0.013）更好，远超OMNI-DC（0.042和0.027）和Any2Full（0.030和0.024）。在研究团队自建的LingBot评测集（覆盖办公室、医院、酒店、餐厅、停车场等35个不同室内场景，包含大量镜面和玻璃表面）上，LingBot-Depth 2.0在D415、D435和D455三种相机上的RMSE分别为0.242、0.363和0.394，而前代LingBot-Depth 1.0分别为0.295、0.345和0.434。

扩展到ViT-g骨干网络后，在大面积遮挡和稀疏深度点测试集上继续改善（DIODE-Indoor RMSE 0.060，NYU两种测试制度下分别为0.114和0.113），在LingBot传感器套件上也有进步（三种相机分别为0.228、0.345和0.375）。

说到底，这项研究做了一件听起来简单、但执行起来相当精巧的事：把"找边界"这件事，从AI视觉系统的输出任务，变成了输入任务——让模型在最原始的学习阶段就开始和边界打交道，而不是等到专门的任务调优时才接触它。

这件事的意义，可以用一个类比来理解。好比教人素描，一种方式是先教光影，后教轮廓；另一种方式从第一天起就让学生把轮廓当成核心练习对象。长期下来，后一种教法培养出来的学生，对形状和结构的直觉往往更扎实。LingBot-Vision的训练，选择了后一种路径。

最终的结果是：用约10亿参数、在约1.6亿图片上、花费不到DINOv3三分之一的训练量，得到了在密集空间感知任务上超越70亿参数模型的特征表示。而把这个表示用于深度补全，仅仅替换编码器初始化，不改变任何下游框架，就把LingBot-Depth从1.0推进到了2.0，并且随着训练数据的增加，这个优势还在持续扩大。

蚂蚁集团的研究团队已经把LingBot-Vision的预训练权重开放给了学术和工程社区（可通过Hugging Face上的robbyant/lingbot-vision检索相关资源，GitHub地址为robbyant/lingbot-vision，完整论文可通过arXiv:2607.05247查阅）。对于需要让机器真正"读懂"空间结构的场景——机器人抓取、3D场景重建、自动驾驶的环境感知——这套系统提供了一条可以直接复用的路径。至于边界驱动的预训练思路，能否进一步扩展到视频序列的时序感知、或者点云这类三维数据，留给后续研究者继续探索。

**Q&A**

Q1：LingBot-Vision的边界感知能力，具体是怎么在训练过程中从零学出来的？

A：LingBot-Vision借助了一种"密集吸引力场"表示：图片里每个像素都存储着它到最近边界的距离和方向。即使场的数值在训练初期几乎是随机的，通过汇聚大量像素的"投票"，也能粗略解码出线段位置。再配合一个轻量级角点检测器提供端点锚定，以及反事实统计检验过滤掉虚假候选，系统从第一步起就有了可用的边界信号，并随着训练不断精化，完全不需要人工边界标注或外部边缘检测器。

Q2：为什么参数量只有10亿的LingBot-Vision能在深度估计上超过70亿参数的DINOv3？

A：两者的训练目标不同。DINOv3的核心目标是语义不变性，Gram锚定是为了维护密集特征而额外添加的补丁机制，边界感知属于间接产物。LingBot-Vision从预训练最开始就强制模型在边界处做最难的重建任务，并用几何目标直接监督这些区域。深度估计的误差主要集中在物体边界和深度跳变处，而这恰恰是LingBot-Vision特征最精确的地方，所以用一个线性层做探针时就已经能体现出来，不需要用更大的解码头来弥补。

Q3：LingBot-Depth 2.0在处理玻璃和镜子时表现好，具体好在哪里？

A：主动深度传感器（比如RealSense系列）对玻璃和镜面几乎完全失效，因为光线会穿透或镜面反射，导致深度值缺失。LingBot-Depth 2.0需要从RGB图像中理解这些区域的几何形状，然后"补全"缺失的深度。由于LingBot-Vision的特征对物体边界高度敏感，能清晰区分玻璃边缘、背景和前景，补全出的深度在空间上是连贯的平面，而不是散点或扭曲的曲面。在ClearGrasp透明物体测试集上，LingBot-Depth 2.0的RMSE分别为0.010和0.012，优于其他主流方法。