一、案例背景
2026年11月,雷峰网报道了中山大学梁小丹团队GeoThinker系列研究的两项成果。这项研究的核心贡献在于:让视觉语言模型在不实时调用外部三维几何编码器的情况下,依然保持空间推理能力,推理速度提升约3.6倍。从1.45秒缩短至0.40秒——这个数字背后,是一场持续近两年的技术路线抉择,也是一次典型的”战略转向如何落地”的组织决策过程。
梁小丹是中山大学教授,国家”万人计划”青年拔尖人才,曾获达摩院青橙奖、吴文俊人工智能优秀青年奖等多项高含金量青年奖项。她长期研究多模态视觉理解、三维表征与具身智能。GeoThinker系列工作正是她沿着这一方向持续深耕的成果。两项研究的通讯作者均为梁小丹,合作方包括引望(第一项工作)、小鹏汽车、南洋理工大学和穆罕默德·本·扎耶德人工智能大学(MBZUAI,第二项工作)。
要理解这项研究的战略意义,需要先理解视觉语言模型(VLM)做空间推理时的技术困境。判断物体的位置、距离和空间关系,是VLM实现空间推理需要具备的能力。当前一种常见做法是接入VGGT(Visual Geometry Grounded Transformer)这类三维几何编码器,从多视角图像中提取深度、点云等空间线索,辅助模型判断。VGGT可以结合多张照片提取场景三维几何信息——例如输入客厅不同角度的照片,它能整合多视角信息,分析沙发、茶几的位置关系,输出几何特征,帮助VLM解答空间类问题。
问题在于,外部几何信息并不是越多越好。判断桌子在沙发的哪个方向,并不需要房间里所有家具和墙壁的信息。无关的几何特征可能干扰模型判断;更关键的是,每次调用外部三维模型,都会增加推理时间。这就形成了一个两难:不接入几何信息,模型空间推理能力不足;接入几何信息,推理速度又难以满足自动驾驶、机器人等场景对”即时反应”的要求。
梁小丹团队的应对策略是分两步走。第一项工作GeoThinker(论文《Thinking with Geometry: Active Geometry Integration for Spatial Reasoning》,已被ICML 2026收录)针对无关几何特征干扰判断的问题,设计了空间信息融合机制(Spatial-Grounded Fusion),允许模型根据当前问题主动去几何特征里寻找相关线索,再通过重要性门控(Importance Gating)突出关键区域,减少无关信息的干扰。在衡量空间感知能力的综合基准VSI-Bench上,GeoThinker取得72.6分,比基础模型提高了14.7分。
……