一、案例背景
2026年8月，一篇来自浙江大学陈静远教授课题组与英国斯旺西大学联合团队的论文在人工智能顶级会议IJCAI上引发广泛关注。论文揭示了一个颠覆行业直觉的发现：在视觉语言大模型（VLM）的微调过程中，对图像编码器的过度微调不仅无法提升模型在未知场景下的表现，反而会严重破坏其原有的泛化能力。研究团队据此提出了A3B2（Adaptive Asymmetric Adapter，自适应非对称适配器）方案，通过引入预测置信度机制，自动在适当时机“踩刹车”，放弃对图像分支的硬性微调，在保留预训练强泛化力的同时实现高效适配。
这一发现直指AI产业落地的核心痛点。近年来，以CLIP为代表的视觉语言大模型已成为计算机视觉领域的基础设施，广泛应用于电商商品识别、工业质检、医疗影像分析、自动驾驶感知等众多场景。据IDC统计，2025年中国AI大模型市场规模已突破千亿元，其中垂直行业应用占比超过60%。然而，大模型从实验室走向产业应用时，少样本迁移学习始终是最大的瓶颈之一——企业通常只有数千张甚至数百张标注数据，如何让通用大模型快速适应特定业务场景，同时不丧失其原有的泛化能力，成为制约AI产业化落地的关键难题。
高效参数微调（PEFT）技术因此应运而生。其核心思路是冻结预训练模型的大部分参数，仅微调少量新增的适配器模块（Adapter），以极低的计算成本实现模型适配。这一技术被业界视为大模型落地的“标准答案”，全球范围内已有超过10万家企业采用基于PEFT的微调方案。然而，一个长期存在的惯性思维也由此固化：既然是做图像分类，给图像编码器多挂几个Adapter、多做微调，模型理应能看懂更多视觉细节。
浙大团队的实验却给出了令人震惊的答案。研究团队在11个主流视觉数据集上进行了严谨的交叉对比实验，发现了三条“微调铁律”：其一，文本分支的改动收益更高——微调文本编码器带来的性能提升显著高于微调图像编码器；其二，在分布内任务中，同时微调图像塔和文本塔能达到最佳表现；其三，在分布外任务（OOD）中，激进地微调图像塔不仅带不来收益，反而会严重破坏CLIP原本强大的通用视觉表达。
……