一、案例背景
2026年，人工智能产业正经历一次深刻的范式迁移。正如QCon全球软件开发大会所洞察的，AI正在”从回答问题的模型，演变为能够自主规划、调用工具、执行任务的软件系统”。AI不再只是软件中的一个能力模块，而开始成为软件系统本身的一部分。这一转变意味着，企业面对的核心挑战已从”如何训练更好的模型”转向”如何让具备自主能力的AI稳定、可信、可控地运行”。模型决定AI能做什么，系统决定AI能否真正创造价值——这一判断正在成为行业共识。
蚂蚁集团是中国领先的金融科技企业，其技术栈覆盖支付、信贷、保险、风控等核心金融业务，服务数以亿计的用户。近年来，蚂蚁集团在大模型和AI Agent领域持续投入，将Agent技术嵌入到智能客服、风控审核、合规检查、研发辅助等多个生产业务场景中。然而，随着Agent从实验室走向真实业务，一个棘手的运营管理问题浮出水面：传统的日志（Logs）、指标（Metrics）和链路追踪（Traces）三支柱可观测体系，虽然能回答”系统是否正常运行”，却难以回答”Agent是否正确地完成了任务”、”问题发生在哪个环节”以及”如何持续衡量和改善Agent的输出质量”。
这一困境并非蚂蚁独有。整个行业都在探索Agent可观测性的最佳实践。2026年QCon上海站专门设立了”AI Agent可观测与持续改进工程”专题，蚂蚁集团可观测技术架构师刘杨受邀分享题为《从Trace到规模化实时评估：面向生产流量的Agent可观测实践》的主题演讲，系统介绍了蚂蚁在这一领域从零到一的建设历程。该分享因其体系完整性和大规模生产验证而受到广泛关注，也为我们提供了一个观察AI Agent运营管理的典型样本。
二、问题与挑战
蚂蚁集团在推进Agent可观测体系建设过程中，面临的核心运营管理挑战可以归纳为以下四个层面：
第一，评估对象的根本性变化。 传统软件系统的可观测性关注的是”系统是否宕机”、”响应延迟是否超标”、”错误率是否在阈值以内”等确定性指标。但Agent的行为具有概率性和开放性——同一个输入可能产生不同的输出路径，Agent可能”成功”完成了一个任务但结果质量很差，也可能在某个中间步骤”悄悄”偏离了预期目标却最终产出了一个看似合理的答案。传统三支柱体系无法捕捉这种语义层面的质量问题。
……