vivo的Agent安全防御体系:从单点风险到复杂系统失控的治理跃迁

企业 vivo
行业 信息传输、软件和信息技术服务业
年份 2026
难度 高级
适用课程 数字经济与平台经济
核心概念 系统控制论,复杂系统治理,安全防御闭环,数字经济安全治理
来源 改编

案例摘要

一、案例背景 2026年8月,AICon人工智能开发与应用大会深圳站如期举行。这场汇聚腾讯、阿里、华为、百度、蚂蚁集团等50余家头部科技企业技术负责人的行业盛会,将目光聚焦于一个核心命题:当模型参数规模不断突破、推理成本持续下降、开源生态日益繁荣之际,真正的竞争力还剩下什么? 答案正在悄然转变——从模型能力本身,转向围绕模型构建可规模化的智能系统;从单点能力提升,转向系统工程与组织级落地能力。…

案例正文

一、案例背景

2026年8月,AICon人工智能开发与应用大会深圳站如期举行。这场汇聚腾讯、阿里、华为、百度、蚂蚁集团等50余家头部科技企业技术负责人的行业盛会,将目光聚焦于一个核心命题:当模型参数规模不断突破、推理成本持续下降、开源生态日益繁荣之际,真正的竞争力还剩下什么?

答案正在悄然转变——从模型能力本身,转向围绕模型构建可规模化的智能系统;从单点能力提升,转向系统工程与组织级落地能力。

在这一背景下,vivo AI安全工程师张栋的议题《从失控到可控:基于系统控制论的Agent安全防御体系设计与实践》引起了广泛关注。张栋长期聚焦大模型与智能体安全、LLM/Agent Red Team、AI安全治理及可信控制体系建设,近年来重点研究如何将系统控制论、复杂系统理论与工程安全结合,构建覆盖风险感知、动态决策、行为约束、异常恢复和持续进化的Agent安全防御闭环。

Agent(智能体)时代的到来,正在改变安全问题的本质。与传统的单次内容生成不同,Agent具备自主规划、工具调用和跨系统执行的能力,能够在复杂环境中完成多步骤、长周期的任务。这意味着,安全问题已由”单点风险”演变为”复杂系统失控”——风险不再只是某次模型输出错误,而是由模型、工具、权限、环境和反馈共同形成的系统性失控。

vivo作为全球领先的智能手机厂商,其AI助手已广泛应用于手机端和PC端。随着Agent能力的增强,vivo面临的安全挑战也在急剧升级:Agent可能在执行用户指令时产生目标漂移,可能因工具调用不当造成越权操作,可能在长周期任务中累积微小错误最终导致严重后果。这些问题无法通过传统的规则匹配和静态检测来解决。

二、问题与挑战

张栋在演讲中指出了Agent安全面临的六大核心痛点,这些痛点构成了vivo构建安全防御体系时必须跨越的障碍:

第一,系统状态难以完整观测。 Agent的意图、规划链路、工具调用和环境状态分散在不同模块,难以形成统一、实时且可信的风险视图。在传统安全体系中,安全团队可以清晰地看到每一次请求和响应;而在Agent场景中,安全团队需要同时跟踪意图规划、工具调用、环境反馈等多条并行链路,任何一个环节的观测缺失都可能导致风险盲区。

……

发表讨论

您的邮箱地址不会被公开。