一、案例背景
2026年11月,硅谷风险投资机构门罗风投(Menlo Ventures)发布《2026年企业AI现状报告》,披露了一组令中国AI行业振奋的数据:美国企业用于开源模型的支出中,89%付给了中国模型,其中Kimi占61%、DeepSeek占15%、GLM占11%。从表面看,这是中国大模型依靠性能与定价优势在海外市场取得的一次标志性突破。
然而,同一份报告中还有另一组容易被忽略的数字:开源模型在Token使用量上已拿下接近五分之一的份额(19%),但仅占企业模型总体支出的4%。绝大部分企业AI预算仍流向闭源大模型。换言之,89%是一份”浓度很高但体量有限”的份额。中国模型在海外开源市场赢得了调用量,却没有赢得相应的收入体量。
更深刻的矛盾藏在成本结构之中。大模型API的商业模式表面是”出售算力”,按输入、输出词元(Token)计价;但词元背后交付的实质是”状态”——会话上下文、缓存、审计日志等数据资产。这些状态不依附于算力,而是落脚在内存与存储上,而存储正是本轮涨价压力最集中的元器件。由此形成一个结构性错配:收入按词元核算,成本却跟着GB走。
这一错配在Agent(智能体)任务成为海外新增流量主力后被急剧放大。传统对话场景中,一轮问答结束、会话关闭,缓存资源随即释放,硬件回归空闲,服务商可以依托Token总量估算成本,以吞吐摊薄单位开销,低价跑量的逻辑尚能自洽。但Agent任务的资源节奏截然不同:任务启动阶段需灌入几十万Token级别的前置文档与批量业务数据;随后进入数十轮链式工具调用,持续检索、读取外部信息;整个会话可能挂起数小时乃至更久,同一份前置上下文被反复复用。在没有主动关闭会话的前提下,这部分上下文缓存持续占用资源——模型持续生成新Token,只是追加缓存,并不会自动释放已占用的显存。
这意味着,厂商宣传的”百万级上下文窗口”落到机房账面上,是每一路活跃并发都可能需要预留数十GB的HBM空间来承载持续在线的会话状态。KV量化、MLA、缓存压缩等技术试图压低单会话显存开销,但只能优化单位成本,无法绕开底层约束:只要会话处于可随时响应的活跃状态,其核心状态数据就必须驻留在高速存储中。
……