by 凡达恩FDE
百万日活月烧18万:AI Agent规模化的成本账没人算过
上个月和一个创业团队复盘,他们的RAG Agent Demo跑了一个月,用户反馈很好,准备正式上线。我问他们算过成本吗。CTO愣了一下,打开计算器。
三个数字打出来,他脸色变了。
10万日活,GPT-4,每次3000 Token。月成本:18000美元。他们的种子轮一共融了150万人民币。
Demo和产品的分界线,不是功能多少,是成本能不能兜住。
加一百台服务器,Token钱一分不少

做了十年Web开发的人,对规模化有肌肉记忆:流量大了,加机器,加负载均衡,问题解决。基础设施成本基本线性,而且边际递减——加得多,单位成本越低。
LLM系统不是这套逻辑。
每个用户请求,都要调一次LLM API,每次都要付Token钱。 你加一百台负载均衡,一百台Server,每个请求该付的Token费照样付。规模化跟服务器数量没有关系,跟调用次数正相关。
而且LLM系统有三个让传统架构师抓狂的特性。
延迟高。每次推理2到10秒,瓶颈在模型本身,多线程解决不了。
成本不递减。第1万个请求和第10万个请求,单位成本一样。没有规模效应。
有状态。对话历史、Session State、Memory都在Instance里。传统水平扩展放进来就水土不服——请求被路由到另一台机器,上下文丢了。
所以问题很清晰了。LLM系统规模化的敌人是成本,不是流量。而且成本结构决定了:少调用LLM,比让LLM跑得快重要一百倍。
▎ 传统Web服务规模化靠加机器,LLM服务规模化靠减调用。
为什么Demo爽、上线痛

Demo阶段用户量小。10个人用,一天几十个请求,API账单忽略不计。用户体验好,算法效果好,所有人都很开心。
一上线就变天。
真实用户的使用方式天然比测试复杂。你设计Prompt时测的是标准问法,上线后什么语气都有。你测的上下文长度是3轮对话,上线后用户能聊10轮。你测的RAG检索返回2篇文档,上线后一次检索十几篇。Demo阶段的Token消耗和上线后的Token消耗,差3到5倍是常态。
我见过最惨的一个案例:一个客服Agent,内部测试时每次请求2500 Token。上线两周,因为用户对话越来越长、Context膨胀,单次请求涨到8000 Token。月成本从预算的500美元飙到1600美元。团队紧急做了上下文截断,降到4000 Token,但已经亏了一个月。
所以FDE的核心工作不是"上线后优化成本",而是"上线前就把成本结构设计好"。三层Cache架构,就是这道防线。
规模化的胜负手不在性能优化,在架构设计。提前把Cache和数据流设计清楚,比上线后打补丁省十倍的钱。
三层Cache + 状态外部化,一个方案解决两个难题

成本问题的根是LLM调用太多。状态问题的根是上下文锁在Instance里。这两件事,用一个统一的存储架构同时解决。
第一层:Redis,挡掉重复查询。
完全相同的Query,直接返回答复。TTL设5到15分钟,延迟5毫秒以内。这一层命中率不算高,大约15%,但胜在零成本、零延迟。Hot Query和Session State都放这里。
第二层:Vector DB,语义相近的问题复用答案。
三层Cache里最值得投入的,就是这一层。
传统Exact Match,"Q4销售数字"和"Q4销售业绩"是两码事。Semantic Cache用向量相似度判断语义——两个问法同一个意思,返回同一份答案。相似度阈值设0.92,FAQ场景命中率能做到50%以上。
阈值选择有讲究。0.95适合财务数字、法规查询这类不能出错的场景,但命中率偏低。0.90是推荐起点,平衡省钱和准确度。0.85不推荐,误命中风险太大。
不适合缓存的内容必须排除:个性化回答、即时数据(库存、股价)、有副作用的操作(下单、发邮件)。缓存了一个下单请求,两个用户下一张单,比多花Token钱严重得多。
第三层:KV Cache,System Prompt别每次都算。
长Prompt特别是System Prompt和固定知识库前缀,每次请求都重新计算一遍,纯属浪费。Gemini 1.5 Pro的KV Cache能让这部分Token便宜4倍。Prefix超过2000 Token就值得开。
这三层Cache解决的是成本问题。状态外部化解决的是扩展问题。
▎ Agent的水平扩展,本质上就是把状态从Instance里搬出去。搬不出去,加机器就白加。
怎么做?Redis存Session State和Hot Query。Vector DB存Semantic Cache和长期记忆。PostgreSQL存User Profile。所有状态都在外部,任意Instance可以处理任意Session。机器挂了不影响用户,流量涨了直接加Instance。
成本估算五步法
一个成熟的FDE,在项目初期就能掏出这张表。
Step 1: 算请求规模。DAU × 人均请求次数。
Step 2: 算每次Token数。Input = System Prompt + RAG + History + Query,Output = 回答长度。
Step 3: 算无Cache成本。请求数 × (Input Token × 价格 + Output Token × 价格)。
Step 4: 算Cache节省。L1命中率 × 节省比 + L2命中率 × 节省比 + KV Cache省。
Step 5: 出最终数字。
10万DAU的RAG Agent为例。每天30万请求,每次2500 Input + 400 Output Token。用Gemini Flash,无Cache月成本169美元。加三层Cache后,降到50到70美元。
GPT-4无Cache月成本18000美元,Gemini Flash加三层Cache降到70美元。模型选择加架构设计,差了两个数量级。
你的系统里,System Prompt有多长?每次请求都在重复计算这部分,算过浪费多少吗?上线前把这个数算清楚,比上线后关API省钱得多。
说给未来的FDE

这篇文章讲了三件事:成本估算的方法论、三层Cache的架构设计、状态外部化的方案。
但本质上只讲了一件事:Demo和产品的分界线,不是代码写得好不好,是成本能不能撑住规模。
客户问"这个系统百万日活跑得起吗",你不能说"应该可以"。你得能回答:L1命中率多少,L2阈值设多少,KV Cache省多少,月成本多少。这些数字是你设计出来的,不是猜出来的。
下一讲,我们聊多Agent协同。单个Agent解决不了的问题,怎么靠团队协作搞定。
如果觉得有用,欢迎分享给更多人 🎉
- END -