by 凡达恩FDE


一个FDE在客户现场用Dify拖了个"交期异常预警Agent",48小时跑通Demo,业务方拍手叫好。然后客户说:"不错,我们想上线跑三个月。"

Dify拖48小时没问题。但跑三个月?并发上来了,定制化人审节点加不了,性能调优空间有限,第三方依赖不可控。Demo和生产之间隔的不是时间,是一整套工程骨架。

这就是FDE武器库的第二层:低代码是快刀,工程框架是承重墙。第五讲你学会用刀,这一讲你得学会砌墙。

什么时候该从低代码逃逸

不是所有项目都要逃逸。很多内部知识库问答Bot,Dify跑到天荒地老都没问题。但如果出现下面四个信号里任何一个,你就该启动迁移了。

信号一:流程需要"走回头路"。 低代码平台的有向无环图(DAG)只能往前走,A到B到C到D。但真实业务经常需要循环:Agent调了工具,发现结果不对,退回来重新规划;或者走到某个高风险操作前暂停,等人工审批,审批过了再继续。DAG表达不了"退回"和"循环",这时候你需要状态机。

信号二:推理延迟成了瓶颈。 用户问一个问题,等8秒才出结果,业务方说"太慢了"。低代码平台能做的有限,但工程框架可以引入流式输出(用户边等边看到文字往外蹦)、异步处理(请求扔进去先返回个ID,结果好了再推)、推理缓存(相同问题直接返回上次的答案)。这些都需要在代码层面控制,拖拽拖不出来。

信号三:合规审计要求全链路日志。 政企客户说"我要知道每个Agent的每一步决策日志、谁在什么时间检索了什么文档"。Dify内置的日志功能不够细,你需要自己埋点、写审计中间件、做权限管控。这是工程框架的主场。

信号四:Agent能力要变成API服务。 业务方不只想要一个聊天框,还想把Agent能力封装成API,让其他系统调用。低代码平台的对话应用很难变成标准RESTful服务,但FastAPI天生就是干这个的。

记住一句话:低代码验证假设,工程框架承载生产。两者不是替代关系,是接力关系。

LangGraph:让Agent学会走回头路

传统Agent工作流是线性的:用户输入→意图识别→工具调用→输出。一条链走到底。

但真实业务不长这样。一个跟单Agent接到"客户催单"的消息,它先查ERP看订单状态,发现延期了,需要决定是直接回复客户还是升级给主管。如果升级给主管,主管审批后,Agent要继续执行后续动作。这里面有循环、有条件分支、有人审暂停。

LangGraph用"节点+边+状态"的图结构来建模这种流程。每个节点是一个计算步骤(调LLM、执行工具、人工审批),边定义节点间的流转条件,状态是全局共享的上下文:对话历史、中间结果、错误信息全在里面。

最关键的能力是人审暂停。当Agent试图执行高风险操作,比如自动退款金额超过5000块,状态机会暂停执行,等人工确认后继续。这个能力在低代码平台里要么没有,要么很僵硬。在LangGraph里,它就是一个节点的配置。

举个具体场景。你给一个制造企业搭"采购审批Agent":Agent收到采购申请→自动比价(调工具节点)→判断是否超预算(条件边)→超预算则暂停等审批(人审节点)→审批通过后自动生成采购单(执行节点)→不通过则退回修改(循环边)。

这个流程在Dify里画不出来,因为DAG不支持"退回"和"循环"。在LangGraph里,它就是一个标准的StateGraph。

▎ 低代码平台画的是直线,LangGraph画的是地图——有岔路、有回头路、有红绿灯。

向量库不是只存向量,还得管谁能看到

RAG系统的记忆核心是向量数据库。主流选型就四个:Milvus、Pinecone、Chroma、PgVector。选型时大部分人只看性能和部署方式,但企业级场景里有个更重要的维度:元数据权限过滤。

什么意思?一个制造企业的知识库里,生产部门的文档只能被生产相关的Agent检索,仓储部门的检索结果不能包含财务数据。如果向量库只存向量不存元数据,那所有Agent都能搜到所有文档,这在企业里是不可接受的。

FDE需要做两件事。第一,向量化的时候把文档的部门标签、密级、有效期等元数据一并存进去。不是只存"这段话的向量是什么",而是"这段话的向量是什么+它属于哪个部门+密级几级+谁有权看"。

第二,检索的时候加前置过滤条件。不是先检索再过滤(那样效率低),而是在向量检索的同时用WHERE条件过滤。比如WHERE dept='生产部' AND clearance_level>=3,确保检索结果在企业权限边界内。

四个选型在这块差异不小:

💡 划重点

Milvus支持元数据过滤但语法较重;PgVector直接用SQL过滤最自然,跟现有PostgreSQL权限体系无缝衔接;Pinecone的过滤是SaaS级的,方便但不适合数据不出域的场景;Chroma轻量但权限粒度粗。选型不是选最快的,是选最匹配你企业权限架构的。

模型选型是算账不是选美

模型选型这块,很多技术人容易陷入"谁最强"的竞赛。但FDE的选型逻辑不是选美,是算账。四个维度:推理能力、中文合规、成本、延迟。

先说成本。DeepSeek R2单次推理成本大约是GPT-5.6的五分之一。如果一个内部知识库问答场景,日活1万用户,每人问5个问题,每个问题平均2000 token,用GPT-5.6一个月可能烧掉大几万,用DeepSeek可能几千块搞定。知识库问答对推理能力的要求没那么高,DeepSeek完全够用。

再说合规。政企内网部署场景,数据不能出域,GPT和Claude直接排除。你只能选支持私有化部署的开源模型:Qwen3、GLM这类国产模型在中文理解和国内合规方面有天然优势。

最后说延迟。面向客户的复杂推理应用,如果用户等8秒才出结果,体验是灾难。这时候要么选推理速度快的模型,要么在工程层面做流式输出+语义缓存。

给你一张选型决策表,照着填就行:

场景
推荐模型
理由
内部知识库问答
DeepSeek R2 / Qwen3
成本可控,能力够用
面向客户复杂推理
GPT-5.6 / Claude Opus5
输出质量优先,成本可接受
政企内网私有化
Qwen3 / GLM
数据不出域,合规优先
高并发成本敏感
DeepSeek R2
性价比最高,五分之一成本

注意一个常见误区:不要一个模型打天下。成熟的做法是模型路由:简单问题走便宜模型,复杂问题走强模型,高风险决策走人工。这比用一个大模型兜底省太多钱了。

从1个用户到1万个,成本结构会变脸

这是FDE最容易忽略的坑。PoC阶段只有几个测试用户,成本几乎为零。但当系统上线、用户量爬到1万时,LLM系统的成本结构会发生质变。

传统Web服务的成本是线性的:流量增加,多加服务器就行。但LLM系统不一样。它按token计费,请求量增长,成本线性甚至超线性增长,没有边际成本递减这回事。

规模化挑战来自三个方面。高延迟:每次推理2到10秒,靠加服务器解决不了,因为瓶颈在GPU推理速度。成本与请求线性相关:1万个用户每天问5万个问题,每个问题2000 token,月成本可能从几百块跳到几万块。有状态性:对话历史和Session状态难以水平扩展,不能像Web服务那样简单加机器。

FDE需要设计三层缓存来应对:

第一层,应用层缓存。 用Redis缓存完全相同的查询结果。用户A问了"退货政策是什么",用户B再问同样的问题,直接返回缓存,不调模型。这一层能砍掉30%到50%的重复请求。

第二层,语义缓存。 用户A问"怎么退货",用户B问"退货流程是什么"。字面不同但语义相同,用向量数据库做相似度匹配,命中就返回缓存结果。这一层再砍掉15%到25%。

第三层,KV缓存。 利用LLM提供商的上下文缓存机制。如果系统提示词很长(比如2000 token的RAG上下文),每次请求都重新计算这2000 token是巨大浪费。KV缓存让提供商记住这部分计算结果,后续请求只算增量部分。

三层叠加下来,原本1万日活的月成本可能从5万降到1.5万到2万。FDE在工程层面的价值就在这:系统跑起来只是及格线,规模化时烧不穿客户预算才是本事。

你现在回头看看自己手上的AI项目,如果用户量翻10倍,月成本会变成多少?你有没有做缓存?如果答案是"没想过",那你现在该想了。


从Dify到LangGraph,从向量库到模型选型,这一讲的核心就一件事:低代码让你快速验证假设,工程框架让你把验证过的假设变成能扛住三个月生产的系统。

两者不矛盾,是FDE工具谱系的两端。会拖拽不丢人,只会拖拽才丢人。

下一讲,我们深入RAG的最小链路,拆解从文档解析到检索生成的每一个环节。确保你搭的RAG系统不只是"能跑",而是"可信"。

Deal Onsite, Deliver Real Value|扎根现场,产出实效

如果觉得有用,欢迎分享给更多人 🎉


- END -