生产级 AI，4 周交付。

我们的行事原则 · 生产环境中的 LLMs

不烧钱也能将 AI 投入生产的 10 条原则

这是我们使用 LLMs 构建产品时总结的经验。每个项目和每门课程都遵循这些原则。

1. 01

   严定规范，活写代码。

   一页可执行的规范，抵得上一周最终会被丢弃的代码。如果规范有误，LLMs 只会加速做错事。

2. 02

   调用模型前先做评估。

   先写一个无法通过的评估。没有明确的通过门槛，你拥有的不是产品，而是一个永远停留在原型阶段的项目。

3. 03

   工具胜过提示词。

   一个采用严格 schema 的 20 行工具，胜过 2,000 token 的系统提示词。模型能从错误的工具调用中恢复，却无法从模糊的指令中恢复。

4. 04

   积极缓存，果断路由。

   提示词缓存、embedding 缓存、响应缓存。便宜的模型负责路由，昂贵的模型负责生成。80% 的账单源于在错误的调用中使用了错误的模型。

5. 05

   为 LLMs 采用单体架构，为人采用微服务。

   LLMs 读取单体架构的速度快于由 12 个服务组成的网格。过早拆分会失去它们最大的优势：一次掌握整个系统。

6. 06

   精选上下文，而非雕琢提示词。

   模型的表现取决于上下文窗口中的内容。删掉每一个不属于事实、示例或约束的 token。

7. 07

   拿证据说话，不空口声称。

   每一次“能运行”都应对应一次测试运行、一行评估结果或一行 git 日志。凭感觉无法交付产品。

8. 08

   子智能体审查 = 2 个阶段。

   查找者 + 对抗性验证者。一个智能体可能自信地犯错；两个意见相左的智能体会迫使真相浮现。

9. 09

   管理者模式：5 → 1。

   一名操作者调度 5 个并行智能体，就能交付过去需要一支团队完成的工作。分轨执行、异步协作、记录交接。

10. 10

    球员兼教练。

    在同一天交付代码并审查智能体。关键能力是判断今天需要亲自敲代码，还是负责统筹。