本番AIを4週間でリリース。

私たちの原則 · 本番環境のLLMs

コストを浪費せずAIを本番稼働させる10の原則

LLMsを使った開発から得た学びです。すべての開発と講座がこの原則に従います。

1. 01

   仕様は厳密に、コードは柔軟に。

   機能する仕様書1ページは、捨てるコードを1週間書くより価値があります。仕様が間違っていれば、LLMsは間違ったことを加速させます。

2. 02

   モデル呼び出しより先にevalsを。

   まず失敗するevalを書きます。合格基準がなければ、それは製品ではなく、永遠に続くプロトタイプです。

3. 03

   ツールはpromptに勝る。

   厳密なスキーマを持つ20行のツールは、2,000-tokenのシステムpromptに勝ります。モデルは誤ったツール呼び出しからは復旧できますが、曖昧な指示からは復旧できません。

4. 04

   徹底的にキャッシュし、容赦なくルーティングする。

   Promptキャッシュ、embeddingキャッシュ、レスポンスキャッシュ。安価なモデルが振り分け、高価なモデルが生成する。請求額の80%は、誤った呼び出しに誤ったモデルを使うことで生じます。

5. 05

   LLMsにはモノリス、人間にはマイクロサービス。

   LLMsは12サービスのメッシュより、モノリスを速く読み取ります。早く分割しすぎると、システム全体を一度に把握するという最大の強みを失います。

6. 06

   promptではなくコンテキストを磨く。

   モデルの質はウィンドウ内の情報で決まります。事実、例、制約のいずれでもないtokenはすべて削ります。

7. 07

   主張ではなく証拠を。

   「動く」という言葉は、テスト実行、evalの行、gitログの行で裏付けます。雰囲気だけではリリースできません。

8. 08

   サブエージェントレビュー = 2段階。

   探索役 + 敵対的な検証役。1つのエージェントは自信満々に間違えます。意見が割れる2つのエージェントが真実を引き出します。

9. 09

   マネージャーモード：5 → 1。

   1人のオペレーターが5つのエージェントを並列に指揮し、以前ならチームが必要だった成果を届けます。作業レーン、非同期進行、文書化された引き継ぎ。

10. 10

    プレイヤー兼コーチ。

    同じ日にコードをリリースし、エージェントをレビューする。今日必要なのが自らコードを書くことか、指揮することかを見極める力が重要です。