प्रोडक्शन AI, 4 हफ़्तों में तैयार।

हमारे सिद्धांत · प्रोडक्शन में LLMs

पैसा बर्बाद किए बिना AI को प्रोडक्शन में उतारने के 10 नियम

LLMs के साथ काम करते हुए हमने जो सीखा। हर निर्माण और हर कोर्स इन्हीं का पालन करता है।

1. 01

   स्पेक सख़्त रखें, कोड लचीला।

   काम करने वाले स्पेक का एक पन्ना, फेंक देने वाले कोड के एक हफ़्ते से अधिक मूल्यवान है। स्पेक गलत हो तो LLMs गलत काम को तेज़ कर देते हैं।

2. 02

   मॉडल कॉल से पहले evals।

   पहले विफल होने वाला eval लिखें। पास होने का मानक न हो तो आपके पास उत्पाद नहीं, हमेशा अधूरा प्रोटोटाइप है।

3. 03

   टूल, prompts से बेहतर हैं।

   सख़्त स्कीमा वाला 20-पंक्तियों का टूल, 2,000-token के सिस्टम prompt से बेहतर है। मॉडल गलत टूल कॉल से उबर सकता है; अस्पष्ट निर्देश से नहीं।

4. 04

   आक्रामक caching, निर्मम routing।

   Prompt cache, embedding cache, response cache। सस्ता मॉडल route करे; महँगा मॉडल output बनाए। बिल का 80% गलत कॉल पर गलत मॉडल से आता है।

5. 05

   LLMs के लिए monolith, इंसानों के लिए microservices।

   LLMs, 12-service mesh के मुकाबले monolith को तेज़ पढ़ते हैं। जल्दी बाँटने पर उनकी सबसे बड़ी ताकत खो जाती है: पूरे सिस्टम को एक साथ समझना।

6. 06

   संदर्भ सँवारें, prompt नहीं।

   मॉडल उतना ही अच्छा है जितना उसकी window में मौजूद संदर्भ। हर वह token हटाएँ जो तथ्य, उदाहरण या बाधा नहीं है।

7. 07

   दावे नहीं, सबूत।

   हर ‘यह काम करता है’ के पीछे test run, eval row या git log line होनी चाहिए। केवल भरोसे से चीज़ें प्रोडक्शन में नहीं जातीं।

8. 08

   सब-एजेंट समीक्षा = 2 चरण।

   खोजकर्ता + विरोधी सत्यापनकर्ता। एक एजेंट पूरे भरोसे से गलत हो सकता है; असहमत दो एजेंट सच सामने लाते हैं।

9. 09

   मैनेजर मोड: 5 → 1।

   5 समानांतर एजेंटों को संचालित करने वाला एक ऑपरेटर वह काम कर देता है जिसके लिए पहले टीम चाहिए थी। अलग कार्यधाराएँ, async काम, दस्तावेज़ित हस्तांतरण।

10. 10

    खिलाड़ी भी, कोच भी।

    एक ही दिन कोड डिलीवर करें और एजेंटों की समीक्षा करें। असली कौशल यह पहचानना है कि आज खुद कोड लिखना है या संचालन करना है।