AI สำหรับโปรดักชัน ส่งมอบใน 4 สัปดาห์

หลักที่เรายึดถือ · LLMs บนโปรดักชัน

10 หลักการนำ AI ขึ้นโปรดักชันโดยไม่เผาเงินทิ้ง

สิ่งที่เราเรียนรู้จากการสร้างด้วย LLMs ทุกโปรเจกต์และทุกหลักสูตรยึดหลักเหล่านี้

1. 01

   สเปกต้องชัด โค้ดปรับได้

   สเปกที่นำไปใช้ได้หนึ่งหน้ามีค่ากว่าโค้ดที่ต้องทิ้งทั้งสัปดาห์ หากสเปกผิด LLMs จะเร่งความเร็วให้กับสิ่งที่ผิด

2. 02

   ประเมินผลก่อนเรียกโมเดล

   เขียนการประเมินที่ไม่ผ่านก่อน หากไม่มีเกณฑ์ผ่าน คุณไม่ได้มีผลิตภัณฑ์ แต่มีต้นแบบที่ไม่มีวันเสร็จ

3. 03

   เครื่องมือชนะพรอมต์

   เครื่องมือ 20 บรรทัดที่มีสคีมาเข้มงวดชนะพรอมต์ระบบ 2,000 โทเคน โมเดลแก้ตัวจากการเรียกเครื่องมือผิดได้ แต่แก้ตัวจากคำสั่งคลุมเครือไม่ได้

4. 04

   แคชให้เต็มที่ กำหนดเส้นทางอย่างเด็ดขาด

   แคชพรอมต์ แคช embedding แคชคำตอบ โมเดลราคาถูกกำหนดเส้นทาง โมเดลราคาแพงสร้างผลลัพธ์ 80% ของค่าใช้จ่ายมาจากการใช้โมเดลผิดกับงานผิด

5. 05

   โมโนลิธสำหรับ LLMs ไมโครเซอร์วิสสำหรับมนุษย์

   LLMs อ่านโมโนลิธได้เร็วกว่าระบบที่เชื่อม 12 บริการ แยกเร็วเกินไปแล้วคุณจะเสียจุดแข็งที่สุดของมัน นั่นคือการมองเห็นทั้งระบบพร้อมกัน

6. 06

   คัดสรรบริบท ไม่ใช่ขัดเกลาพรอมต์

   โมเดลจะดีได้เท่ากับสิ่งที่อยู่ในหน้าต่างบริบท ตัดทุกโทเคนที่ไม่ใช่ข้อเท็จจริง ตัวอย่าง หรือข้อจำกัด

7. 07

   แสดงหลักฐาน ไม่ใช่กล่าวอ้าง

   ทุกคำว่า “ใช้ได้” ต้องมีผลการรันทดสอบ แถวการประเมิน หรือบรรทัดในบันทึก git ความรู้สึกอย่างเดียวส่งมอบผลิตภัณฑ์ไม่ได้

8. 08

   การรีวิวโดยเอเจนต์ย่อย = 2 ขั้น

   ผู้ค้นหา + ผู้ตรวจสอบเชิงวิพากษ์ เอเจนต์ตัวเดียวอาจผิดอย่างมั่นใจ แต่เอเจนต์สองตัวที่เห็นต่างจะบังคับให้ความจริงปรากฏ

9. 09

   โหมดผู้จัดการ: 5 → 1

   ผู้ควบคุมหนึ่งคนประสานเอเจนต์ 5 ตัวที่ทำงานคู่ขนาน ส่งมอบงานที่เคยต้องใช้ทั้งทีม แยกสายงาน ทำงานอะซิงโครนัส และบันทึกการส่งต่องาน

10. 10

    โค้ชที่ลงสนาม

    ส่งมอบโค้ดและรีวิวเอเจนต์ในวันเดียวกัน ทักษะสำคัญคืออ่านให้ออกว่าวันนี้ต้องลงมือพิมพ์โค้ดเองหรือทำหน้าที่ประสานงาน