องค์กรที่ใช้โมเดล AI หลายตัวประเมินอัตราความล้มเหลวต่ำเกินไปถึง 2.25 เท่า

การใช้โมเดล AI หลายตัวในองค์กรเพื่อเพิ่มประสิทธิภาพและลดความเสี่ยงในการล้มเหลวเป็นแนวทางที่ได้รับความนิยมมากขึ้นในยุคปัจจุบัน แต่การศึกษาล่าสุดได้เปิดเผยว่าการประเมินอัตราความล้มเหลวของโมเดลเหล่านี้อาจต่ำเกินไปถึง 2.25 เท่า ซึ่งส่งผลกระทบต่อการตัดสินใจทางธุรกิจและการลงทุนในเทคโนโลยีนี้อย่างมีนัยสำคัญ.

การศึกษาได้ประเมินโมเดล AI จำนวน 67 ตัวจาก 21 ผู้ให้บริการ โดยพบว่าการคาดการณ์ว่าการรวมโมเดลหลายตัวจะช่วยเพิ่มความปลอดภัยจากความล้มเหลวเป็นแนวคิดที่มีข้อบกพร่องทางคณิตศาสตร์ ซึ่งเรียกว่า “เพดานการล้มเหลวร่วม” (co-failure ceiling) โดยแนวคิดนี้อิงจากการที่สองโมเดลไม่ล้มเหลวพร้อมกันในคำถามเดียวกัน แต่ความจริงแล้ว ข้อจำกัดที่แท้จริงของการประสานงานคือเปอร์เซ็นต์ของคำถามที่ทุกโมเดลในกลุ่มให้คำตอบผิดพร้อมกัน.

การมองข้ามเพดานการล้มเหลวร่วมนี้ทำให้องค์กรต่างๆ สร้างโครงสร้างพื้นฐานที่ซับซ้อนและมีค่าใช้จ่ายสูงเพื่อไล่ตามการเพิ่มประสิทธิภาพที่อาจไม่มีอยู่จริง อย่างไรก็ตาม นักพัฒนาสามารถใช้คณิตศาสตร์เดียวกันนี้ในการสร้างการทดสอบที่ไม่มีค่าใช้จ่ายเพื่อกำหนดว่าเมื่อใดที่การประสานงานของโมเดลหลายตัวจะคุ้มค่า.

การจัดการกับโมเดลหลายตัวนั้นมักจะต้องพึ่งพาสถาปัตยกรรมสามแบบ ได้แก่ โมเดลเราท์เตอร์ (model routers) ที่ทำหน้าที่เหมือนตำรวจจราจร ส่งคำถามที่ซับซ้อนให้กับโมเดลที่มีค่าใช้จ่ายสูง และคำถามที่ง่ายไปยังโมเดลที่มีค่าใช้จ่ายต่ำ, ระบบ Cascade ที่ส่งคำถามไปยังโมเดลราคาถูกก่อน และจะส่งไปยังโมเดลระดับพรีเมียมหากระบบแรกแสดงสัญญาณความไม่มั่นใจ, และแนวทางเช่น Mixture-of-Agents (MoA) ที่รวมโมเดลหลายตัวโดยการถามคำถามเดียวกันและสร้างคำตอบที่สังเคราะห์จากผลลัพธ์ที่รวมกัน.

การใช้สถาปัตยกรรมเหล่านี้มีค่าใช้จ่ายแฝงที่เรียกว่า “ราคาเงา” (shadow price) ที่เพิ่มขึ้นในการคำนวณ โดยทุกครั้งที่ทีมพัฒนานำเราท์เตอร์หรือ Cascade มาใช้ พวกเขาจะต้องจ่ายค่าใช้จ่ายเพิ่มเติมในด้านความล่าช้าในระบบ, การบำรุงรักษาโครงสร้างพื้นฐานที่ซับซ้อน, และความเสี่ยงในการบริหารจัดการที่เพิ่มขึ้นจากการใช้ API หลายตัว. เพื่อที่จะทำให้ค่าใช้จ่ายในการดำเนินงานเหล่านี้มีความสมเหตุสมผล วิศวกรจำเป็นต้องมีการวิเคราะห์ที่ชัดเจนเกี่ยวกับความเสี่ยงและผลตอบแทนจากการลงทุนในเทคโนโลยี AI หลายตัวนี้.

การศึกษาในครั้งนี้จึงเป็นการเตือนใจให้องค์กรต่างๆ ต้องพิจารณาอย่างรอบคอบถึงกลยุทธ์การใช้โมเดล AI หลายตัว และควรมีการวิเคราะห์ที่ดีขึ้นเกี่ยวกับความเสี่ยงและประสิทธิภาพที่แท้จริงของระบบที่พวกเขากำลังพัฒนา.