ลดต้นทุนการอนุมาน RAG ลง 6 เท่า เริ่มต้นจากการตัดสินใจว่าอะไรไม่ควรเข้าถึง LLM

การพัฒนาระบบการจัดการการสร้างข้อมูลที่เพิ่มการค้นหา (RAG) สำหรับการจำแนกประเภทที่มีความเสี่ยงสูงนั้น มักจะมีการเลือกใช้สถาปัตยกรรมเดียวกันโดยทีมงานต่าง ๆ นั่นคือ การส่งกรณีที่มีความไม่ชัดเจนไปยังโมเดลภาษา (LLM) และหวังว่าบริบทที่ดึงมาจะช่วยแก้ไขปัญหาได้ ซึ่งวิธีนี้อาจทำงานได้ดีในช่วงการสาธิต แต่เมื่อระบบต้องเผชิญกับการตรวจสอบจากผู้ตรวจสอบหรือเจ้าหน้าที่ด้านการปฏิบัติตามกฎระเบียบ ความเสียหายที่เกิดจากการตัดสินใจที่ไม่ถูกต้องนั้นจะไม่ใช่เพียงแค่คำตอบที่ไม่ดีจากแชทบอท แต่เป็นเรื่องที่ต้องรับผิดชอบในระยะยาว.

ในปีที่ผ่านมา ผู้เขียนได้ทำการสร้างระบบการจำแนกประเภทที่ใช้ RAG ในสภาพแวดล้อมที่มีการควบคุม ซึ่งความผิดพลาดในการตัดสินใจอาจมีผลกระทบที่รุนแรง ดังนั้น จึงมีความจำเป็นที่จะต้องมีการออกแบบที่แตกต่างออกไปจากที่เนื้อหาวิศวกรรม AI ส่วนใหญ่เสนอ โดยเฉพาะเมื่อไม่สามารถที่จะมีความไม่แน่นอนในทุกกรณีได้ การใช้สถาปัตยกรรมแบบ cascade จึงเป็นทางเลือกที่เหมาะสมในการแก้ไขปัญหานี้.

หนึ่งในปัญหาที่สำคัญคือค่าใช้จ่ายที่ไม่สามารถมองเห็นได้จากการใช้ LLM ในทุกกรณี การส่งข้อมูลทั้งหมดผ่านโมเดลภาษาใหญ่ (LLM) ดูเหมือนจะเป็นทางเลือกที่น่าสนใจ เนื่องจากมีชิ้นส่วนที่เคลื่อนไหวไม่มากและทำให้การพัฒนารวดเร็วขึ้น แต่ปัญหาจะเกิดขึ้นในภายหลังในสามด้านหลัก ได้แก่ การตรวจสอบได้, ค่าใช้จ่ายในระดับใหญ่, และการเบี่ยงเบนของโมเดลในกรณีที่ง่าย.

ในด้านการตรวจสอบได้ การบอกว่า “โมเดลตัดสินใจจากบริบทที่ดึงมา” ไม่ใช่คำตอบที่ยอมรับได้ เพราะต้องมีเส้นทางการตัดสินใจที่มนุษย์สามารถสร้างขึ้นได้โดยไม่ต้องรันการอนุมานใหม่และหวังว่าจะได้ผลลัพธ์เดียวกัน นอกจากนี้ ในด้านค่าใช้จ่าย หากระบบของคุณต้องประมวลผลกรณีหลายหมื่นกรณีต่อวัน และทุกกรณีต้องเรียกใช้ LLM พร้อมกับเอกสารที่ดึงมา ค่าใช้จ่ายในการอนุมานและความล่าช้าจะเพิ่มขึ้นตามปริมาณในลักษณะที่ตรรกะที่ใช้กฎไม่เป็นเช่นนั้น.

สุดท้าย การเบี่ยงเบนของโมเดลในกรณีที่ง่าย ๆ เป็นอีกหนึ่งปัญหาที่ไม่ค่อยมีการพูดถึง โมเดล LLM มีความสามารถในการตัดสินใจที่ละเอียดอ่อน แต่กลับไม่สอดคล้องกันในกรณีที่ควรจะมีคำตอบที่ชัดเจน การออกแบบระบบที่สามารถจัดการกับปัญหาเหล่านี้จึงเป็นสิ่งสำคัญในการพัฒนาระบบ RAG ที่มีประสิทธิภาพและสามารถตรวจสอบได้ในระยะยาว.