Nvidia พบว่า คณิตศาสตร์เชิงเส้นง่าย ๆ สามารถแทนที่การส่งมอบโมเดล AI ที่มีค่าใช้จ่ายสูง

Nvidia ได้ทำการวิจัยและพัฒนาเทคนิคใหม่ที่ช่วยลดค่าใช้จ่ายและความล่าช้าในการส่งมอบงานระหว่างโมเดล AI ขนาดเล็กและขนาดใหญ่ ซึ่งเป็นปัญหาที่เกิดขึ้นเมื่อระบบ AI ต้องส่งงานจากโมเดลหนึ่งไปยังอีกโมเดลหนึ่ง โดยเฉพาะในกรณีที่ต้องทำงานในระยะยาวและมีการใช้โมเดลหลายตัว (multi-LLM workflows) เทคนิคที่ถูกนำเสนอคือการถ่ายโอน KV cache ข้ามโมเดล ซึ่งช่วยให้สามารถแมพ KV cache ที่ถูกเติมล่วงหน้าจากโมเดลต้นทางไปยังโมเดลปลายทางได้โดยตรง ทำให้ลดความจำเป็นในการคำนวณใหม่ทั้งหมดจากต้นทางอีกครั้ง เทคนิคนี้ไม่เพียงแต่ช่วยลดค่าใช้จ่ายในการประมวลผล แต่ยังช่วยลดความล่าช้าในกระบวนการทำงานได้อย่างมีนัยสำคัญ

การทำงานของโมเดล AI ขนาดใหญ่ (LLM) ในการจัดการกับความจำเป็นต้องเข้าใจถึงความท้าทายที่เกิดขึ้นในกระบวนการทำงานหลายโมเดล โดยเฉพาะในช่วงที่โมเดลต้องการข้อมูลจาก KV cache ในระหว่างการสร้างคำตอบ ในขั้นตอนแรก โมเดลจะต้องทำการคำนวณค่าและคีย์ทั้งหมดสำหรับโทเคนที่ได้รับ โดยจะมีการสร้าง KV cache ขึ้นมาเพื่อใช้ในการคาดเดาโทเคนถัดไปในขั้นตอนการถอดรหัส (decode) ซึ่งจะช่วยให้โมเดลสามารถคาดการณ์โทเคนใหม่ได้โดยไม่ต้องประเมินประวัติการสนทนาทั้งหมดอีกครั้ง

เมื่อการสนทนาเป็นไปในระยะยาว ความยาวของบริบทจะเพิ่มขึ้นเรื่อย ๆ ซึ่งทำให้การจัดการกับข้อมูลใน KV cache เป็นเรื่องที่ท้าทายมากขึ้น หากต้องมีการเปลี่ยนโมเดลในระหว่างการสนทนา จะต้องมีการคำนวณใหม่ทั้งหมด ซึ่งส่งผลให้เกิดค่าใช้จ่ายที่สูงและความล่าช้าในการทำงาน การใช้เทคนิคการถ่ายโอน KV cache ข้ามโมเดลนี้จะช่วยให้สามารถลดทั้งค่าใช้จ่ายและเวลาในการประมวลผลได้อย่างมีประสิทธิภาพ โดยผลการทดลองแสดงให้เห็นว่า เทคนิคนี้สามารถทำงานได้เร็วถึง 2.7 ถึง 25 เท่าเมื่อเปรียบเทียบกับการคำนวณใหม่ และยังสามารถรักษาความถูกต้องของโมเดลปลายทางได้ถึง 98%

การพัฒนาเทคนิคนี้มีความสำคัญต่อการใช้งาน AI ในโลกจริง โดยเฉพาะในกรณีที่ต้องมีการจัดการกับการสนทนาหรือการทำงานที่มีบริบทยาวนาน ซึ่งจะช่วยให้ธุรกิจต่าง ๆ สามารถสร้างกระบวนการทำงานที่มีประสิทธิภาพสูงขึ้น โดยไม่ต้องพึ่งพาโมเดลที่มีค่าใช้จ่ายสูงหรือซับซ้อนเกินไป การวิจัยนี้จึงเป็นก้าวสำคัญในการพัฒนา AI ที่สามารถทำงานได้อย่างมีประสิทธิภาพและคุ้มค่ามากยิ่งขึ้น