กรอบความจำตัวแทนใหม่ใช้ 118,000 โทเคนต่อคำถาม ลดการใช้โทเคนใน LangMem

การพัฒนาปัญญาประดิษฐ์ (AI) ในปัจจุบันยังคงพบอุปสรรคสำคัญในด้านการประมวลผลข้อมูลระยะยาว โดยเฉพาะอย่างยิ่งเมื่อพูดถึงการจัดการความจำของโมเดลภาษาใหญ่ (LLM) ซึ่งการเข้าถึงข้อมูลในบริบทที่ยาวนานมักจะทำให้เกิดความยุ่งเหยิงและข้อมูลที่ไม่เกี่ยวข้อง นักวิจัยจากมหาวิทยาลัยแห่งชาติสิงคโปร์ได้พัฒนา MRAgent ซึ่งเป็นกรอบความจำที่มีการจัดการอย่างมีประสิทธิภาพและลดการใช้โทเคนลงอย่างมากเมื่อเปรียบเทียบกับวิธีการจัดการความจำแบบดั้งเดิมที่มีอยู่ในปัจจุบัน

ในวิธีการดั้งเดิม การดึงข้อมูลมักจะใช้การค้นหาผ่านเวกเตอร์หรือการเดินทางในกราฟเพื่อค้นหาเอกสารที่เกี่ยวข้อง จากนั้นจะถูกส่งไปยัง LLM เพื่อทำการวิเคราะห์ อย่างไรก็ตาม วิธีการนี้มีข้อจำกัดหลายประการ เนื่องจากไม่สามารถรวมการวิเคราะห์เข้ากับการเข้าถึงความจำได้อย่างมีประสิทธิภาพ ทำให้เกิดปัญหาหลักสามประการ ได้แก่ การไม่สามารถปรับกลยุทธ์การดึงข้อมูลระหว่างการวิเคราะห์ได้ หากตัวแทนดึงเอกสารและพบว่าข้อมูลสำคัญบางอย่างขาดหายไป เช่น วันที่หรือชื่อบุคคล มันจะไม่มีวิธีในการส่งคำถามใหม่ตามการค้นพบดังกล่าว นอกจากนี้ คะแนนความคล้ายคลึงที่ถูกกำหนดไว้ล่วงหน้าและการขยายกราฟที่กำหนดไว้จะส่งผลให้เกิดการจับคู่ที่ไม่เกี่ยวข้อง ซึ่งทำให้ LLM ต้องเผชิญกับข้อมูลที่ไม่เกี่ยวข้องมากมาย ส่งผลกระทบต่อการวิเคราะห์

MRAgent ได้มีการพัฒนากระบวนการที่เรียกว่า “active and associative reconstruction process” ซึ่งได้รับแรงบันดาลใจจากวิทยาศาสตร์ประสาทวิทยา โดยกรอบนี้จะช่วยให้ตัวแทนสามารถพัฒนาความจำของตนเองได้อย่างพลศาสตร์ตามหลักฐานที่สะสมอยู่ ซึ่งการสร้างความจำในหลายขั้นตอนนี้จะถูกรวมเข้าไปในกระบวนการวิเคราะห์ของ LLM ซึ่งช่วยลดการใช้โทเคนและค่าใช้จ่ายในการประมวลผลได้อย่างมีนัยสำคัญเมื่อเปรียบเทียบกับวิธีการจัดการความจำแบบอื่น ๆ

การเปลี่ยนแปลงนี้ทำให้ MRAgent สามารถจัดการกับการโต้ตอบที่ไม่สามารถคาดการณ์ได้ในระยะยาวได้ดียิ่งขึ้น โดยไม่ต้องพึ่งพาโครงสร้างที่ถูกสร้างขึ้นล่วงหน้าเช่น ผลลัพธ์ top-k และฟังก์ชันความเกี่ยวข้องที่คงที่ ซึ่งเป็นการเปิดโอกาสให้เกิดการพัฒนา AI ที่มีความสามารถในการเรียนรู้และปรับตัวได้ดียิ่งขึ้นในอนาคต