MRAgent: กรอบความจำใหม่ที่ช่วยลดการใช้โทเคนใน AI

ในยุคที่ AI กำลังพัฒนาอย่างรวดเร็ว ปัญหาที่เกิดขึ้นกับระบบ AI โดยเฉพาะในด้านการประมวลผลข้อมูลระยะยาวคือ ความสามารถในการจัดการกับข้อมูลที่มีขนาดใหญ่และซับซ้อน ความท้าทายนี้ทำให้เกิดการวิจัยใหม่ที่นำเสนอแนวทางใหม่ในการจัดการความจำของ AI โดยเฉพาะอย่างยิ่งในกรณีที่ต้องใช้การประมวลผลแบบยาวนาน นักวิจัยจากมหาวิทยาลัยแห่งชาติสิงคโปร์ได้พัฒนา MRAgent ซึ่งเป็นกรอบความจำที่เปลี่ยนแปลงวิธีการที่ AI เข้าถึงและใช้ข้อมูล

MRAgent แตกต่างจากวิธีการดั้งเดิมที่เรียกว่า “retrieve-then-reason” ซึ่งเป็นกระบวนการที่ AI จะค้นหาข้อมูลก่อนแล้วจึงทำการวิเคราะห์ แต่ MRAgent ใช้กลไกที่ช่วยให้ AI สามารถพัฒนาความจำของตนเองได้อย่างมีพลศาสตร์ โดยอิงจากหลักฐานที่สะสม ซึ่งจะช่วยให้การประมวลผลข้อมูลมีประสิทธิภาพมากขึ้นและลดการใช้โทเคนลงอย่างมีนัยสำคัญ

ในระบบการค้นหาข้อมูลแบบดั้งเดิม ข้อมูลจะถูกดึงออกมาผ่านการค้นหาด้วยเวกเตอร์หรือการเดินกราฟ และจะถูกส่งต่อไปยังโมเดลภาษาใหญ่ (LLM) เพื่อทำการวิเคราะห์ อย่างไรก็ตาม วิธีการนี้มีข้อจำกัดหลายประการ เนื่องจากไม่สามารถรวมการวิเคราะห์เข้ากับการเข้าถึงความจำได้ ทำให้เกิดการขัดข้องที่สำคัญสามประการ: ระบบเหล่านี้ไม่สามารถปรับกลยุทธ์การค้นหาในระหว่างการวิเคราะห์ได้ หาก AI ดึงข้อมูลออกมาแล้วพบว่าข้อมูลที่สำคัญขาดหายไป เช่น วันที่หรือชื่อบุคคลเฉพาะ มันจะไม่มีวิธีการในการส่งคำค้นใหม่ตามที่ค้นพบ

อีกทั้งยังมีการจำกัดคะแนนความคล้ายคลึงและการขยายกราฟที่กำหนดไว้ล่วงหน้า ทำให้เกิดการจับคู่ที่ไม่เกี่ยวข้องซึ่งทำให้บริบทของ LLM เต็มไปด้วยข้อมูลที่ไม่เกี่ยวข้อง ส่งผลให้การวิเคราะห์ลดลง ระบบปัจจุบันยังพึ่งพาโครงสร้างที่สร้างขึ้นล่วงหน้า เช่น ผลลัพธ์ top-k และฟังก์ชันความเกี่ยวข้องที่คงที่ ซึ่งจำกัดความยืดหยุ่นที่จำเป็นในการขยายขอบเขตการโต้ตอบของผู้ใช้ที่ไม่สามารถคาดการณ์ได้ในระยะยาว

นักวิจัยได้เสนอว่าการแก้ไขข้อจำกัดเหล่านี้จะต้องมีการเปลี่ยนแปลงไปสู่ “กระบวนการสร้างใหม่ที่เชิงรุกและเชื่อมโยง” ซึ่งได้รับแรงบันดาลใจจากประสาทวิทยาศาสตร์ทางปัญญา การพัฒนานี้ไม่เพียงแต่จะช่วยให้ AI สามารถจัดการกับข้อมูลที่มีความซับซ้อนได้ดีขึ้น แต่ยังช่วยลดการใช้โทเคนจาก 3.26 ล้านโทเคนในวิธีการเดิม ลงมาเหลือเพียง 118,000 โทเคนต่อคำค้น ซึ่งเป็นการลดต้นทุนด้านเวลาและทรัพยากรอย่างมีนัยสำคัญ

MRAgent จึงเป็นก้าวสำคัญในการพัฒนา AI ที่สามารถจัดการกับข้อมูลที่มีขนาดใหญ่และซับซ้อนได้อย่างมีประสิทธิภาพมากขึ้น โดยการใช้แนวทางที่มีความยืดหยุ่นและสามารถปรับตัวได้ตามสถานการณ์ ซึ่งจะเป็นประโยชน์อย่างมากในอนาคตสำหรับการพัฒนา AI ที่สามารถทำงานร่วมกับข้อมูลที่มีความหลากหลายและซับซ้อนได้ดียิ่งขึ้น.