โมเดลขอบเขตสามารถกู้คืนข้อมูลได้ถึง 65% แม้ไม่สามารถเรียกคืนได้โดยตรง

การพัฒนาโมเดลภาษาขนาดใหญ่ (LLMs) มักจะประสบปัญหาเมื่อโมเดลเกิดการ ‘hallucination’ หรือการสร้างข้อมูลที่ไม่ถูกต้อง ซึ่งทีมพัฒนามักจะสันนิษฐานว่าโมเดลขาดข้อมูลที่จำเป็นในการตอบคำถาม ทีมวิจัยจึงมักจะวิเคราะห์ข้อผิดพลาดนี้ว่าเกิดจากความรู้ที่ขาดหายไป โดยมีมาตรฐานการตอบสนองที่เป็นที่นิยมคือการเพิ่มขนาดของโมเดล ขยายข้อมูลในการฝึกอบรม หรือสร้างสถาปัตยกรรมการดึงข้อมูลที่ซับซ้อนขึ้น แต่การศึกษาล่าสุดจากนักวิจัยที่ Google Research และ Technion แสดงให้เห็นว่าความรู้ที่จำเป็นนั้นมักจะไม่ได้หายไป แต่โมเดลมีข้อมูลที่เข้ารหัสไว้ในพารามิเตอร์ แต่ไม่สามารถเรียกคืนออกมาได้ในระหว่างการสร้างข้อความ

การทดลองของพวกเขาแสดงให้เห็นว่าโมเดลขอบเขต เช่น GPT-5 และ Gemini-3 สามารถเข้ารหัสข้อมูลที่ถูกทดสอบได้ถึง 95-98% ซึ่งบ่งชี้ว่าในหลายกรณี ปัญหาหลักของความถูกต้องของข้อมูลอยู่ที่การเรียกคืนมากกว่าการเข้ารหัส การเข้าใจวิธีการปลดล็อกความรู้ที่มีอยู่ผ่านการคำนวณในระหว่างการสร้างข้อความจะช่วยให้ทีมวิศวกรรมสามารถสร้างแอปพลิเคชันที่เชื่อถือได้มากขึ้น โดยไม่จำเป็นต้องพึ่งพาโมเดลที่มีขนาดใหญ่ขึ้นหรือฐานข้อมูลภายนอก

เพื่อที่จะทำความเข้าใจช่องว่างระหว่างการเก็บข้อมูลและการเรียกคืน ทีมวิจัยเสนอให้เปลี่ยนการประเมินจากความถูกต้องในระดับคำถามไปเป็นการประเมินในระดับข้อเท็จจริง โดยไม่เพียงแต่ให้คะแนนว่าโมเดล LLM ตอบคำถามได้ถูกต้องหรือไม่ แต่การประเมินในระดับข้อเท็จจริงจะทดสอบข้อมูลพื้นฐานเดียวกันในหลายเงื่อนไข โดยประเมินว่าข้อเท็จจริงนั้นถูกเก็บไว้ในพารามิเตอร์ของโมเดลหรือไม่ สามารถถูกสอบถามจากมุมมองและการเรียบเรียงที่แตกต่างกันได้หรือไม่ และความพยายามในการคำนวณที่จำเป็นในการเรียกคืนข้อมูลนั้นมีมากน้อยเพียงใด

กรอบการทำงานนี้จะแยกแยะระหว่างการเข้ารหัสข้อเท็จจริงและการรู้ข้อเท็จจริง โดยโมเดลจะเข้ารหัสข้อเท็จจริงถ้าสามารถทำซ้ำได้อย่างถูกต้องเมื่อได้รับการกระตุ้นด้วยบริบทการฝึกอบรมเดิม ในขณะที่โมเดลจะรู้ข้อเท็จจริงถ้าสามารถตอบคำถามเกี่ยวกับมันได้อย่างเชื่อถือได้ในหลากหลายการเรียบเรียง การศึกษาเหล่านี้ไม่เพียงแต่ช่วยให้เข้าใจถึงความสามารถของโมเดลในด้านการเก็บข้อมูล แต่ยังช่วยให้สามารถพัฒนาโมเดลที่มีความสามารถในการเรียกคืนข้อมูลได้ดีขึ้น ซึ่งจะเป็นประโยชน์ต่อการพัฒนาแอปพลิเคชันที่ใช้ AI ในอนาคต