Writer’s AI พัฒนาวิธีลดการใช้โทเคนลงเกือบ 40% โดยไม่ลดทอนความแม่นยำ

ในขณะที่ AI ในองค์กรกำลังเผชิญกับปัญหา ROI ที่ซับซ้อน การเพิ่มพูนทรัพยากรคอมพิวเตอร์เพื่อใช้กับโมเดลพื้นฐานที่แข็งแกร่งมักจะได้ผลในขั้นตอนการทดลองผลิตภัณฑ์ แต่เมื่อผลิตภัณฑ์เข้าสู่การใช้งานจริง ค่าใช้จ่ายกลับกลายเป็นปัญหาที่ไม่สามารถรับได้ นักวิจัยจาก Writer ได้เสนอวิธีการที่เข้าถึงได้สำหรับทีมวิศวกร ซึ่งสามารถลดการใช้โทเคนต่อการทำงานได้อย่างมีนัยสำคัญ โดยไม่ต้องเปลี่ยนแปลงโมเดลพื้นฐานแต่อย่างใด

การศึกษาได้ทำการตรวจสอบองค์ประกอบต่างๆ ของชั้นการจัดการที่ล้อมรอบโมเดลพื้นฐาน หรือที่เรียกว่า AI harness ซึ่งการปรับแต่งนี้ทำให้สามารถลดค่าใช้จ่ายต่อการทำงานที่สำเร็จลงได้ถึง 61% โดยยังคงคุณภาพที่เสถียร ทีมวิศวกรสามารถนำผลการวิจัยนี้ไปใช้ในการสร้างแอปพลิเคชัน AI ที่มีต้นทุนต่ำได้อย่างมีประสิทธิภาพ เนื่องจาก harness นี้อยู่ภายใต้การควบคุมของนักพัฒนาโดยตรงและไม่ต้องการการปรับแต่งโมเดล

ปัญหาที่เกิดขึ้นในปัจจุบันคือแนวโน้มที่เรียกว่า “tokenmaxxing” ซึ่งเป็นแนวทางที่นักพัฒนาหันมาใช้การบริโภคโทเคนจำนวนมากและการใช้บริบทขนาดใหญ่เป็นการทดแทนการออกแบบระบบที่ดี นักพัฒนามักจะนำแนวทางนี้มาใช้แทนการสร้างกระบวนการที่มีประสิทธิภาพ โดยการสร้างและรันโค้ดแล้วแก้ไขข้อผิดพลาดซ้ำไปซ้ำมา ซึ่งเป็นการทำงานที่กลายเป็นปฏิกิริยาตอบสนองในวงการพัฒนาซอฟต์แวร์

Waseem AlShikh, CTO และผู้ร่วมก่อตั้ง Writer กล่าวกับ VentureBeat ว่า “ทีมงานมักจะใช้วิธี tokenmaxx เพราะมันเป็นการแก้ปัญหาที่ถูกที่สุดในขณะนั้น และเป็นวิธีการที่นักพัฒนาส่วนใหญ่ทำงานกันอยู่” การใช้วิธีนี้อาจประสบความสำเร็จในงานเขียนโค้ด แต่ก็ได้กลายเป็นแนวทางที่ใช้ในการทำงานอื่นๆ ด้วย ซึ่งอาจนำไปสู่ความไม่ประสิทธิภาพในระยะยาว การลดราคาต่อโทเคนอาจทำให้ทีมงานมองข้ามความไม่ประสิทธิภาพที่เกิดขึ้นจริง

การวิจัยนี้จึงเป็นการเสนอแนวทางใหม่ที่สามารถช่วยให้ทีมวิศวกรสามารถจัดการกับค่าใช้จ่ายในการใช้โทเคนได้อย่างมีประสิทธิภาพมากขึ้น โดยไม่ต้องพึ่งพาการปรับแต่งโมเดลพื้นฐาน ซึ่งถือเป็นก้าวสำคัญในการพัฒนา AI ในองค์กรให้มีความยั่งยืนในด้านต้นทุนและประสิทธิภาพ