ในสัปดาห์นี้ Alibaba ได้เปิดตัว Qwen 3.8-Max ซึ่งได้รับการตลาดว่าเป็นโมเดลที่มีประสิทธิภาพรองจาก Claude Fable 5 อย่างไรก็ตาม การทดสอบจากแหล่งข้อมูลอิสระกลับแสดงผลลัพธ์ที่แตกต่างกัน โดยการทดสอบที่ใช้เวอร์ชัน Preview ของ Qwen 3.8-Max พบว่าประสิทธิภาพของโมเดลอยู่ในระดับกลาง ในขณะที่การตั้งค่าเริ่มต้นกลับอยู่ในอันดับสุดท้าย ความแตกต่างนี้มีสาเหตุหลักมาจากงบประมาณเวลาและจำนวนโทเคนที่ใช้ในการทดสอบ ซึ่งมักไม่ถูกนำมาพิจารณาในการเปรียบเทียบทั่วไป
Alibaba ได้กำหนดเวลาที่ใช้ในการทดสอบโมเดลของตนไว้ที่ห้าชั่วโมงสำหรับการทดสอบโค้ด และสูงสุดถึง 12 ชั่วโมงสำหรับการทดสอบใน PaperBench ในขณะที่การทดสอบของ VulcanBench ซึ่งเป็นแหล่งข้อมูลอิสระนั้นอนุญาตให้ใช้เวลาเพียง 45 ถึง 60 นาทีเท่านั้น ความแตกต่างในงบประมาณเวลานี้อธิบายได้ว่าทำไมผลลัพธ์จึงแตกต่างกันอย่างมาก การใช้เวลาในการประมวลผลที่ยาวนานกว่าหมายถึงการใช้โทเคนในการคิดมากขึ้น ซึ่งส่งผลต่อค่าใช้จ่ายโดยรวม
เพื่อให้การเลือกโมเดลมีความแม่นยำมากขึ้น นักพัฒนาควรพิจารณาสองสิ่งนี้ในการประเมินโมเดลครั้งถัดไป ประการแรก ควรใช้เกณฑ์การวัดที่เป็นค่าใช้จ่ายต่อภารกิจที่สำเร็จ ซึ่งหมายถึงการรวมค่าใช้จ่ายทั้งหมดที่ใช้ไปกับความพยายามที่ล้มเหลวและหารด้วยจำนวนภารกิจที่ผ่านการตรวจสอบ ประการที่สอง ควรทำให้เวลาหรือโทเคนที่ใช้เป็นส่วนหนึ่งของเกณฑ์การยอมรับอย่างชัดเจน ไม่ใช่รายละเอียดที่ถูกซ่อนอยู่
การเปรียบเทียบราคาที่เผยแพร่ในสัปดาห์แรกของ Qwen 3.8-Max เป็นการเปรียบเทียบราคาที่มีอยู่เพียงอย่างเดียว โดยโมเดลนี้มีราคาค่อนข้างสูง โดย DeepSeek-V4-Flash-0731 ที่เปิดตัวใน API เบต้าเมื่อวันที่ 31 กรกฎาคม มีราคา 14 เซนต์ต่อหนึ่งล้านโทเคนที่ป้อนเข้า และ 28 เซนต์สำหรับการส่งออก ในขณะที่ Qwen 3.8-Max มีราคา 2 ดอลลาร์และ 6 ดอลลาร์ และ Kimi K3 มีราคา 3 ดอลลาร์และ 15 ดอลลาร์ ราคานี้บอกอะไรเราได้น้อยลงกว่าเดิม เนื่องจากโมเดลที่ต้องใช้การคิดคำนวณมาก เช่น Qwen จะใช้โทเคนในการคิดมากขึ้น ซึ่งส่งผลต่อค่าใช้จ่ายโดยรวมที่เกิดขึ้นจริง
การวิเคราะห์นี้ชี้ให้เห็นถึงความสำคัญของการพิจารณาองค์ประกอบหลาย ๆ อย่างในการเลือกโมเดล AI ที่จะใช้งาน ไม่เพียงแต่คะแนนการทดสอบดิบหรือราคาต่อโทเคนเท่านั้น แต่ยังรวมถึงเวลาที่ใช้และวิธีการประเมินผลที่เป็นระบบเพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในระยะยาว.
แหล่งข้อมูลอ้างอิง
บทความนี้สรุปและเขียนใหม่โดยทีมบรรณาธิการ อ้างอิงจาก unknown-source ตามลิงก์ต้นฉบับด้านล่าง
อ่านต้นฉบับ: Qwen 3.8-Max and Claude Opus 5 show why raw benchmark scores don’t predict the bill
#Qwen 3.8-Max #Claude Opus 5 #AI Benchmark #Alibaba #การทดสอบโมเดล
