แบบจำลองฟุตบอลมีประวัติผลลัพธ์ย้อนหลังที่น่าประทับใจ แต่ก่อนจะถือว่าประวัตินั้นเป็นหลักฐานของทักษะการทำนาย เราควรตั้งคำถามที่ง่ายกว่านั้น: แบบจำลองนี้สามารถสร้างการคาดการณ์เหล่านั้นได้จริงหรือไม่ โดยใช้ข้อมูลที่มีอยู่ ณ เวลาที่ทำการคาดการณ์?
แบบจำลองการคาดการณ์ฟุตบอลต้องการมากกว่าตัวเลขความแม่นยำในภาพรวม รายงานประเมินผลที่มีประโยชน์ควรอธิบายว่าการคาดการณ์ถูกสร้างขึ้นเมื่อใด การแข่งขันใดบ้างที่รวมอยู่ในการประเมิน และวิธีการทดสอบนั้นดำเนินการกับผลลัพธ์ที่ยังไม่เคยเห็นมาก่อนอย่างไร
การทดสอบย้อนหลัง (Backtest) แท้จริงแล้วแสดงอะไร?
การทดสอบย้อนหลัง (Backtest) คือการนำกระบวนการคาดการณ์ที่กำหนดไว้ไปใช้กับการแข่งขันในอดีต แล้วเปรียบเทียบผลลัพธ์ที่ได้กับผลลัพธ์จริงที่บันทึกไว้ ซึ่งสามารถช่วยเผยจุดอ่อนและเปรียบเทียบแนวทางต่าง ๆ ได้ แต่ประสิทธิภาพของการทดสอบย้อนหลังขึ้นอยู่กับว่ามันสามารถจำลองเงื่อนไขการคาดการณ์ดั้งเดิมได้ใกล้เคียงเพียงใด
การสร้างการคาดการณ์ใหม่ในปัจจุบันนั้นแตกต่างจากการรักษาการคาดการณ์ที่เผยแพร่ก่อนเริ่มการแข่งขันไว้ การคาดการณ์ทั้งสองแบบสามารถให้หลักฐานสนับสนุนได้ แต่รายงานควรมีการระบุอย่างชัดเจนว่าบันทึกนั้นเป็นประเภทใด การคาดการณ์ที่สร้างขึ้นใหม่ไม่ควรถูกนำเสนอในฐานะการคาดการณ์ที่มีการระบุเวลาแน่นอนซึ่งผู้อ่านสามารถเห็นได้ ณ เวลาที่เผยแพร่จริง
ตรวจสอบว่าข้อมูลแต่ละรายการพร้อมใช้งานเมื่อใด
การรั่วไหลของข้อมูล (Data leakage) เกิดขึ้นเมื่อการประเมินผลใช้ข้อมูลที่ไม่สามารถเข้าถึงได้ ณ เวลาที่ทำการคาดการณ์ที่กำลังถูกประเมิน สิ่งนี้อาจทำให้ผลลัพธ์ย้อนหลังดูดีกว่าประสิทธิภาพจริงในการทำนายกรณีใหม่ที่แท้จริง คำแนะนำของ scikit-learn เกี่ยวกับการรั่วไหลของข้อมูล อธิบายปัญหานี้และความสำคัญของการแยกข้อมูลสำหรับการฝึกอบรมและข้อมูลสำหรับการประเมินผลออกจากกัน
ตัวอย่างฟุตบอลต่อไปนี้เป็นการตรวจสอบเชิงตัวอย่างเท่านั้น ไม่ใช่ข้อค้นพบเกี่ยวกับบริการเฉพาะราย
| ข้อมูลนำเข้า | คำถามที่ควรถาม |
|---|---|
| ฟอร์มของทีม | ค่าเฉลี่ยนั้นไม่รวมการแข่งขันที่กำลังทำนายและนัดที่เกิดขึ้นภายหลังทั้งหมดหรือไม่ |
| อันดับในลีก | หมายถึงตารางคะแนนที่มีอยู่ก่อนการแข่งขันนัดนั้น แทนที่จะเป็นตารางคะแนนสุดท้ายของฤดูกาลหรือไม่ |
| รายชื่อผู้เล่นที่ลงสนาม | ได้ประกาศออกมาแล้วหรือยัง ณ เวลาที่ระบุไว้สำหรับการคาดการณ์ |
| อัตราต่อรอง | ราคาเดิมพันนั้นๆ มีให้ใช้งานจริงหรือไม่ ณ เวลาที่เผยแพร่การคาดการณ์ |
ตัวอย่างเช่น การคาดการณ์ที่อ้างว่าเผยแพร่เวลาเที่ยงวัน จะไม่สามารถใช้รายชื่อผู้เล่นที่ประกาศครั้งแรกเมื่อ 18:45 ได้ รุ่นแบบจำลองที่ปรับปรุงภายหลังอาจใช้รายชื่อนั้นได้อย่างชอบธรรม แต่ก็แสดงถึงเวลาการเผยแพร่ที่ต่างออกไป
ทดสอบการแข่งขันที่เกิดขึ้นภายหลังหลังจากที่การแข่งขันก่อนหน้าเสร็จสิ้น
การคาดการณ์ฟุตบอลถูกเผยแพร่ตามลำดับเวลา การประเมินผลจึงควรรักษาลำดับนี้ไว้: ใช้ข้อมูลก่อนหน้าในการเรียนรู้ แล้วประเมินผลสำหรับการแข่งขันที่เกิดขึ้นภายหลัง การสลับวันที่แบบสุ่มอาจทำให้ข้อมูลจากอนาคตเข้ามาส่งผลต่อสิ่งที่นำเสนอในฐานะการคาดการณ์ย้อนหลัง
สำหรับการประเมินผลตามลำดับเวลา scikit-learn มีเอกสารอธิบายถึง การแบ่งข้อมูลที่ใช้ข้อมูลก่อนหน้าสำหรับการฝึก และข้อมูลหลังสำหรับการทดสอบนอกจากนี้ ชุดข้อมูลฟุตบอลยังต้องมีการจัดกลุ่มตามวันที่อย่างเหมาะสมด้วย: การแข่งขันทั้งหมดที่มีจุดตัดเวลาการคาดการณ์เดียวกัน ไม่ควรส่งผ่านข้อมูลซึ่งกันและกันโดยไม่ตั้งใจ
ในการศึกษาสมมุติฐานหนึ่ง นักพัฒนาอาจสร้างวิธีการโดยใช้การแข่งขันในช่วง 2023–24 ปรับแต่งค่าต่าง ๆ โดยใช้การแข่งขันในช่วง 2024–25 แล้วประเมินวิธีการที่ถูกล็อกไว้แล้วกับการแข่งขันในช่วง 2025–26 วันที่เหล่านี้อธิบายถึงการออกแบบตัวอย่าง ไม่ใช่ผลลัพธ์ของ OptaTips
หากนักพัฒนาเปลี่ยนแปลงวิธีการซ้ำ ๆ หลังจากตรวจสอบผลลัพธ์ของฤดูกาลสุดท้ายนั้น ฤดูกาลดังกล่าวก็กลายเป็นส่วนหนึ่งของการพัฒนาไปแล้ว จึงจำเป็นต้องใช้หลักฐานใหม่จากช่วงเวลาหลังเพื่อประเมินเวอร์ชันที่ปรับปรุงแล้ว
เปรียบเทียบแบบจำลองต่าง ๆ ในการทำภารกิจเดียวกัน
สมมุติว่าแบบจำลองสมมุติสองแบบ ทำนายผลการแข่งขันในเวลาปกติว่าทีมเหย้าชนะ เสมอ หรือทีมเยือนชนะ สำหรับการแข่งขัน 100 นัดเดียวกัน แบบจำลอง A ทำนายผลได้ถูกต้อง 60 ครั้ง ส่วนแบบจำลอง B ทำนายผลได้ถูกต้อง 58 ครั้ง ซึ่งให้ค่าความแม่นยำที่สังเกตได้เท่ากับ 60% และ 58% ตามลำดับสำหรับตัวอย่างนี้ แต่ไม่ได้เป็นหลักฐานที่ยืนยันว่าแบบจำลองใดมีข้อได้เปรียบอย่างน่าเชื่อถือในระยะยาว
ตอนนี้สมมติว่าบันทึกผลการเผยแพร่ของวิธีการ B มีเพียงการแข่งขันที่เลือกมา 20 นัดเท่านั้น ค่าร้อยละนั้นจึงตอบคำถามอีกแบบหนึ่ง ให้เปรียบเทียบทั้งสองวิธีบนนัดที่ใช้ร่วมกัน หรือรายงานอย่างชัดเจนถึงขอบเขตของการเลือกนัดและการตัดนัดออก อย่าเปรียบเทียบบันทึกที่เลือกนัดเฉพาะเจาะจงกับบันทึกที่ครอบคลุมทุกนัดโดยไม่แจ้งให้ทราบ
เกณฑ์พื้นฐานง่ายๆ เช่น การเลือกทีมเหย้าเสมอ อาจให้บริบทเปรียบเทียบบนชุดทดสอบเดียวกัน โปรดเลือกวิธีนั้นล่วงหน้า แทนที่จะค้นหาหลังจากนั้นเพื่อหาวิธีใดก็ตามที่ทำให้โมเดลดูดีที่สุด
มองให้ไกลกว่าการเลือกที่ถูกต้องเพียงอย่างเดียว
โมเดลหนึ่งที่กำหนดค่าความน่าจะเป็น 51% และอีกโมเดลหนึ่งที่กำหนดค่าความน่าจะเป็น 90% ให้กับเหตุการณ์เดียวกัน อาจเลือกผลลัพธ์เดียวกันได้ ความแม่นยำเพียงอย่างเดียวไม่สามารถอธิบายคุณภาพของการประมาณความน่าจะเป็นเหล่านั้นได้
กฎการให้คะแนนความน่าจะเป็นและการตรวจสอบการปรับค่า (calibration) ให้ข้อมูลเพิ่มเติม คะแนนไบรเออร์ (Brier score) และลอสส์ลอการิทึม (log loss) ใช้ประเมินการทำนายเชิงความน่าจะเป็น ในขณะที่กราฟการปรับค่า (calibration plot) เปรียบเทียบกลุ่มความน่าจะเป็นที่ทำนายไว้กับความถี่ที่สังเกตได้จริง คะแนนไบรเออร์ที่ต่ำกว่าเพียงอย่างเดียวไม่ได้พิสูจน์ว่าการปรับค่าดีกว่า scikit-learn อธิบายความแตกต่างนั้น.
สำหรับคำอธิบายภาษาธรรมดาเกี่ยวกับร้อยละ โปรดอ่าน การพยากรณ์ฟุตบอล 60% หมายความว่าอย่างไรไม่มีการคำนวณตัวชี้วัดประสิทธิภาพใดๆ สำหรับ OptaTips ในบทความนี้
ห้าคำถามที่ควรถามก่อนเชื่อผลบันทึกย้อนหลัง
- ทำนายผลลัพธ์ที่แน่นอนและระยะเวลาการตัดสินผลอย่างไร?
- ปัจจัยทั้งหมดที่ใช้ในการทำนายมีให้พร้อมภายในเวลาที่ระบุไว้หรือไม่?
- การแข่งขันสุดท้ายที่ใช้ประเมินผลนั้นแยกออกจากกระบวนการพัฒนาโมเดลอย่างชัดเจนหรือไม่?
- วิธีการเปรียบเทียบต่างๆ ได้รับการทดสอบบนนัดแข่งขันและกฎการเลือกนัดที่เทียบเท่ากันหรือไม่?
- รายงานนี้เปิดเผยช่วงเวลาทั้งหมด ตัวอย่าง รายการนัดที่ตัดออก และการเปลี่ยนแปลงโมเดลครบถ้วนหรือไม่?
สำหรับการทบทวนของคุณเอง โปรดเก็บบันทึกนัดแข่งขัน เวลาที่ทำนาย รุ่นของโมเดล ความน่าจะเป็นดั้งเดิม และผลลัพธ์ที่เกิดขึ้นจริงไว้ให้ครบถ้วน แยกการพยากรณ์ที่แก้ไขแล้วออกจากพยากรณ์ดั้งเดิม บันทึกที่สมบูรณ์จะช่วยให้ผู้อ่านตรวจสอบข้ออ้างได้ ส่วนภาพหน้าจอที่เลือกเฉพาะช่วงที่ประสบความสำเร็จไม่ได้ให้หลักฐานในระดับเดียวกัน
ภาพนำ: ภาพประกอบบรรณาธิการที่สร้างด้วยปัญญาประดิษฐ์ ไม่ใช่ผลการทำงานจริงของโมเดล
สำหรับผู้ใหญ่อายุ 18 ปีขึ้นไป คู่มือนี้อธิบายวิธีการประเมินผล ผลการดำเนินงานในอดีตไม่ได้รับประกันผลลัพธ์หรือกำไรในอนาคต
ความคิดเห็น 0
ยังไม่มีความคิดเห็นใดๆ