Sepak Bola Prediction Model: Cara Memeriksa Uji Balik

Suatu model sepak bola memiliki catatan historis yang mengesankan. Sebelum menganggap catatan tersebut sebagai bukti kemampuan peramalan, ajukan pertanyaan yang lebih sederhana: apakah model tersebut mampu menghasilkan prediksi-prediksi itu dengan informasi yang tersedia pada saat itu?

Model prediksi sepak bola memerlukan lebih dari sekadar angka akurasi utama. Evaluasi yang bermanfaat menjelaskan kapan ramalan dibuat, pertandingan mana yang dimasukkan, dan bagaimana metode tersebut diuji terhadap hasil yang belum pernah dilihat sebelumnya.

Apa yang sebenarnya ditunjukkan oleh uji balik?

Uji balik menerapkan proses prediksi yang telah ditentukan pada pertandingan historis dan membandingkan keluarannya dengan hasil yang tercatat. Uji balik dapat membantu mengungkap kelemahan serta membandingkan pendekatan-pendekatan, namun kegunaannya bergantung pada seberapa dekat kondisi peramalan asli direproduksi.

Membangun kembali prediksi hari ini berbeda dari melestarikan ramalan yang dipublikasikan sebelum sepak mula. Keduanya dapat memberikan bukti, tetapi laporan harus mengidentifikasi jenis catatan yang dikandungnya. Ramalan yang dibangun kembali tidak boleh pernah disajikan sebagai prediksi yang dicatat waktu, yang dapat dilihat pembaca pada saat itu.

Periksa kapan setiap masukan menjadi tersedia

Kebocoran data terjadi ketika suatu evaluasi menggunakan informasi yang tidak akan tersedia untuk prediksi yang sedang diuji. Hal ini dapat membuat hasil historis tampak lebih kuat daripada kinerja pada kasus-kasus benar-benar baru. panduan scikit-learn mengenai kebocoran menjelaskan masalah ini serta pentingnya memisahkan data pelatihan dan data evaluasi.

Contoh-contoh sepak bola berikut bersifat ilustratif untuk pemeriksaan, bukan temuan mengenai layanan tertentu:

For example, a forecast supposedly issued at noon cannot use a lineup first announced at 18:45. A later model version may legitimately use that lineup, but it represents a different publication time.

Uji pertandingan berikutnya setelah pertandingan sebelumnya

Ramalan sepak bola tiba secara berurutan. Evaluasi harus mempertahankan arah tersebut: belajar dari informasi sebelumnya, lalu menilai jadwal pertandingan berikutnya. Mengacak tanggal secara acak dapat memungkinkan informasi masa depan memengaruhi apa yang disajikan sebagai ramalan historis.

Untuk evaluasi berurutan waktu, dokumentasi scikit-learn mencantumkan pemisahan yang melatih pada observasi sebelumnya dan menguji pada observasi berikutnyaKumpulan data sepak bola juga memerlukan pengelompokan tanggal yang sesuai: pertandingan pada batas waktu peramalan yang sama tidak boleh secara tidak sengaja saling memberikan informasi.

Dalam sebuah studi hipotetis, seorang pengembang dapat membangun suatu metode menggunakan pertandingan 2023–24, memilih pengaturan menggunakan 2024–25, lalu mengevaluasi pendekatan beku pada periode 2025–26. Rentang tanggal ini menggambarkan rancangan contoh, bukan hasil OptaTips.

Jika pengembang secara berulang mengubah metode setelah memeriksa musim terakhir tersebut, maka musim itu telah menjadi bagian dari proses pengembangan. Bukti baru di masa mendatang diperlukan untuk menilai versi yang telah direvisi.

Uji pertandingan berikutnya setelah pertandingan sebelumnya

Misalkan dua metode hipotetis memprediksi kemenangan tuan rumah, seri, dan kemenangan tamu dalam waktu normal untuk pertandingan 100 yang sama. Metode A benar pada 60 hasil; Metode B benar pada 58 hasil. Hal ini memberikan akurasi teramati masing-masing sebesar 60% dan 58% untuk sampel ini. Namun, hal ini tidak menetapkan keunggulan jangka panjang yang andal.

Sekarang misalkan catatan resmi Metode B hanya mencakup 20 pertandingan yang dipilih. Persentasenya menjawab pertanyaan yang berbeda. Bandingkan kedua metode pada pertandingan bersama mereka, atau laporkan secara eksplisit cakupan dan pengecualian pemilihan tersebut. Jangan diam-diam membandingkan catatan selektif dengan catatan seluruh pertandingan.

Sebuah tolok ukur sederhana—misalnya, selalu memilih tim tuan rumah—dapat memberikan konteks pada himpunan uji yang sama. Pilihlah tolok ukur ini sejak awal, bukan dengan mencari-cari setelahnya agar perbandingan tampak paling menguntungkan model.

Lihatlah lebih dari sekadar pilihan yang benar

Sebuah model yang memberikan probabilitas 51% dan model lain yang memberikan probabilitas 90% untuk suatu peristiwa dapat sama-sama memilih hasil yang sama. Akurasi semata tidak menggambarkan kualitas estimasi probabilitas tersebut.

Aturan penilaian probabilitas dan pemeriksaan kalibrasi memberikan informasi tambahan. Skor Brier dan log loss mengevaluasi ramalan probabilistik, sedangkan plot kalibrasi membandingkan kelompok-kelompok probabilitas yang diprediksi dengan frekuensi teramati. Skor Brier yang lebih rendah saja tidak membuktikan kalibrasi yang lebih baik; scikit-learn menjelaskan perbedaan tersebut.

Untuk penjelasan bahasa awam mengenai persentase, baca apa arti prediksi sepak bola 60%. Tidak ada metrik kinerja yang dihitung untuk OptaTips dalam artikel ini.

Lihat di luar pilihan yang benar

1. Hasil pasti apa dan periode penyelesaian mana yang diprediksi?
2. Apakah semua masukan sudah tersedia pada waktu publikasi yang dinyatakan?
3. Apakah pertandingan evaluasi akhir tetap dipisahkan dari pengembangan model?
4. Apakah metode perbandingan diuji pada pertandingan dan aturan pemilihan yang setara?
5. Apakah laporan tersebut mengungkapkan secara lengkap periode keseluruhan, sampel, pengecualian, serta perubahan model?

Untuk tinjauan pribadi Anda, simpanlah data pertandingan, cap waktu ramalan, versi model, probabilitas awal, dan hasil akhir. Pisahkan ramalan revisi dari ramalan asli. Catatan lengkap memungkinkan pembaca memeriksa klaim tersebut; tangkapan layar atas keberhasilan terpilih tidak memberikan bukti yang setara.

Gambar unggulan: ilustrasi editorial hasil generasi AI, bukan kinerja aktual model.

Untuk orang dewasa berusia 18 tahun ke atas. Panduan ini menjelaskan metode evaluasi. Kinerja historis tidak menjamin hasil atau keuntungan di masa depan.