Bir futbol tahmin modeli etkileyici bir geçmişe sahiptir. Bu geçmişe, tahmin becerisinin kanıtı olarak bakmadan önce daha basit bir soru sorun: Tahminleri, o zaman mevcut olan bilgilerle üretebilmiş miydi?
Futbol tahmin modelleri yalnızca başlıkta yer alan doğruluk oranından daha fazlasına ihtiyaç duyar. Yararlı bir değerlendirme, tahminlerin ne zaman yapıldığını, hangi maçların dahil edildiğini ve yöntemin henüz görülmemiş sonuçlara nasıl uygulandığını açıklar.
Bir geri test aslında neyi gösterir?
Bir geri test, tanımlanmış bir tahmin sürecini geçmiş maçlara uygular ve çıktılarını kayıtlı sonuçlarla karşılaştırır. Zayıflıkları ortaya çıkarabilir ve yaklaşımları karşılaştırabilir; ancak yararlılığı, orijinal tahmin koşullarını ne kadar gerçekçi şekilde yeniden oluşturduğuna bağlıdır.
Bugün tahminleri yeniden oluşturmak, maç başlamadan önce yayımlanan tahminleri korumaktan farklıdır. Her ikisi de kanıt sağlayabilir; ancak rapor, içerdiği kaydın türünü belirtmelidir. Yeniden oluşturulmuş bir tahmin, okuyucuların o zaman görebileceği bir zaman damgalı tahmin olarak asla sunulmamalıdır.
Her girdinin ne zaman kullanıma hazır hale geldiğini kontrol edin
Veri sızıntısı, bir değerlendirme, test edilen tahmin için mevcut olmayacak bilgileri kullandığında gerçekleşir. Bu durum, geçmişi gerçekten yeni durumlara kıyasla daha güçlü göstermeye neden olabilir. scikit-learn’ın veri sızıntısıyla ilgili rehberi bu sorunu ve eğitim ile değerlendirme verilerini ayırmanın önemini açıklar.
Aşağıdaki futbol örnekleri, belirli bir hizmetle ilgili bulgular değil, açıklayıcı kontrollerdir:
| Girdi | Sorulacak soru |
|---|---|
| Takım formu | Ortalama, tahmin edilen maç ve bundan sonraki tüm maçları hariç tutuyor mu? |
| Lig sıralaması | O maçtan önceki lig tablosu mu, yoksa sezon sonu tablosu mu? |
| Başlangıç kadrosu | Belirtilen tahmin zamanına kadar duyurulmuş muydu? |
| Bahis oranları | Tahmin yayımlandığında bu tam fiyat mevcut muydu? |
For example, a forecast supposedly issued at noon cannot use a lineup first announced at 18:45. A later model version may legitimately use that lineup, but it represents a different publication time.
Daha önceki maçlardan sonra sonraki maçları test edin
Futbol tahminleri sıralı olarak gelir. Bir değerlendirme bu yönü korumalıdır: önce erken bilgilerden öğrenin, ardından sonraki maçları değerlendirin. Tarihleri rastgele karıştırmak, gelecekteki bilgilerin tarihsel bir tahmin gibi sunulan şeyi etkilemesine izin verebilir.
Zaman sırasına göre değerlendirme için scikit-learn dokümantasyonu daha önceki gözlemler üzerinde eğitip daha sonrakiler üzerinde test eden bölümleriaçıklar. Futbol veri kümeleri ayrıca uygun tarih gruplamalarına da ihtiyaç duyar: aynı tahmin kesme tarihindeki maçlar birbirlerine yanlışlıkla bilgi aktarmamalıdır.
Varsayımsal bir çalışmada, bir geliştirici 2023–24 tarihleri arasındaki maçları kullanarak bir yöntem geliştirebilir, ayarları 2024–25 tarihleri arasında seçebilir ve donmuş yaklaşımı 2025–26 tarihleri arasındaki maçlarda değerlendirebilir. Bu tarihler bir örnek tasarım açıklar, bir OptaTips sonucu değil.
Eğer geliştirici, son sezonu inceledikten sonra yöntemi tekrar tekrar değiştiriyorsa, bu sezon geliştirme sürecinin bir parçası haline gelmiştir. Düzeltmelerin değerlendirilmesi için yeni ve güncel kanıtlar gerekmektedir.
Daha önceki maçlardan sonra sonraki maçları test edin
Varsayalım ki iki varsayımsal yöntem aynı 100 maçı için normal süre içinde ev sahibi galibiyeti, beraberliği ve deplasman galibiyetini tahmin ediyor. Yöntem A, 60 sonucu doğru tahmin ediyor; Yöntem B ise 58 sonucu doğru tahmin ediyor. Bu örnekte gözlemlenen doğruluk oranları sırasıyla 60% ve 58% olur. Ancak bu, güvenilir bir uzun vadeli üstünlük sağladığını göstermez.
Şimdi Yöntem B’nin yayımlanmış kaydının yalnızca 20 seçilmiş maçı içerdiğini varsayalım. Bu yüzde, farklı bir soruya cevap verir. Her iki yöntemi ortak maçlar üzerinden karşılaştırın ya da seçim kapsamını ve hariç tutulanları açıkça bildirin. Seçici bir kaydı, tüm maçları kapsayan bir kayıtla sessizce karşılaştırmayın.
Her zaman ev sahibi takımı seçmek gibi basit bir referans modeli, aynı test kümesi üzerinde bağlam sağlayabilir. Karşılaştırma modelini, analizden sonra değil, önceden belirleyin.
Doğru tahminlerin ötesine bakın
Bir olay için sırasıyla 51% ve 90% olasılığı atayan iki model aynı sonucu seçebilir. Yalnızca doğruluk oranı, bu olasılık tahminlerinin kalitesini tanımlamaz.
Olasılık puanlama kuralları ve kalibrasyon kontrolleri ek bilgi sağlar. Brier skoru ve log kayıp, olasılıksal tahminleri değerlendirmek için kullanılır; buna karşılık bir kalibrasyon grafiği, tahmin edilen olasılık gruplarını gözlemlenen frekanslarla karşılaştırır. Daha düşük bir Brier skoru tek başına daha iyi bir kalibrasyonu kanıtlamaz; scikit-learn bu ayrımı açıklar.
Yüzdeliklerin günlük dile uygun açıklaması için okuyun 60% futbol tahmini ne anlama gelir. Bu makalede OptaTips için hiçbir performans metriği hesaplanmamıştır.
Doğru tahminlerin ötesine bakın
- Tam olarak hangi sonuç ve ödeme dönemi tahmin edilmiştir?
- Tüm girdiler, belirtilen yayımlama zamanına kadar mevcut muydu?
- Nihai değerlendirme maçları, model geliştirme sürecinden ayrı tutuldu mu?
- Karşılaştırma yöntemleri, eşdeğer maçlar ve seçim kuralları üzerinde mi test edilmiştir?
- Rapor, tam dönemini, örneklemi, hariç tutulanları ve model değişikliklerini açıkça açıklıyor mu?
Kendi incelemeniz için maçın kendisini, tahmin zaman damgasını, model sürümünü, orijinal olasılıkları ve nihai sonucu saklayın. Düzeltmeli tahminleri orijinal tahminlerden ayırın. Tam bir kayıt, okuyucuların iddiayı incelemesine olanak tanırken, seçilmiş başarıların bir ekran görüntüsü aynı kanıtı sağlamaz.
Öne çıkan görsel: Gerçek model performansını yansıtmayan, yapay zekâ ile üretilmiş editöryel illüstrasyondur.
18 yaş ve üzeri yetişkinler içindir. Bu kılavuz, değerlendirme yöntemlerini açıklar. Geçmiş performans, gelecekteki sonuçları veya kârı garanti etmez.
Yorumlar 0
Henüz yorum yok.