Settings

Language, shortcuts & timezone

Language

Timezone

Time zone changes apply on this device. A new device may start at GMT+8; check match times before reading.

Passer au contenu
Références

Paramètres

Personnalisez vos préférences

Calibration des prédictions footballistiques et les éléments probants derrière un pourcentage

Par Opta Tips Team Mis à jour

Vérifiez les groupes de probabilités, les fréquences observées et les conventions de marquage avant d’évaluer si une prévision footballistique est calibrée.

Calibration review connects original probabilities, grouped outcomes and observed frequencies.

Une prévision footballistique de 60% ne signifie pas que le résultat sélectionné doit se produire à chaque match. Un premier test utile consiste à vérifier si les résultats auxquels des probabilités similaires ont été attribuées se produisent approximativement avec des fréquences comparables sur un historique approprié. Cette relation s’appelle la calibration. Elle peut révéler une surestimation systématique sans considérer chaque prédiction perdante comme une erreur au même titre.

La calibration est pertinente lorsqu’un service publie des probabilités explicites. Une liste contenant uniquement des sélections, des cotes et des résultats ne permet pas de reconstituer une archive de probabilités manquante. Les cotes des bookmakers peuvent être converties en probabilités implicites, mais ces valeurs décrivent le marché coté et sa marge. Elles ne constituent pas automatiquement les estimations de l’analyste.

Conserver la probabilité qui existait avant le match

Commencer par l’événement exact à prédire. Une victoire à domicile en temps réglementaire diffère d’une qualification, d’une victoire avec handicap ou d’un résultat de première mi-temps. Chaque probabilité doit faire référence au résultat effectivement enregistré par la suite.

Conserver l’horodatage de publication et la version de la prédiction. Si une estimation évolue après la confirmation des compositions d’équipe, conserver les deux versions et identifier celle retenue pour l’évaluation. Une prévision matinale et une prévision finale avant le coup d’envoi reposent sur des informations différentes. Les mélanger de façon opportuniste peut améliorer artificiellement l’apparence de l’évaluation sans améliorer la méthode sous-jacente.

Utiliser une colonne de résultats contenant un lorsque l’événement spécifié se produit et zéro lorsqu’il ne se produit pas. Les rencontres en attente restent en attente. Les matchs annulés, les marchés impliquant des remboursements ou les résultats « nuls » nécessitent une règle d’évaluation explicite plutôt qu’une conversion binaire silencieuse.

Regrouper les prévisions comparables avant de comparer leurs fréquences

Supposons qu’une archive fictive contienne 100 prévisions réglées, chacune attribuant exactement 60% à un événement binaire. Si 59 événements se produisent, leur fréquence observée est 59%. Cela est proche de la 60% déclarée dans cet échantillon. Cela ne prouve pas que chaque prévision était exacte ni que le prochain événement a une chance connue de 60% .

Si seulement 40 événements se produisent, l’écart mérite une enquête. Avant de conclure à un défaut persistant, examiner la construction de l’échantillon, les horaires de publication et le fait que plusieurs entrées dépendent ou non des mêmes rencontres. Un écart numérique peut également être influencé par la variabilité des résultats, notamment dans un petit échantillon.

Les estimations réelles varient généralement. Vous pourriez regrouper les prévisions allant de 55% jusqu’à, mais sans inclure, 65%. Comparer la probabilité moyenne effective dans ce groupe avec sa fréquence observée d’événements. Ne pas supposer que la moyenne est exactement 60% uniquement parce que l’intervalle est centré sur cette valeur.

La documentation officielle de scikit-learn décrit les diagrammes de fiabilité et met en garde contre le fait que les scores globaux de probabilité reflètent davantage que la calibration seule. Il s’agit d’une frontière méthodologique utile lors de l’interprétation d’un modèle footballistique. Documentation scikit-learn sur la calibration des probabilités.

Afficher les effectifs à côté du diagramme

Un graphique de calibration représente, pour chaque groupe, la probabilité moyenne prévue en fonction de la fréquence observée. Un point proche de la diagonale indique un accord pour ce groupe selon la méthode d’évaluation choisie. Inclure le nombre d’observations afin que le lecteur puisse distinguer un sous-groupe réduit d’un groupe bien représenté.

Les groupes vides ne fournissent aucune fréquence observée. Ne pas tracer de point zéro là où aucune prévision n’existe. De même, éviter de relier des points épars d’une manière qui suggérerait une courbe précisément mesurée sur des plages de probabilités non observées.

Choisir les intervalles avant d’interpréter les résultats. Déplacer leurs limites jusqu’à ce que les points paraissent favorables revient à modifier la question après avoir vu la réponse. Préserver les données sous-jacentes et montrer si un regroupement alternatif raisonnable modifie sensiblement l’interprétation.

Une étude menée par Dimitriadis, Gneiting et Jordan examine l’instabilité pouvant découler des choix effectués dans les diagrammes de fiabilité groupés classiques. Sa contribution soutient l’idée de considérer la méthode de tracé comme faisant partie des éléments de preuve. Elle n’évalue aucun service footballistique particulier. Recherche sur les diagrammes de fiabilité.

Une prévision prudente peut être calibrée mais non informative

Considérons une collection fictive et équilibrée d’événements dont la moitié se réalisent. Un système attribuant 50% à chaque événement peut parfaitement reproduire la fréquence globale tout en ne distinguant jamais les résultats plus faciles des plus difficiles. La calibration ne saurait donc décrire tous les aspects de la qualité d’une prévision.

Un examen utile interroge également la capacité des estimations à distinguer différentes probabilités et à améliorer un point de référence approprié. Ce point de référence doit s’appuyer sur les informations disponibles au même moment que la prévision. Comparer une estimation précoce avec un marché ultérieur intégrant des nouvelles confirmées introduit une différence d’information qui doit être explicitement mentionnée.

Ne confondez pas un diagramme de calibration bien ordonné avec un historique rentable. La rentabilité dépend des cotes disponibles, des conditions de règlement, des coûts et des sélections effectivement retenues. Une évaluation de probabilité et un calcul de rendement nécessitent des éléments de preuve distincts.

Examinez l’erreur de probabilité sans en masquer l’étendue

Pour des issues binaires, le score de Brier calcule la moyenne des différences au carré entre la probabilité prévue et l’indicateur de résultat. Des valeurs plus faibles indiquent une erreur quadratique moyenne de probabilité plus petite sur l’échantillon évalué.

Pour une prévision fictive 60% , un événement réussi donne une erreur au carré de (0.60 − 1) au carré, soit 0.16. Un événement infructueux donne (0.60 − 0) au carré, soit 0.36. Il s’agit ici de calculs fondés sur une règle de notation, et non de rendements financiers.

La moyenne dépend des événements sélectionnés et de leur difficulté intrinsèque. Comparez les systèmes sur les mêmes événements éligibles dans la mesure du possible, en appliquant la même convention de date de prévision et les mêmes définitions de résultats. Un score obtenu sur un ensemble de rencontres ne saurait, de façon imprudente, se voir préféré à un score issu d’un ensemble très différent.

Distinguez les modifications apportées au modèle de celles affectant l’échantillon

Une archive de prévisions peut couvrir plusieurs versions de modèles, compétitions et saisons. Un diagramme agrégé risque de masquer une détérioration survenue sur une période donnée ou une amélioration sur une autre. Conservez le résultat global, puis examinez les découpages justifiés dont les définitions sont explicites.

De nombreux petits segments rétrospectifs peuvent aussi créer des motifs par simple hasard. Documentez la raison d’un découpage et résistez à la tentation de présenter la ligue ou le mois le plus flatteur comme représentatif de l’évaluation dans son ensemble. Un historique plus vaste n’est utile que si son contenu demeure pertinent par rapport à la question posée.

Pour OptaTips, commencez par identifier les pages publiques qui fournissent effectivement des estimations de probabilité explicites ainsi qu’une archive historique. Lorsque ces éléments font défaut, toute analyse de calibration reste impossible. Un simple tableau de taux de victoires ne permet pas de reconstituer les probabilités ayant précédé les matchs.

Gardez la phase d’ajustement du modèle strictement séparée de celle de l’évaluation

Si un développeur ajuste les estimations de probabilité à l’aide des résultats observés, ces résultats sont alors devenus partie intégrante du processus de développement. Évaluer la sortie ainsi ajustée sur les mêmes données ne saurait être considéré comme un test indépendant. Prévoyez une période d’évaluation distincte ou une autre séparation justifiée entre l’ajustement et l’évaluation.

Par exemple, supposons qu’un service fictif constate que son groupe 70% a connu un taux de réussite de seulement la moitié, puis diminue systématiquement ces probabilités. Les nouvelles valeurs pourraient mieux s’ajuster à cet ancien échantillon. La question restant sans réponse est de savoir si cette transformation améliore effectivement les prédictions portant sur des rencontres ultérieures, dont les résultats étaient inconnus au moment où l’ajustement a été choisi.

Conserver la version d’origine du modèle et la transformation ajustée. Si une version ultérieure donne de meilleurs résultats, décrire la période et la comparaison qui étayent cette conclusion. Ne pas remplacer les anciennes probabilités en direct et présenter les valeurs révisées comme des prévisions initialement publiées avant les matchs.

La liste de vérification pour les tests rétrospectifs explique la question plus large de la disponibilité de l’information et des résultats non observés. Un ajustement de calibrage exige cette même discipline chronologique.

Faites la distinction entre un événement binaire et un vecteur complet de résultats de match

Les exemples présentés ici évaluent un événement par rapport à son complément, par exemple une victoire à domicile contre l’absence de victoire à domicile. Une prévision complète 1X2 attribue quant à elle des probabilités à la victoire à domicile, au match nul et à la victoire à l’extérieur. Ces probabilités doivent décrire des issues mutuellement exclusives sur la même période et s’additionner à un.

Ne comparez pas directement un score de Brier binaire avec un score multiclasse sans vérifier la définition et l’échelle utilisées. Une sortie portant un nom similaire peut agréger les erreurs différemment. Précisez la convention de notation avant de comparer des valeurs publiées.

Vérifier uniquement la composante « victoire à domicile » ne permet pas d’établir le calibrage des composantes « match nul » et « victoire à l’extérieur ». De même, un comportement agrégé satisfaisant sur l’ensemble des rencontres ne garantit pas un comportement similaire pour une compétition donnée ou dans une fourchette de probabilités spécifique. Examinez attentivement la question réellement avancée.

Tenez un journal de prévisions qui soutient le test

Un journal pratique contient l’identifiant de la rencontre, la définition de l’événement, l’heure de publication, la version du modèle, la probabilité et le résultat finalisé. Conservez les entrées manquantes ou exclues en indiquant la raison. Un graphique construit uniquement à partir des lignes les plus faciles à récupérer peut masquer un sous-ensemble sélectionné.

Le guide des probabilités de prévision footballistique explique pourquoi une probabilité décrit une incertitude. Le calibrage ajoute une question au niveau de chaque prédiction : une série de probabilités déclarées correspond-elle aux fréquences observées selon une méthode explicitement définie ?

Un examen utile peut conclure que les données disponibles sont insuffisantes. Si le nombre de prédictions dans la fourchette pertinente est trop faible, si aucune estimation originale n’a été conservée ou si l’historique des versions du modèle est flou, une courbe attrayante donnerait à penser qu’il existe davantage de preuves que ce que l’archive ne fournit réellement.

Rendez l’examen reproductible

Un examen achevé de calibrage doit préciser la source des prédictions, les dates concernées, la définition de l’événement, la version des probabilités, la méthode de regroupement et le nombre d’observations. Il doit identifier les entrées manquantes et distinguer clairement les découvertes exploratoires des vérifications choisies à l’avance.

Tous les exemples numériques présentés ici sont hypothétiques. Ces exemples illustrent la méthode et n’évaluent en aucun cas les probabilités réelles de OptaTips. Des évaluations historiques ne garantissent ni des résultats futurs ni des bénéfices.

Discussion des lecteurs

Commentaires 0

Aucun commentaire pour le moment.

Laisser un commentaire

Your email address will not be published. Required fields are marked *