Settings

Language, shortcuts & timezone

Language

Timezone

Time zone changes apply on this device. A new device may start at GMT+8; check match times before reading.

Zum Inhalt springen
Empfehlungen

Einstellungen

Passen Sie Ihre Einstellungen an

Fußball-Vorhersage-Kalibrierung und die Belege hinter einer Prozentangabe

Durch Opta Tips Team Aktualisiert

Überprüfen Sie die Wahrscheinlichkeitsgruppen, beobachteten Häufigkeiten und Tore-Regelungen, bevor Sie beurteilen, ob eine Fußballprognose kalibriert ist.

Calibration review connects original probabilities, grouped outcomes and observed frequencies.

Eine Fußballprognose von 60% bedeutet nicht, dass das ausgewählte Ergebnis in jedem Spiel eintreten muss. Ein sinnvoller erster Test ist, ob Ergebnisse mit ähnlichen zugewiesenen Wahrscheinlichkeiten über einen geeigneten Datensatz hinweg etwa mit vergleichbarer Häufigkeit eintreten. Diese Beziehung wird als Kalibrierung bezeichnet. Sie kann systematische Überkonfidenz aufdecken, ohne jedes verlorene Vorhersageergebnis im selben Sinne als Fehler zu behandeln.

Kalibrierung ist relevant, wenn ein Dienst explizite Wahrscheinlichkeiten veröffentlicht. Eine Liste, die ausschließlich Auswahlentscheidungen, Quoten und Ergebnisse enthält, kann kein fehlendes Wahrscheinlichkeitsarchiv bereitstellen. Buchmacherquoten können in implizierte Wahrscheinlichkeiten umgerechnet werden, doch beschreiben diese Werte den zitierten Markt und dessen Gewinnspanne. Sie entsprechen nicht automatisch den Schätzungen des Analysten.

Bewahren Sie die Wahrscheinlichkeit auf, die vor dem Spiel bestand.

Beginnen Sie mit dem genauen Ereignis, das prognostiziert wird. Ein Heimsieg in der regulären Spielzeit unterscheidet sich von einer Qualifikation, einem Handicap-Sieg oder einem Halbzeit-Ergebnis. Jede Wahrscheinlichkeit muss sich auf das anschließend festgehaltene Ergebnis beziehen.

Behalten Sie den Zeitstempel der Veröffentlichung und die Version der Prognose bei. Falls sich eine Schätzung nach Bekanntgabe der endgültigen Teamnachrichten ändert, bewahren Sie beide Versionen auf und kennzeichnen Sie jene, die für die Bewertung ausgewählt wurde. Eine Morgenprognose und eine endgültige Vorab-Prognose stützen sich auf unterschiedliche Informationen. Ein opportunistisches Mischen beider kann die Bewertung künstlich verbessern, ohne die zugrundeliegende Methode zu optimieren.

Verwenden Sie eine Ergebnisspalte, die den Wert eins enthält, wenn das spezifizierte Ereignis eintritt, und null, wenn es nicht eintritt. Ausstehende Begegnungen bleiben ausstehend. Ungültige Spiele, abgebrochene Partien sowie Märkte mit Rückerstattungen benötigen eine explizite Bewertungsregel statt einer stillschweigenden binären Umwandlung.

Gruppieren Sie vergleichbare Prognosen, bevor Sie Häufigkeiten vergleichen.

Angenommen, ein fiktives Archiv enthält 100 abgeschlossene Prognosen, wobei jede genau 60% einer binären Aussage zuweist. Wenn 59 Ereignisse eintreten, beträgt ihre beobachtete Häufigkeit 59%. Dies liegt in dieser Stichprobe nahe der angegebenen 60% . Das beweist jedoch weder, dass jede einzelne Prognose korrekt war, noch, dass das nächste Ereignis eine bekannte 60% -Chance besitzt.

Wenn nur 40 Ereignisse eintreten, verdient die Abweichung eine eingehende Untersuchung. Bevor Sie einen dauerhaften Fehler feststellen, prüfen Sie die Konstruktion der Stichprobe, die Veröffentlichungszeiten sowie die Frage, ob mehrere Einträge von denselben Begegnissen abhängen. Eine numerische Lücke kann zudem durch Schwankungen der Ergebnisse beeinflusst sein, insbesondere bei einem kleinen Datensatz.

Reale Schätzungen weichen üblicherweise voneinander ab. Möglicherweise gruppieren Sie Prognosen von 55% bis, aber ausschließlich, 65%. Vergleichen Sie die tatsächliche mittlere Wahrscheinlichkeit dieser Gruppe mit ihrer beobachteten Ereignishäufigkeit. Gehen Sie nicht davon aus, dass der Mittelwert exakt 60% beträgt, nur weil das Intervall um diesen Wert zentriert ist.

Die offizielle scikit-learn-Dokumentation beschreibt Zuverlässigkeitsdiagramme und weist darauf hin, dass globale Wahrscheinlichkeitswerte mehr als nur die Kalibrierung widerspiegeln. Dies stellt eine nützliche methodologische Grenze bei der Interpretation eines Fußballmodells dar. Scikit-learn-Dokumentation zur Wahrscheinlichkeitskalibrierung.

Zeigen Sie die Anzahlen neben dem Diagramm an.

Ein Kalibrierungsdiagramm stellt die durchschnittliche Prognosewahrscheinlichkeit jeder Gruppe gegenüber ihrer beobachteten Häufigkeit dar. Ein Punkt nahe der Diagonalen deutet auf Übereinstimmung für diese Gruppe unter der gewählten Bewertungsmethode hin. Geben Sie die Anzahl der Beobachtungen an, damit der Leser zwischen einer kleinen Untergruppe und einer gut besetzten Gruppe unterscheiden kann.

Leere Gruppen liefern keine beobachtete Häufigkeit. Zeichnen Sie an Stellen ohne Vorhersagen keinen Wert null ein. Ebenso sollten Sie spärliche Punkte nicht so miteinander verbinden, dass dies eine präzise gemessene Kurve über nicht beobachtete Wahrscheinlichkeitsbereiche suggeriert.

Wählen Sie die Intervalle vor der Interpretation der Ergebnisse. Das Verschieben ihrer Grenzen, bis die Punkte günstig erscheinen, verändert die Fragestellung nach Kenntnis der Antwort. Bewahren Sie die zugrundeliegenden Daten auf und zeigen Sie auf, ob eine vernünftige alternative Gruppierung die Interpretation wesentlich verändert.

Die Untersuchung von Dimitriadis, Gneiting und Jordan analysiert die Instabilität, die sich aus Entscheidungen bei herkömmlichen gruppierten Zuverlässigkeitsdiagrammen ergeben kann. Ihr Beitrag stützt die Auffassung, dass die Darstellungsmethode als Teil der Evidenz betrachtet werden sollte. Sie bewertet keinen bestimmten Fußball-Service. Forschung zu Zuverlässigkeitsdiagrammen.

Eine vorsichtige Prognose kann kalibriert, aber nicht informativ sein

Betrachten Sie eine erfundene, ausgewogene Sammlung von Ereignissen, bei der die Hälfte eintritt. Ein System, das jedem Ereignis 50% zuweist, kann die aggregierte Häufigkeit perfekt wiedergeben, ohne jemals leichtere Ergebnisse von schwierigeren zu unterscheiden. Kalibrierung kann daher nicht alle Aspekte der Prognosequalität beschreiben.

Eine nützliche Bewertung stellt zudem die Frage, ob die Schätzungen verschiedene Wahrscheinlichkeiten trennen und ob sie sich gegenüber einem geeigneten Benchmark verbessern. Der Benchmark muss nur Informationen nutzen, die zum gleichen Zeitpunkt wie die Prognose verfügbar waren. Ein Vergleich einer frühen Schätzung mit einem späteren Markt, der bestätigten Nachrichteninhalt enthält, führt zu einem Informationsunterschied, der offengelegt werden muss.

Verwechseln Sie keine ordentliche Kalibrierungsgrafik mit einer profitablen Bilanz. Der Gewinn hängt von den verfügbaren Quoten, den Auszahlungsbedingungen, den Kosten und den tatsächlich getroffenen Auswahlentscheidungen ab. Eine Wahrscheinlichkeitsbewertung und eine Renditeberechnung erfordern jeweils gesonderte Belege.

Prüfen Sie den Wahrscheinlichkeitsfehler, ohne dessen Umfang zu verschleiern

Bei binären Ergebnissen berechnet der Brier-Score den Durchschnitt der quadrierten Differenz zwischen der prognostizierten Wahrscheinlichkeit und dem Ergebnisindikator. Kleinere Werte weisen auf einen geringeren mittleren quadratischen Wahrscheinlichkeitsfehler in der bewerteten Stichprobe hin.

Bei einer erfundenen 60% -Prognose ergibt ein erfolgreiches Ereignis einen quadratischen Fehler von (0.60 − 1) im Quadrat, also 0.16. Ein erfolgloses Ereignis ergibt (0.60 − 0) im Quadrat, also 0.36. Dies sind Berechnungen nach einer Scoring-Regel, keine finanziellen Renditen.

Der Durchschnitt hängt von den ausgewählten Ereignissen und deren zugrundeliegender Schwierigkeit ab. Vergleichen Sie Systeme nach Möglichkeit an denselben zulässigen Ereignissen, mit derselben Konvention für den Prognosezeitpunkt und denselben Definitionen der Ergebnisse. Ein Wert für eine bestimmte Spieltagessammlung sollte nicht beiläufig einen Wert aus einer sehr unterschiedlichen Sammlung übertrumpfen.

Trennen Sie Modelländerungen von Änderungen in der Stichprobe

Ein Prognosearchiv kann sich über mehrere Modellversionen, Wettbewerbe und Saisons erstrecken. Eine aggregierte Grafik kann eine Verschlechterung in einer Periode oder eine Verbesserung in einer anderen verbergen. Behalten Sie das Gesamtergebnis bei und prüfen Sie anschließend sachlich begründete Unterteilungen, deren Definitionen transparent sind.

Viele kleine retrospektive Teilungen können zudem durch Zufall Muster erzeugen. Dokumentieren Sie den Grund für eine Unterteilung und vermeiden Sie es, die am besten abschneidende Liga oder den am besten abschneidenden Monat als gesamte Bewertung darzustellen. Eine umfangreichere Aufzeichnung ist nur dann nützlich, wenn ihr Inhalt weiterhin für die gestellte Frage relevant bleibt.

Für OptaTips klären Sie zunächst, welche öffentlichen Seiten tatsächlich explizite Wahrscheinlichkeitsschätzungen und ein historisches Archiv bereitstellen. Fehlen diese Angaben, bleibt eine Kalibrierungsbewertung nicht möglich. Eine Siegquote-Tabelle allein reicht nicht aus, um die Wahrscheinlichkeiten, die den Spielen vorausgingen, zu rekonstruieren.

Halten Sie die Modellanpassung strikt getrennt von der Bewertung

Wenn ein Entwickler Wahrscheinlichkeitsschätzungen mithilfe beobachteter Ergebnisse anpasst, sind diese Ergebnisse bereits Teil des Entwicklungsprozesses geworden. Die Bewertung der angepassten Ergebnisse anhand derselben Daten kann nicht als unberührter Test behandelt werden. Bewahren Sie stattdessen eine separate Bewertungsperiode oder eine andere sachlich begründete Trennung zwischen Anpassung und Bewertung auf.

Nehmen Sie beispielsweise einen erfundenen Dienst an, der feststellt, dass seine 70% -Gruppe nur zur Hälfte erfolgreich war, und daraufhin diese Wahrscheinlichkeiten nach unten korrigiert. Die neuen Werte passen möglicherweise besser zu dieser alten Stichprobe. Die unbeantwortete Frage lautet jedoch, ob die Korrektur die Vorhersagen für spätere Spiele verbessert, deren Ergebnisse zum Zeitpunkt der Anpassung noch nicht bekannt waren.

Bewahren Sie die ursprüngliche Modellversion und die angepasste Transformation getrennt auf. Falls eine spätere Version bessere Ergebnisse erzielt, beschreiben Sie den Zeitraum und den Vergleich, der dieses Ergebnis stützt. Ersetzen Sie nicht die älteren Live-Wahrscheinlichkeiten und geben Sie die überarbeiteten Werte als ursprünglich vor den Spielen veröffentlichte Prognosen aus.

Die -Backtest-Checkliste erläutert das umfassendere Problem der Informationsverfügbarkeit und unsichtbarer Ergebnisse. Eine Kalibrierungskorrektur erfordert dieselbe chronologische Disziplin.

Unterscheiden Sie ein binäres Ereignis von einem Vektor mit dem vollständigen Spielresultat

Die hier gezeigten Beispiele bewerten ein Ereignis im Vergleich zu seinem Komplement, beispielsweise einen Heimsieg im Vergleich zu keinem Heimsieg. Eine vollständige 1X2 -Prognose weist stattdessen Wahrscheinlichkeiten für Heimsieg, Unentschieden und Auswärtssieg zu. Diese Wahrscheinlichkeiten sollten sich auf sich gegenseitig ausschließende Ergebnisse im selben Zeitraum beziehen und sich zu eins summieren.

Vergleichen Sie einen binären Brier-Score nicht direkt mit einem Multiklassen-Score, ohne vorher die Definition und Skalierung zu prüfen. Eine ähnlich benannte Ausgabe kann Fehler unterschiedlich aggregieren. Geben Sie die Bewertungskonvention an, bevor Sie veröffentlichte Zahlen miteinander vergleichen.

Die alleinige Überprüfung der Heimsieg-Komponente stellt keine Kalibrierung der Unentschieden- und Auswärts-Komponenten sicher. Ebenso garantiert ein gutes Gesamtverhalten über alle Begegnungen hinweg nicht zwangsläufig ein vergleichbares Verhalten innerhalb einer einzelnen Liga oder eines bestimmten Wahrscheinlichkeitsbereichs. Prüfen Sie die tatsächlich behauptete Aussage.

Führen Sie ein Prognoseprotokoll, das den Test unterstützt.

Ein praktisches Protokoll enthält die Begegnungs-ID, die Ereignisdefinition, den Zeitpunkt der Veröffentlichung, die Modellversion, die Wahrscheinlichkeit und das endgültige Ergebnis. Behalten Sie fehlende oder ausgeschlossene Einträge zusammen mit dem Grund dafür bei. Ein Diagramm, das ausschließlich aus den am leichtesten wiederherstellbaren Zeilen erstellt wurde, kann eine selektive Teilmenge verbergen.

Der Leitfaden zu Fußballprognosewahrscheinlichkeiten erläutert, warum eine Wahrscheinlichkeit Unsicherheit beschreibt. Die Kalibrierung fügt eine fragebasierte Ebene auf Eintragsebene hinzu: ob eine Serie angegebener Wahrscheinlichkeiten unter einer offengelegten Methode den beobachteten Häufigkeiten entspricht.

Eine nützliche Überprüfung kann zu dem Schluss kommen, dass die verfügbaren Daten unzureichend sind. Liegen zu wenige Vorhersagen im relevanten Bereich vor, fehlen originale Schätzungen oder ist die Historie der Modellversionen unklar, so würde eine ansprechende Kurve mehr Belege suggerieren, als das Archiv tatsächlich enthält.

Machen Sie die Überprüfung reproduzierbar.

Eine abgeschlossene Kalibrierungsüberprüfung sollte die Prognosequelle, die Datumsangaben, die Ereignisdefinition, die Wahrscheinlichkeitsversion, die Gruppierungsmethode und die Anzahl der Beobachtungen angeben. Sie sollte fehlende Einträge identifizieren und explorative Erkenntnisse von vorab festgelegten Prüfungen unterscheiden.

Alle hier verwendeten numerischen Beispiele sind hypothetisch. Die Beispiele erläutern die Methode und stellen keinerlei Bewertung tatsächlicher OptaTips-Wahrscheinlichkeiten dar. Historische Bewertungen garantieren weder zukünftige Ergebnisse noch Gewinn.

Leserdiskussion

Kommentare 0

Noch keine Kommentare.

Schreiben Sie einen Kommentar

Your email address will not be published. Required fields are marked *