Theory and methodology of scoring functions: tail properties, interval forecasts, and point processes


Brehmer, Jonas Reiner


[img] PDF
jbrehmer_Diss-1.pdf - Published

Download (978kB)

URL: https://madoc.bib.uni-mannheim.de/58080
URN: urn:nbn:de:bsz:180-madoc-580805
Document Type: Doctoral dissertation
Year of publication: 2020
Place of publication: Mannheim
University: Universität Mannheim
Evaluator: Schlather, Martin
Date of oral examination: 7 December 2020
Publication language: English
Institution: School of Business Informatics and Mathematics > Mathematische Statistik (Schlather 2012-)
Subject: 310 Statistics
510 Mathematics
Keywords (English): consistent scoring function , proper scoring rule , elicitability , elicitation complexity , forecast evaluation , model comparison , extreme value theory , interval forecast , prediction interval , point processes
Abstract: Scoring functions are decision-theoretically principled tools to quantify predictive performance. A scoring function is strictly consistent for a statistical functional, e.g. the expectation, if its expected score is uniquely minimized by this functional. This thesis examines existence and properties of strictly consistent scoring functions for three kinds of functionals. Firstly, we introduce the class of max-functionals, which contains key characteristics from extreme value theory, for instance the extreme value index. We show that its members do not allow for forecast evaluation via strictly consistent scoring functions in a very strong sense. The second part develops results for interval forecasts. Strictly consistent scoring functions exist and can be characterized for two types, the equal-tailed and modal interval. However, for the shortest prediction interval, they are not available relative to practically relevant classes of distributions. Lastly, the third part introduces consistent scoring functions for point process characteristics, such as the intensity, which enables a novel approach to comparative forecast evaluation in this framework.
Translation of the title: Theorie und Methodik der Bewertungsfunktionen: Tail-Eigenschaften, Intervallvorhersagen und Punktprozesse (German)
Translation of the abstract: Bewertungsfunktionen sind von entscheidungstheoretischen Prinzipien geleitete Hilfsmittel um den Erfolg von Vorhersagen zu bewerten. Eine Bewertungsfunktion ist strikt konsistent für ein statistisches Funktional, beispielsweise die Erwartung, wenn ihre erwartete Bewertung durch das Funktional eindeutig minimiert wird. Diese Arbeit untersucht Existenz und Eigenschaften strikt konsistenter Bewertungsfunktionen für drei Arten von Funktionalen. Zuerst führen wir die Klasse der Max-Funktionale ein, die zentrale Charakteristiken der Extremwerttheorie enthält, zum Beispiel den Extremwertindex. Wir zeigen, dass die Elemente dieser Klasse in einem starken Sinne keine Vorhersageauswertung mittels strikt konsistenter Bewertungsfunktionen zulassen. Der zweite Teil entwickelt Resultate für Intervallvorhersagen. Für zwei Typen von Intervallen, das “equal-tailed interval” und das Modalintervall, gibt es strikt konsistente Bewertungsfunkionen, die sich auch charakterisieren lassen. Für das kürzeste Prediktionsintervall sind jedoch, relativ zu praktisch relevanten Verteilungsklassen, keine solchen Funktionen verfügbar. Schließlich stellt der dritte Teil strikt konsistente Bewertungsfunktionen für Charakteristika von Punktprozessen vor, zum Beispiel für die Intensität. Dies ermöglicht eine neue Herangehensweise an die vergleichende Auswertung von Vorhersagen im Rahmen von Punktprozessen. (German)

Dieser Eintrag ist Teil der Universitätsbibliographie.

Das Dokument wird vom Publikationsserver der Universitätsbibliothek Mannheim bereitgestellt.




Metadata export


Citation


+ Search Authors in

+ Download Statistics

Downloads per month over past year

View more statistics



You have found an error? Please let us know about your desired correction here: E-Mail


Actions (login required)

Show item Show item