Theory and methodology of scoring functions: tail properties, interval forecasts, and point processes

PDF
jbrehmer_Diss-1.pdf - Veröffentlichte Version
Download (978kB)

URL:	https://madoc.bib.uni-mannheim.de/58080
URN:	urn:nbn:de:bsz:180-madoc-580805
Dokumenttyp:	Dissertation
Erscheinungsjahr:	2020
Ort der Veröffentlichung:	Mannheim
Hochschule:	Universität Mannheim
Gutachter:	Schlather, Martin
Datum der mündl. Prüfung:	7 Dezember 2020
Sprache der Veröffentlichung:	Englisch
Einrichtung:	Fakultät für Wirtschaftsinformatik und Wirtschaftsmathematik > Applied Stochastics (Schlather 2012-)
Fachgebiet:	310 Statistik 510 Mathematik
Freie Schlagwörter (Englisch):	consistent scoring function , proper scoring rule , elicitability , elicitation complexity , forecast evaluation , model comparison , extreme value theory , interval forecast , prediction interval , point processes
Abstract:	Scoring functions are decision-theoretically principled tools to quantify predictive performance. A scoring function is strictly consistent for a statistical functional, e.g. the expectation, if its expected score is uniquely minimized by this functional. This thesis examines existence and properties of strictly consistent scoring functions for three kinds of functionals. Firstly, we introduce the class of max-functionals, which contains key characteristics from extreme value theory, for instance the extreme value index. We show that its members do not allow for forecast evaluation via strictly consistent scoring functions in a very strong sense. The second part develops results for interval forecasts. Strictly consistent scoring functions exist and can be characterized for two types, the equal-tailed and modal interval. However, for the shortest prediction interval, they are not available relative to practically relevant classes of distributions. Lastly, the third part introduces consistent scoring functions for point process characteristics, such as the intensity, which enables a novel approach to comparative forecast evaluation in this framework.
Übersetzter Titel:	Theorie und Methodik der Bewertungsfunktionen: Tail-Eigenschaften, Intervallvorhersagen und Punktprozesse (Deutsch)
Übersetzung des Abstracts:	Bewertungsfunktionen sind von entscheidungstheoretischen Prinzipien geleitete Hilfsmittel um den Erfolg von Vorhersagen zu bewerten. Eine Bewertungsfunktion ist strikt konsistent für ein statistisches Funktional, beispielsweise die Erwartung, wenn ihre erwartete Bewertung durch das Funktional eindeutig minimiert wird. Diese Arbeit untersucht Existenz und Eigenschaften strikt konsistenter Bewertungsfunktionen für drei Arten von Funktionalen. Zuerst führen wir die Klasse der Max-Funktionale ein, die zentrale Charakteristiken der Extremwerttheorie enthält, zum Beispiel den Extremwertindex. Wir zeigen, dass die Elemente dieser Klasse in einem starken Sinne keine Vorhersageauswertung mittels strikt konsistenter Bewertungsfunktionen zulassen. Der zweite Teil entwickelt Resultate für Intervallvorhersagen. Für zwei Typen von Intervallen, das “equal-tailed interval” und das Modalintervall, gibt es strikt konsistente Bewertungsfunkionen, die sich auch charakterisieren lassen. Für das kürzeste Prediktionsintervall sind jedoch, relativ zu praktisch relevanten Verteilungsklassen, keine solchen Funktionen verfügbar. Schließlich stellt der dritte Teil strikt konsistente Bewertungsfunktionen für Charakteristika von Punktprozessen vor, zum Beispiel für die Intensität. Dies ermöglicht eine neue Herangehensweise an die vergleichende Auswertung von Vorhersagen im Rahmen von Punktprozessen. (Deutsch)