Uncertainty Quantification in Predictive Modelling

Thesis title: Kvantifikace nejistoty v prediktivním modelování
Author: Li, Zakhar
Thesis type: Bakalářská práce
Supervisor: Löster, Tomáš
Opponents: Danko, Jakub
Thesis language: Česky
Abstract:
Tato práce se zabývá kvantifikací nejistoty v prediktivním modelování se zaměřením na konstrukci a hodnocení predikčních intervalů. Teoretická část vymezuje aleatorní a epistemickou nejistotu a systematicky porovnává čtyři přístupy: lineární regresní model, kvantilovou regresi, metodu Natural Gradient Boosting (NGBoost) a konformní predikci jako kalibrační vrstvu s garancí marginálního pokrytí. Pro jednotné empirické srovnání jsou zavedeny metriky empirického pokrytí intervalu (Prediction Interval Coverage Probability, PICP), průměrné šířky intervalu (Mean Prediction Interval Width, MPIW) a Winklerovo skóre, doplněné o odmocninu střední kvadratické chyby (Root Mean Squared Error, RMSE) a průměrnou absolutní chybu (Mean Absolute Error, MAE). Empirická část využívá Monte Carlo simulace ve třech syntetických scénářích zahrnujících homoskedasticitu, heteroskedasticitu, nelinearitu a extrapolaci mimo trénovací doménu. Výsledky ukazují, že konformní predikce v oblasti uvnitř trénovací domény zpravidla zlepšuje kalibraci intervalů, avšak nedokáže napravit chybný induktivní bias podkladového modelu. V použitých jednorozměrných syntetických simulacích se dále ukazuje, že stromové modely v extrapolaci za posledním splitem přecházejí na téměř konstantní predikci, což u NGBoostu a gradient boostingu s kvantilovou ztrátou vede k prudkému zhoršení Winklerova skóre. Provedené simulace tak naznačují, že spolehlivá kvantifikace nejistoty závisí nejen na kalibraci intervalu, ale i na schopnosti modelu extrapolovat bodovou predikci a udržet přiměřené intervalové chování mimo trénovací doménu.
Keywords: kvantifikace nejistoty; predikční intervaly; konformní predikce; kvantilová regrese; NGBoost
Thesis title: Uncertainty Quantification in Predictive Modelling
Author: Li, Zakhar
Thesis type: Bachelor thesis
Supervisor: Löster, Tomáš
Opponents: Danko, Jakub
Thesis language: Česky
Abstract:
This thesis studies uncertainty quantification in predictive modelling with a focus on constructing and evaluating prediction intervals. The theoretical part distinguishes aleatoric and epistemic uncertainty and systematically compares four approaches: the linear regression model, quantile regression, the Natural Gradient Boosting method (NGBoost), and conformal prediction as a calibration layer with marginal coverage guarantees. For a unified empirical comparison, the thesis uses the Prediction Interval Coverage Probability (PICP), Mean Prediction Interval Width (MPIW), and the Winkler score, complemented by the Root Mean Squared Error (RMSE) and Mean Absolute Error (MAE). The empirical part relies on Monte Carlo simulations in three synthetic scenarios covering homoskedasticity, heteroskedasticity, nonlinearity, and extrapolation beyond the training domain. The results show that conformal prediction usually improves interval calibration inside the training domain, but it does not correct an incorrect inductive bias of the underlying model. In the one-dimensional synthetic simulations used here, tree-based models switch to an almost constant prediction beyond the last split, which causes a sharp deterioration of the Winkler score for NGBoost and quantile-loss gradient boosting. The simulations therefore suggest that reliable interval uncertainty depends not only on calibration, but also on the model's ability to extrapolate the point prediction and maintain adequate interval behaviour beyond the training domain.
Keywords: conformal prediction; quantile regression; NGBoost; uncertainty quantification; prediction intervals

Information about study

Study programme: Matematické metody v ekonomii/Datové analýzy a modelování
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Statistics and Probability

Information on submission and defense

Date of assignment: 23. 9. 2025
Date of submission: 10. 5. 2026
Date of defense: 11. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/93527/podrobnosti

Files for download

    Last update: