Comparison between Frequentist and Bayesian logistic regression on the example of real data

Tato studie porovnává frekventistický a Bayesovský přístup k logistické regresi s využitím reálných dat, přičemž se zvláštní důraz klade na vliv informativních a neinformativních apriorních rozdělení v Bayesovské analýze. Výzkum je motivován pokrokem v oblasti výpočetních možností, které činí Bayesovské metody stále dostupnějšími v aplikacích strojového učení. Metodika zahrnovala rozdělení datové sady na dvě části: primární podmnožinu (20 %) pro hodnocení modelu a větší pomocnou podmnožinu (80 %), která simulovala předchozí znalosti. Byly porovnány tři přístupy: klasická logistická regrese, Bayesovská logistická regrese s neinformativními apriorními rozděleními a Bayesovská logistická regrese s informativními apriorními rozděleními. Výkonnost modelů byla hodnocena pomocí několika metrik, včetně přesnosti (Accuracy), preciznosti (Precision), návratnosti (Recall), F1-skóre a ROC-AUC skóre. Dále byla analyzována 95% intervaly spolehlivosti (CI) a věrohodnostní intervaly. Výsledky ukazují, že zatímco klasická regrese a Bayesovský přístup s neinformativními apriorními rozděleními vykazovaly podobný výkon, Bayesovský model s informativními apriorními rozděleními dosáhl výrazně lepších výsledků s přesností 0,83 (ve srovnání s 0,78), F1-skórem 0,85 (oproti 0,81) a výrazně vyšším ROC-AUC 0,93 (oproti 0,81). Nejvýznamnější zlepšení bylo pozorováno v odhadech nejistoty parametrů, kde délka věrohodnostních intervalů byla v průměru snížena o 15,1 % ve srovnání s klasickým přístupem, s vylepšeními v rozmezí od 10,3 % do 28,2 % u různých proměnných.