This thesis presents a novel hybrid approach to predictive modelling that enhances logistic regression with exception rules. While regression-based models are widely used for their simplicity and generalisation ability, they often fail to capture localised, non-linear patterns. To address this limitation, the proposed algorithm integrates rule-based refinement into a standard logistic regression model by mining exception rules using the 4ft-Miner algorithm. These rules identify compact and interpretable subgroups in the data with elevated prediction confidence and are used to boost the baseline model. The hybrid model is implemented in Python and evaluated on the Telco Customer Churn dataset. The results show that while the overall predictive accuracy of the hybrid and baseline models is comparable, performance improved in uncertain prediction regions, instances where logistic regression predicted class probabilities near 0.5. Notably, some individual rules showed strong generalisation and substantially outperformed the baseline model in their respective subspaces. The design also incorporated techniques to prevent overfitting, including training-only rule mining, support constraints, and rule complexity limits. The findings confirm that boosting predictive models with exception rules is not only feasible but also beneficial in enhancing interpretability and performance.
Klíčová slova:
boosting; logistic regression; exception rules; predictive model
Název práce:
Boosting prediktivního modelu pomocí exception rules
Autor(ka) práce:
Lušková, Martina
Typ práce:
Diplomová práce
Vedoucí práce:
Máša, Petr
Oponenti práce:
Rauch, Jan
Jazyk práce:
English
Abstrakt:
Tato diplomová práce představuje nový hybridní přístup k prediktivnímu modelování, který rozšiřuje logistickou regresi o exception rules. Regresní modely jsou běžně využívány pro svou jednoduchost a schopnost zobecnění, často však selhávají při zachycení lokálních a nelineárních vzorců. K překonání tohoto omezení navržený algoritmus integruje exception rules do standardního modelu logistické regrese skrz hledání pravidel pomocí algoritmu 4ft-Miner. Tato pravidla identifikují kompaktní a interpretovatelné podskupiny v datech s vysokou predikční jistotou a slouží k vylepšení výchozího modelu. Hybridní model byl implementován v jazyce Python a otestován na datasetu Telco Customer Churn. Výsledky ukazují, že celková prediktivní přesnost hybridního a výchozího modelu je srovnatelná, avšak výkon se zlepšil v oblastech s nejistou predikcí, tedy tam, kde logistická regrese předpovídala pravděpodobnosti blízké 0,5. Některá individuální pravidla navíc vykázala silnou schopnost generalizace a výrazně překonala výchozí model ve svých příslušných podprostorech. Návrh modelu zahrnoval také techniky prevence overfittingu, včetně hledání pravidel pouze na trénovací množině, a omezení podpory, a složitosti pravidel. Zjištění potvrzují, že posílení prediktivních modelů pomocí exception rules je nejen proveditelné, ale i přínosné z hlediska interpretovatelnosti a výkonnosti.