Fine-tuning a Small LLM for Frequent Itemset Mining

Thesis title: Fine-tuning malého LLM modelu pre úlohu hľadania častých itemsetov
Author: Slivka, Oliver
Thesis type: Bachelor thesis
Supervisor: Kliegr, Tomáš
Opponents: Hrudková, Kateřina
Thesis language: Slovensky
Abstract:
Predkladaná bakalárska práca sa zameriava na jemné doladenie jazykového modelu Qwen2.5-7B pre úlohu hľadania častých itemsetov v tabuľkových dátach. Ako deterministické referenčné riešenie je použitý algoritmus Apriori. V rámci práce bol navrhnutý a implementovaný modulárny experimentálny pipeline, ktorý zahŕňa generovanie syntetických datasetov, výpočet referenčných výsledkov pomocou Apriori, extrakciu itemsetov jazykovým modelom, validáciu výstupov a ukladanie výsledkov do databázy SQLite. Tréningové dáta obsahovali príklady pre supervised fine-tuning s Chain-of-Thought zdôvodnením a preferenčné páry DPO získané zo skutočných chýb komerčných modelov. Práca porovnáva viaceré tréningové iterácie, základné komerčné modely a diagnostickú metodológiu LLM Council. Výsledky ukazujú, že jemné doladenie zlepšuje formálnu štruktúru výstupu, ale úloha presnej kombinatorickej enumerácie zostáva pre autoregresívny jazykový model náročná. Práca tak hodnotí možnosti a limity použitia malého LLM modelu pre hľadanie častých itemsetov bez priameho použitia algoritmických nástrojov počas inferencie.
Keywords: fine-tuning jazykových modelov; časté itemsety; algoritmus Apriori
Thesis title: Fine-tuning malého LLM modelu pro úlohu hledání častých itemsetů
Author: Slivka, Oliver
Thesis type: Bakalářská práce
Supervisor: Kliegr, Tomáš
Opponents: Hrudková, Kateřina
Thesis language: Slovensky
Abstract:
Tato bakalářská práce se zaměřuje na jemné doladění jazykového modelu Qwen2.5-7B pro úlohu hledání častých itemsetů v tabulkových datech. Jako deterministické referenční řešení je použit algoritmus Apriori. V rámci práce byl navržen a implementován modulární experimentální pipeline zahrnující generování syntetických datasetů, výpočet referenčních výsledků pomocí Apriori, extrakci itemsetů jazykovým modelem, validaci výstupů a ukládání výsledků do databáze SQLite. Tréninková data obsahovala příklady pro supervised fine-tuning s Chain-of-Thought zdůvodněním a preferenční páry DPO získané ze skutečných chyb komerčních modelů. Práce porovnává několik tréninkových iterací, základní komerční modely a diagnostickou metodologii LLM Council. Výsledky ukazují, že jemné doladění zlepšuje formální strukturu výstupu, ale úloha přesné kombinatorické enumerace zůstává pro autoregresivní jazykový model obtížná. Práce tak hodnotí možnosti a limity použití malého LLM modelu pro hledání častých itemsetů bez přímého použití algoritmických nástrojů během inference.
Keywords: fine-tuning jazykových modelů; časté itemsety; algoritmus Apriori
Thesis title: Fine-tuning a Small LLM for Frequent Itemset Mining
Author: Slivka, Oliver
Thesis type: Bachelor thesis
Supervisor: Kliegr, Tomáš
Opponents: Hrudková, Kateřina
Thesis language: Slovensky
Abstract:
This bachelor thesis focuses on fine-tuning the Qwen2.5-7B language model for the task of frequent itemset mining in tabular data. The Apriori algorithm is used as a deterministic reference solution. The thesis designs and implements a modular experimental pipeline covering synthetic dataset generation, Apriori-based ground-truth computation, LLM-based itemset extraction, output validation, and result persistence in an SQLite database. The training data include supervised fine-tuning examples with Chain-of-Thought reasoning and DPO preference pairs derived from real failures of commercial models. The thesis compares several training iterations, commercial baseline models, and a diagnostic methodology called LLM Council. The results show that fine-tuning improves the formal structure of the generated output, but exact combinatorial enumeration remains difficult for an autoregressive language model. The thesis therefore evaluates both the potential and the limitations of using a small LLM for frequent itemset mining without directly using algorithmic tools during inference.
Keywords: language model fine-tuning; frequent itemsets; Apriori algorithm

Information about study

Study programme: Informační média a služby
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 1. 5. 2025
Date of submission: 11. 5. 2026
Date of defense: 20. 8. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/91920/podrobnosti

Files for download

    Last update: