Srovnávací analýza velkých jazykových modelů při klasifikaci mediálního zkreslení vynecháním
| Název práce: | Srovnávací analýza velkých jazykových modelů při klasifikaci mediálního zkreslení vynecháním |
|---|---|
| Autor(ka) práce: | Semerád, Martin |
| Typ práce: | Bakalářská práce |
| Vedoucí práce: | Kliegr, Tomáš |
| Oponenti práce: | Moreová, Barbara |
| Jazyk práce: | Česky |
| Abstrakt: | Tato bakalářská práce se zabývá problematikou detekce mediální předpojatosti vynecháním informace s využitím pokročilých open source velkých jazykových modelů. Cílem práce je navrhnout a implementovat proces automatické klasifikace, který kombinuje efektivní trénování modelů pomocí techniky LoRA s inovativním přístupem k evaluaci výstupů prostřednictvím metody LLM as a Judge. Experiment se zaměřuje na ověření schopnosti modelů rozlišovat mezi původními články z portálu Wikinews a jejich synteticky transformovanými verzemi, které byly pomocí modelu Gemini upraveny tak, aby simulovaly mediální předpojatost vynecháním informace. Teoretická část práce definuje koncept mediální předpojatosti vynecháním informace a její negativní dopady na zpravodajskou integritu a kognitivní zkreslení konzumentů zpráv. Praktická část se zaměřuje na tvorbu kontrolované sady dat, která zahrnuje extrakci a přípravu původních článků, jejich syntetickou transformaci pro účely experimentu, trénování vybraných velkých jazykových modelů a implementaci evaluačního systému založeného na metodě LLM as a Judge. Výsledky experimentu ukazují, že modely po aplikaci techniky LoRA jsou schopny s relativně vysokou přesností rozlišovat mezi původními články z Wikinews a synteticky transformovanými články, které byly vytvořeny za účelem simulace mediální předpojatosti vynecháním informace. Nejlepším klasifikátorem se stal model Gemma 27B s přesností 87,72 %. V oblasti sémantické správnosti odůvodnění u správně klasifikovaných instancí dominoval model Qwen 2.5 32B, který dosahoval vyššího porozumění kontextu klasifikace na základě předloženého textu článku (79,79 % shody dle LLM as a Judge). Tyto výsledky tak naznačují, že větší modely mohou dosahovat lepších výsledků, zejména v oblasti sémantického objasnění klasifikací. Tento závěr je však nutné chápat v kontextu omezeného počtu modelů a limitací spojených s experimentálním prostředím. |
| Klíčová slova: | Gemini; LLM as a Judge; mediální předpojatost; velké jazykové modely; LoRA |
| Název práce: | Comparative analysis of large language models in classifying media bias by omission |
|---|---|
| Autor(ka) práce: | Semerád, Martin |
| Typ práce: | Bachelor thesis |
| Vedoucí práce: | Kliegr, Tomáš |
| Oponenti práce: | Moreová, Barbara |
| Jazyk práce: | Česky |
| Abstrakt: | This bachelor`s thesis addressed the issue of detecting media bias by omission using advanced open-source large language models. The goal of this thesis is to design and implement an automated classification process that combines effective model training via the LoRA technique with an innovative approach to model evaluation using the LLM as a Judge method. The experiment focuses on verifying the ability of these models to distinguish between original Wikinews articles and their synthetically transformed versions, which were modified using the Gemini model to simulate media bias by omission. The theoretical part defines the concept of media bias by omission and its negative impact on journalistic integrity and the cognitive biases of news consumers. The practical part focuses on creating a comprehensive process that includes extraction and preparation of original articles, their synthetic transformation for experimental purposes, the training of selected LLM models, and the implementation of an evaluation system based on LLM as a Judge methodology. Experiment results show that models using the LoRA technique can distinguish with relatively high accuracy between original Wikinews articles and synthetically transformed articles created to simulate media bias by omission. The Gemma 27B model emerged as the best classifier, achieving an accuracy of 87.72%. In terms of semantic correctness and correctly classified justifications, the Qwen 2.5 32B model dominated, demonstrating a deeper understanding of the context based on the provided text of the article (79.79% agreement according to LLM as a Judge). These results suggest that larger models may achieve better performance, particularly in semantic classification justification. However, this conclusion must be understood in the context of the limited number of models and the limitations associated with the experimental environment. |
| Klíčová slova: | large language models; Gemini; LoRA; LLM as a Judge; mediální předpojatost |
Informace o studiu
| Studijní program / obor: | Data Analytics |
|---|---|
| Typ studijního programu: | Bakalářský studijní program |
| Přidělovaná hodnost: | Bc. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačního a znalostního inženýrství |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 27. 1. 2026 |
|---|---|
| Datum podání práce: | 11. 5. 2026 |
| Datum obhajoby: | 16. 6. 2026 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/95305/podrobnosti |