Comparative Analysis of AI-Generated Text Detection in Czech

Thesis title: Srovnávací analýza detekce AI generovaných textů v češtině
Author: Jedličková, Marika
Thesis type: Bakalářská práce
Supervisor: Moreová, Barbara
Opponents: Kliegr, Tomáš
Thesis language: Česky
Abstract:
Tato bakalářská práce se zabývá problematikou automatizované detekce AI generovaných textů v českém jazyce. Teoretická část práce popisuje fungování velkých jazykových modelů se zaměřením na jejich uplatnění v češtině a popisuje dva hlavní metodologické přístupy k detekci strojově generovaného textu, statistické metody a metody strojového učení. Navazující kapitola analyzuje čtyři komerční detekční platformy, GPTZero, Originality.ai, Pangram a DetekceGPT.cz, a porovnává jejich schopnosti. V praktické části práce byl sestaven dataset o velikosti 108 různých českých textů, které byly rovnoměrně rozděleny do tří kategorií: lidské texty, texty generované pomocí AI a hybridní texty upravené metodami obfuskace. Všechny čtyři nástroje byly otestovány pomocí standardních klasifikačních metrik. Výsledky ukazují, že spolehlivost detekce mezi těmito nástroji se výrazně liší. Nejvyšší přesnost vyšla u platformy Originality.ai, ovšem za cenu nejvyšší míry falešných pozitiv. Dále pak následovaly platformy Pangram a GPTZero. A úplně nejslabší výsledky zaznamenal detektor DetekceGPT.cz. Výsledky potvrdily, že záměrná obfuskace dokáže u citlivějších nástrojů snížit schopnost detekce.
Keywords: detekce AI textu; strojově generovaný text; velké jazykové modely; obfuskace; falešná pozitiva; akademická integrita; generativní AI
Thesis title: Comparative Analysis of AI-Generated Text Detection in Czech
Author: Jedličková, Marika
Thesis type: Bachelor thesis
Supervisor: Moreová, Barbara
Opponents: Kliegr, Tomáš
Thesis language: Česky
Abstract:
This bachelor's thesis addresses the issue of automated detection of AI-generated texts in Czech. The theoretical part of the thesis describes the functioning of large language models, with a focus on their application in Czech, and presents two main methodological approaches to detecting machine-generated text: statistical methods and machine learning methods. The following chapter analyzes four commercial detection platforms, GPTZero, Originality.ai, Pangram, and DetekceGPT.cz, and compares their capabilities. In the practical part of the thesis, a dataset of 108 Czech texts was compiled, which were equally divided into three categories: human texts, AI-generated texts, and hybrid texts modified using obfuscation methods. All four tools were tested using standard classification metrics. The results show that the detection reliability between these tools differs significantly. The Originality.ai platform achieved the highest accuracy, but at the expense of the highest false-positive rate. The Pangram and GPTZero platforms ranked second and third respectively. Furthermore, the weakest results were recorded by the DetekceGPT.cz detector. The results confirmed that intentional obfuscation can reduce the detection ability of more sensitive tools.
Keywords: false positives; academic integrity; generative AI; AI-generated text detection; machine-generated text; large language models; obfuscation

Information about study

Study programme: Aplikovaná informatika
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information and Knowledge Engineering

Information on submission and defense

Date of assignment: 6. 2. 2026
Date of submission: 11. 5. 2026
Date of defense: 17. 6. 2026
Identifier in the InSIS system: https://insis.vse.cz/zp/95496/podrobnosti

Files for download

    Last update: