Detecting malicious content on the Internet using machine learning

The spread of harmful content on social media platforms is a serious social problem that has the potential to influence public opinion and polarize the debate. The aim of the work was to design and verify a system for automatic detection of harmful content in text posts, using natural language processing (NLP) methods and transformer language models. As part of the solution, a series of experiments were carried out in which different model architectures were compared in the task of binary classification. The emphasis was placed mainly on the ability to capture a minority, but socially significant category of toxic statements. The selected model was subsequently used for qualitative analysis of the outputs on real examples, thereby verifying the ability to recognize subtle linguistic nuances, including sarcasm, irony, and latent polarization. The work also points out the challenges of implementing the system in a cloud environment and discusses the limits of the approach used. The results confirm the potential of language models as a tool for effective detection of malicious content and suggest possibilities for their integration into real-world applications to support safer online communication.

Šíření škodlivého obsahu na platformách sociálních médií představuje vážný společenský problém, který má potenciál ovlivňovat veřejné mínění a polarizovat diskusi. Cílem práce bylo navrhnout a ověřit systém pro automatickou detekci škodlivého obsahu v textových příspěvcích, využívající metody zpracování přirozeného jazyka (NLP) a transformerové jazykové modely. V rámci řešení byla realizována série experimentů, ve kterých byly porovnány různé architektury modelů v roli binární klasifikace. Důraz byl kladen zejména na schopnost zachytit minoritní, ale společensky významnou kategorii toxických výroků. Vybraný model byl následně použit pro kvalitativní analýzu výstupů na reálných příkladech, čímž se ověřila schopnost rozpoznat jemné jazykové nuance včetně sarkasmu, ironie či latentní polarizace. Práce poukazuje i na výzvy při implementaci systému v cloudovém prostředí a diskutuje limity použitého přístupu. Výsledky potvrzují potenciál jazykových modelů jako nástroje pro efektivní detekci škodlivého obsahu a naznačují možnosti jejich integrace do reálných aplikací na podporu bezpečnější online komunikace.