Computational analysis of the credibility of Internet sources using large language models

Tato bakalářská práce se zabývá výpočetní analýzou kredibility internetových zdrojů s využitím velkých jazykových modelů. Hlavním cílem je navrhnout a otestovat metodu, která k hodnocení důvěryhodnosti médií využívá informace implicitně obsažené v těchto modelech, konkrétně jejich interní reprezentace a míru jazykové nejistoty. V rámci experimentální části jsou využity modely Llama 3 a Qwen 3 k výpočtu tzv. delta skóre, které vyjadřuje míru asociace daného zdroje s pozitivními nebo negativními přídavnými jmény v residuálním streamu jazykového modelu. Tato skóre jsou následně s perplexitou použita jako prediktory v binární logistické regresi pro klasifikaci zdrojů jako důvěryhodné a nedůvěryhodné. Navržená metoda je porovnávána s běžnou metodou přímého dotazování (promptování). Výsledky testování na dvou datasetech různých velikostí prokázaly, že metoda využívající interní aktivace dosahuje srovnatelné efektivity jako přímé dotazování, přičemž nabízí jemnější nástroj pro hodnocení a seřazení zdrojů. Výsledky této práce naznačují, že interní reprezentace jazykových modelů mohou obsahovat signály využitelné pro odhad kredibility zdrojů. Na větším datasetu však metoda dosahuje pouze mírně lepších výsledků než přímé dotazování, a proto je třeba její přínos interpretovat opatrně.