Využití LLMs pro vysvětlitelnou klasifikaci obrazu z oblasti biomedicíny

Bakalářská práce se zabývá využitím velkých jazykových modelů (LLMs) při vysvětlitelné klasifikaci biomedicínských obrazových dat. Navržený systém generuje textové popisy z rentgenových snímků horní končetiny pomocí dvou typů jazykových výstupů: přirozeně formulovaných frází a segmentovaných výstupů vzniklých slovním rozkladem. Každý popis je následně převeden do prostoru vnoření a dále zpracován pomocí čtyř pooling strategií a rozšířen o doménové příznaky. Na takto získaných vstupech jsou trénovány vysvětlitelné klasifikátory. Výsledky ukazují, že nejvyšších hodnot metriky úplnost dosáhla logistická regrese využívající segmentované výstupy generované modelem Qwen 2.5-VL-7B-Instruct a Bio_ClinicalBERT ve spojení s kombinovanou pooling strategií a doménovými příznaky. Tato konfigurace dosáhla úplnosti 0,696. Přestože tento výsledek nepřekonal obrazový klasifikátor ResNet-34, který dosáhl úplnosti 0,818, nabídla vnořená reprezentace konkurenceschopný výkon při zachování vysvětlitelnosti vstupních dat. Nejlepšího výsledku v rámci přirozeně formulovaných frází bylo rovněž dosaženo pomocí logistické regrese, konkrétně při využití GPT-4o-mini od OpenAI s text-embedding-3-small a Max pooling, s úplností 0,604. Práce dále analyzuje jazykové výstupy, vliv pooling strategií a význam doménových příznaků. Celý systém je implementován jako reprodukovatelný a snadno rozšiřitelný postup, který umožňuje další aplikace v oblasti biomedicínské klasifikace.