Webová rozhraní pro práci s velkými jazykovými modely
Autor(ka) práce:
Timoščuk, Martin
Typ práce:
Bakalářská práce
Vedoucí práce:
Kliegr, Tomáš
Oponenti práce:
Vojíř, Stanislav
Jazyk práce:
Česky
Abstrakt:
Bakalářská práce se zaměřuje na bezplatné nástroje pro zprostředkování velkých jazykových modelů (LLM) na lokálním hardware. V teoretické části je proveden průzkum souvisejících technologií a je představen teoretický základ pro pochopení problematiky. Byly identifikovány tři hlavní směry. Těmi jsou vývoj aplikací, tvorba modelů, a infrastrukturní technologie. Re- levantní veřejně dostupné softwarové projekty byly stručně představeny za účelem vytvoření přehledu. V praktické části byly vybrané nástroje zprovozněny nad modelem Llama 3 a jejich základní funkcionality byly předvedeny. Dále byla implementována demonstrativní webová aplikace pro validaci tvrzení oproti zadanému internetovému zdroji. Základem aplikace je existující validační skript, který byl adaptován pro účely aplikace. Aplikace integruje zprovozněné nástroje a na její implementaci jsou znázorněny koncepty, které se mohou v aplikacích nad LLM vyskytnout. Využita byla lokální infrastruktura univerzity. Následně bylo provedeno stručné srovnání zprovozněných technologií z kvalitativního hlediska a bylo určeno jejich nejvhodnější využití.
Klíčová slova:
webové technologie; API; infrastruktura; Velké jazykové modely; inference
Název práce:
Web interfaces for working with large language models
Autor(ka) práce:
Timoščuk, Martin
Typ práce:
Bachelor thesis
Vedoucí práce:
Kliegr, Tomáš
Oponenti práce:
Vojíř, Stanislav
Jazyk práce:
Česky
Abstrakt:
This bachelor’s thesis focuses on free tools for deploying large language models (LLMs) on local hardware. The theoretical section surveys related technologies and presents the foundational theory necessary for creating an understanding of the area. Three main directions were identified: application development, model development, and infrastructure technologies. Relevant publicly available software projects are briefly introduced to provide an overview. In the practical section, selected tools were deployed using the Llama 3 model and their basic functionalities were demonstrated. Additionally, a demonstrative web application was implemented to validate statements with a given internet source. The application is based on an existing validation script which was adapted for the purpose of this paper. The application integrates the deployed LLM tools, illustrating concepts that can be encountered in applications using LLMs. The university’s local infrastructure was utilized. Finally, a brief qualitative comparison of the deployed technologies was conducted, and their most suitable use case was identified.
Klíčová slova:
Large language models; infrastructure; web technologies; API; inference