Web interfaces for working with large language models
| Thesis title: | Webová rozhraní pro práci s velkými jazykovými modely |
|---|---|
| Author: | Timoščuk, Martin |
| Thesis type: | Bakalářská práce |
| Supervisor: | Kliegr, Tomáš |
| Opponents: | Vojíř, Stanislav |
| Thesis language: | Česky |
| Abstract: | Bakalářská práce se zaměřuje na bezplatné nástroje pro zprostředkování velkých jazykových modelů (LLM) na lokálním hardware. V teoretické části je proveden průzkum souvisejících technologií a je představen teoretický základ pro pochopení problematiky. Byly identifikovány tři hlavní směry. Těmi jsou vývoj aplikací, tvorba modelů, a infrastrukturní technologie. Re- levantní veřejně dostupné softwarové projekty byly stručně představeny za účelem vytvoření přehledu. V praktické části byly vybrané nástroje zprovozněny nad modelem Llama 3 a jejich základní funkcionality byly předvedeny. Dále byla implementována demonstrativní webová aplikace pro validaci tvrzení oproti zadanému internetovému zdroji. Základem aplikace je existující validační skript, který byl adaptován pro účely aplikace. Aplikace integruje zprovozněné nástroje a na její implementaci jsou znázorněny koncepty, které se mohou v aplikacích nad LLM vyskytnout. Využita byla lokální infrastruktura univerzity. Následně bylo provedeno stručné srovnání zprovozněných technologií z kvalitativního hlediska a bylo určeno jejich nejvhodnější využití. |
| Keywords: | webové technologie; API; infrastruktura; Velké jazykové modely; inference |
| Thesis title: | Web interfaces for working with large language models |
|---|---|
| Author: | Timoščuk, Martin |
| Thesis type: | Bachelor thesis |
| Supervisor: | Kliegr, Tomáš |
| Opponents: | Vojíř, Stanislav |
| Thesis language: | Česky |
| Abstract: | This bachelor’s thesis focuses on free tools for deploying large language models (LLMs) on local hardware. The theoretical section surveys related technologies and presents the foundational theory necessary for creating an understanding of the area. Three main directions were identified: application development, model development, and infrastructure technologies. Relevant publicly available software projects are briefly introduced to provide an overview. In the practical section, selected tools were deployed using the Llama 3 model and their basic functionalities were demonstrated. Additionally, a demonstrative web application was implemented to validate statements with a given internet source. The application is based on an existing validation script which was adapted for the purpose of this paper. The application integrates the deployed LLM tools, illustrating concepts that can be encountered in applications using LLMs. The university’s local infrastructure was utilized. Finally, a brief qualitative comparison of the deployed technologies was conducted, and their most suitable use case was identified. |
| Keywords: | Large language models; infrastructure; web technologies; API; inference |
Information about study
| Study programme: | Aplikovaná informatika |
|---|---|
| Type of study programme: | Bakalářský studijní program |
| Assigned degree: | Bc. |
| Institutions assigning academic degree: | Vysoká škola ekonomická v Praze |
| Faculty: | Faculty of Informatics and Statistics |
| Department: | Department of Information and Knowledge Engineering |
Information on submission and defense
| Date of assignment: | 25. 1. 2024 |
|---|---|
| Date of submission: | 27. 6. 2024 |
| Date of defense: | 23. 8. 2024 |
| Identifier in the InSIS system: | https://insis.vse.cz/zp/87215/podrobnosti |