Automatické generování myšlenkových map za využití velkých jazykových modelů
Autor(ka) práce:
Brus, Daniel
Typ práce:
Bakalářská práce
Vedoucí práce:
Zeman, Václav
Oponenti práce:
Dudáš, Marek
Jazyk práce:
Česky
Abstrakt:
Cílem práce je ukázat, jak je možné využít velké jazykové modely pro generování myšlenkových map z textu. K hlavnímu cíli autor dospěl přes tři dílčí cíle. Prvním dílčím cílem je zjistit, zda lze pomocí prompt engineeringu přimět model, aby spolehlivě generoval výstupy ve validních formátech, konkrétně ve strukturách JSON nebo RDF. Druhým dílčím cílem je vytvoření prototypu webové aplikace, která integruje OpenAI API. Třetím dílčím cílem je zhodnotit kvalitu vygenerovaných myšlenkových map a jejich vzájemnou podobnost. Teoretická část práce se soustředí na rešerši literárních a internetových zdrojů. V práci jsou zkoumány faktory, které ovlivňují výstupy velkých jazykových modelů. Především nastavitelné hyperparametry modelů a metody prompt engineeringu. Na závěr teoretické části autor odůvodní volbu matematických a statistických metod a technologií, které jsou použity v praktické části. Praktická část práce je zaměřena na vývoj prototypu webové aplikace, během kterého autor aplikuje poznatky z teoretické části. Autor aplikoval metodu iterativního prompt engineeringu, kdy byl nejprve aplikován generický prompt, který byl postupně vylepšován přidáváním konkrétnějších pokynů a příkladů. Také byla vyzkoušena různá nastavení parametrů modelu, jako jsou teplota a top-p. Iterativním přístupem bylo dosaženo generování validních myšlenkových map. Mapy jsou následně převedeny na jejich „embeddings“, na které jsou aplikovány metody shlukové analýzy a komparace. Výsledkem práce je funkční prototyp webové aplikace na automatické generování myšlenkových map, který integruje OpenAI API a kvantitativní vyhodnocení konzistence modelu založené na shlukové analýze embeddingů myšlenkových map.
Automatic Generation of Mind Maps with the Use of Large Language Models
Autor(ka) práce:
Brus, Daniel
Typ práce:
Bachelor thesis
Vedoucí práce:
Zeman, Václav
Oponenti práce:
Dudáš, Marek
Jazyk práce:
Česky
Abstrakt:
The aim of this thesis is to show how large language models can be used to generate mind maps from text. The main objective is achieved through three sub-objectives. The first sub-objective is to verify if the model can be made to reliably generate outputs in valid formats, namely JSON or RDF structures, by only using prompt engineering techniques. The second sub-goal is to create a web application prototype that interacts with the OpenAI API. The third sub-goal is to evaluate how similar the mind maps, generated on the same topics, are to each other. The theoretical part of the thesis focuses on research of a literature and web resources. The thesis examines the factors that influence the outputs of the language models. In particular, the author examines the hyperparameters of large language models and prompt engineering methods. At the end of the theoretical part, the author justifies the choice of mathematical and statistical methods and technologies that are used in the practical part. The practical part of the thesis focuses on the development of a prototype web application, during which the author applies the knowledge gained from the theoretical part. The author used the iterative prompt engineering method, where a generic zero-shot prompt was first applied, which was gradually improved by adding more specific instructions and examples. The author also tried different settings for model parameters such as temperature and top-p. The iterative approach successfully leads to generating valid mind maps. The maps are then converted into their embeddings to which cluster analysis and comparison methods are applied. The outcomes of this thesis are a working prototype of a web application for automatic generation of mind maps that integrates the OpenAI API and quantitative evaluation of model’s consistency based on a cluster analysis of mind map embeddings.
Klíčová slova:
large language models; prompt engineering; Python; OpenAI API; cluster analysis; mind maps; JSON