The GPT models and their usage in modern technologies and applications

Thesis title: Modely GPT a jejich využití v moderních technologiích a aplikacích
Author: Nikolaev, Dmitrii
Thesis type: Bakalářská práce
Supervisor: Kovářová, Marie
Opponents: Maryška, Miloš
Thesis language: Česky
Abstract:
Tato bakalářská práce se zabývá schopnostmi, aplikacemi a dopadem modelů Generative Pre-trained Transformer (GPT), přičemž klade zvláštní důraz na jejich potenciál v oblasti softwarového vývoje. Začíná teoretickým úvodem, který se věnuje evoluci modelů GPT a architektuře transformátoru, jež je základem jejich schopnosti generovat text s kvalitou srovnatelnou s lidským textem. Komparativní analýza zdůrazňuje rozdíly a neustálé pokroky mezi jednotlivými iteracemi GPT a srovnatelnými architekturami. Práce také prozkoumává rozmanité aplikace modelů GPT a zahrnuje diskusi o etických aspektech a společenských dopadech, které tyto modely přinášejí. Pro ukázku praktické užitečnosti modelů GPT práce podrobně popisuje případovou studii integrace modelu GPT do pracovního procesu softwarového vývoje. Hodnotí se implementace, provádění a výsledky projektu, což poskytuje náhledy do možných výhod a budoucích využití. Aplikace "Concept Explorer" je představena jako příklad, který demonstruje využití modelů GPT pro vysvětlení a překlad konceptů. Závěr práce syntetizuje teoretické koncepty a praktické zjištění, zdůrazňuje klíčové poznatky a navrhuje možné oblasti pro budoucí výzkum role modelů GPT ve vývoji softwaru.
Keywords: generování kódu; zpracování přirozeného jazyka (NLP); vývoj softwaru; etická AI; Generative Pre-trained Transformers (GPT); strojové učení
Thesis title: The GPT models and their usage in modern technologies and applications
Author: Nikolaev, Dmitrii
Thesis type: Bachelor thesis
Supervisor: Kovářová, Marie
Opponents: Maryška, Miloš
Thesis language: Česky
Abstract:
This thesis explores the capabilities, applications, and impact of Generative Pre-trained Transformer (GPT) models, with a particular emphasis on their potential within software development. It begins with a theoretical foundation, examining the evolution of GPT models and the transformer architecture that underpins their ability to generate human-quality text. A comparative analysis highlights the distinctions and ongoing advancements among various GPT iterations and similar architectures. The thesis also delves into the wide-ranging applications of GPT models, along with a discussion of the ethical considerations and societal impacts they raise. To demonstrate the practical utility of GPT models, this thesis details a case study in which a GPT model is integrated into a software development workflow. The project's implementation, execution, and results are evaluated, offering insights into potential benefits and future use cases. The "Concept Explorer" application is presented as an example, showcasing the application of GPT models for concept explanation and translation. The thesis concludes with a synthesis of theoretical concepts and practical findings, emphasizing key takeaways and suggesting potential areas for future research into GPT models' role in software development.
Keywords: Generative Pre-trained Transformers (GPT); software development; code generation; Natural Language Processing (NLP); Machine Learning; ethical AI

Information about study

Study programme: Aplikovaná informatika
Type of study programme: Bakalářský studijní program
Assigned degree: Bc.
Institutions assigning academic degree: Vysoká škola ekonomická v Praze
Faculty: Faculty of Informatics and Statistics
Department: Department of Information Technologies

Information on submission and defense

Date of assignment: 3. 1. 2024
Date of submission: 5. 5. 2024
Date of defense: 21. 6. 2024
Identifier in the InSIS system: https://insis.vse.cz/zp/86995/podrobnosti

Files for download

    Last update: