Návrh a implementace frameworku pro tvorbu webových scraperů v jazyce Swift
| Název práce: | Návrh a implementace frameworku pro tvorbu webových scraperů v jazyce Swift |
|---|---|
| Autor(ka) práce: | Nováček, Stanislav |
| Typ práce: | Diplomová práce |
| Vedoucí práce: | Pavlíčková, Jarmila |
| Oponenti práce: | Král, David |
| Jazyk práce: | Česky |
| Abstrakt: | Cíle této diplomové práce byly vytyčeny dva – vytvoření open-souce knihovny pro tvorbu webových crawlerů a scraperů v programovacím jazyce Swift; a implementace webového scraperu za pomocí této knihovny. Pro splnění prvního cíle byla provedena analýza scrapovacího procesu a existujících knihoven určených pro scrapování webových stránek napsaných v programovacím jazyce Swift. Po této analýze došlo k návrhu decentralizované architektury a definici požadavků, které sloužily jako podklad pro implementaci knihovny. Po dokončení implementace bylo pro zjištění splnění prvního cíle provedeno tabulkové srovnání nové knihovny s knihovnami existujícími dle určených požadavků. Pro splnění druhého cíle bylo definováno zadání a případ užití webového scraperu. Podle tohoto zadání byla navržena architektura a komponenty, které sloužily jako podklady pro implementaci programu. Pro zjištění splnění druhého cíle byla provedena demonstrace tohoto scraperu na vybraném webu. |
| Klíčová slova: | crawling; knihovna; scraping; Swift; web crawling; web scraping; decentralizovaný; framework |
| Název práce: | Design and implementation of a framework for creating web scrapers in Swift programming language |
|---|---|
| Autor(ka) práce: | Nováček, Stanislav |
| Typ práce: | Diploma thesis |
| Vedoucí práce: | Pavlíčková, Jarmila |
| Oponenti práce: | Král, David |
| Jazyk práce: | Česky |
| Abstrakt: | There were two goals defined for this diploma thesis – first, to implement an open-source library for creating web crawlers and web scrapers written in Swift programming language; second, to implement a web scraper using this library and to use this scraper on some chosen website as a demonstration. To successfully accomplish the first goal, an analysis of the scraping process and existing libraries was carried out and a decentralized architecture with a list of requirements was defined based upon the analysis. A new library was implemented according to the requirements and architecture. A tabular comparison of the new library and existing ones was made to determine if the first goal had been successfully met. To successfully accomplish the second goal, a description and a use case of a web scraper were defined. Based upon given description and the use case an architecture and components were designed. With these designs in mind a web scraping program was implemented and used to scrape data from a chosen website as a demonstration. This demonstration was carried out to determine if the second goal had been achieved. |
| Klíčová slova: | scraping; Swift; web crawling; web scraping; crawling; decentralized; framework; library |
Informace o studiu
| Studijní program / obor: | Aplikovaná informatika/Informační systémy a technologie |
|---|---|
| Typ studijního programu: | Magisterský studijní program |
| Přidělovaná hodnost: | Ing. |
| Instituce přidělující hodnost: | Vysoká škola ekonomická v Praze |
| Fakulta: | Fakulta informatiky a statistiky |
| Katedra: | Katedra informačních technologií |
Informace o odevzdání a obhajobě
| Datum zadání práce: | 18. 9. 2017 |
|---|---|
| Datum podání práce: | 30. 11. 2018 |
| Datum obhajoby: | 21. 1. 2019 |
| Identifikátor v systému InSIS: | https://insis.vse.cz/zp/63536/podrobnosti |