Knowledge base: Warsaw University of Technology

Settings and your account

Back

Web scraping for statistics on used cars

Michał Jadach

Abstract

This paper is about creating a Web scraper with a job of aggregating data from used cars dealerships. It elaborates on the possible approaches to do it and explains which one is the best for this task. Exemplary solution of how a scraper could work is implemented and explained step by step for good understanding of the reader. In the second part of the paper, there are exemplary statistics on the used car market generated with the aggregated data by earlier implemented scraper.
Diploma type
Engineer's / Bachelor of Science
Diploma type
Engineer's thesis
Author
Michał Jadach (FEIT/ICS) Michał Jadach,, The Institute of Computer Science (FEIT/ICS)Faculty of Electronics and Information Technology (FEIT)
Title in Polish
Skrapowanie stron internetowych dla uzyskania statystyk rynku używanych aut
Supervisor
Robert Bembenik (FEIT/ICS) Robert Bembenik,, The Institute of Computer Science (FEIT/ICS)Faculty of Electronics and Information Technology (FEIT)
Certifying unit
Faculty of Electronics and Information Technology (FEIT)
Affiliation unit
The Institute of Computer Science (FEIT/ICS)
Study subject / specialization
, Informatyka (Computer Science)
Language
(en) English
Status
Finished
Defense Date
24-09-2019
Issue date (year)
2019
Internal identifier
114/19 (2707)
Reviewers
Robert Bembenik (FEIT/ICS) Robert Bembenik,, The Institute of Computer Science (FEIT/ICS)Faculty of Electronics and Information Technology (FEIT) Łukasz Skonieczny (FEIT/ICS) Łukasz Skonieczny,, The Institute of Computer Science (FEIT/ICS)Faculty of Electronics and Information Technology (FEIT)
Keywords in Polish
scrap’owanie stron internetowych, agregacja danych, JavaScript, Node.js, wyrażenie regularne, MySQL, HTML
Keywords in English
web scraping, data aggregation, JavaScript, Node.js, regular expressions, MySQL, HTML
Abstract in Polish
Niniejsza praca skupia się na stworzeniu scraper’a stron internetowych, który ma za zadanie agregację danych zdobytych na stronach komisów samochodów używanych. Zawarta jest w niej analiza możliwych rozważań budowy scraper’a, wytypowanie najlepszego i wytłumaczenie, dlaczego konkretne rozwiązanie jest uważane za najlepsze. Przykładowe rozwiązanie jak scraper powinien działać zostało zaimplementowane i wytłumaczone krok po kroku dla dobrego zrozumienia przez czytelnika, co jest potrzebne, aby rozwiązanie dobrze działało. W drugiej części pracy, podane są przykładowe statystyki stworzone na podstawie danych zagregowanych przez wcześniej zaimplementowany scraper.
File
  • File: 1
    20190916_Praca_inzynierska.pdf
Request a WCAG compliant version
Local fields
Identyfikator pracy APD: 35931

Uniform Resource Identifier
https://repo.pw.edu.pl/info/bachelor/WUT805702f85b094385b75f7c364ab4d1e4/
URN
urn:pw-repo:WUT805702f85b094385b75f7c364ab4d1e4

Confirmation
Are you sure?
Report incorrect data on this page