Cvičení k programování

Published on: 2020-09-03

1. Zadání pro web scraping

1. Napište scraper pro stahování dat nejnovějších článků z online serverů. Scraper bude vycházet ze stránky seznamu nejnovějších článků a postupně se “proklikávat” do detailu jednotlivých článků, případně seznamu komentářů.

2. Ze stažených článků se pokuste vyextrahovat maximum dostupných relevantních informací (nadpis, datum zveřejnění, autor, vlastní text, komentáře, počet zhlédnutí, …) a uložíte do NoSQL databáze.

3. Nad uloženými daty napište jednoduché API (např. flask), které dokáže vracet (vyberte si alespoň 2):

   • N nejnovějších článků
   • N nejkomentovanějších článků
   • N nejpoužívanějších slov
   • N nejdelších slov

Technologie:

• Povinné
  • Python 3.x
  • knihovna Scrapy
  • NoSQL databáze MongoDB
  • knihovna Flask
• Doporučené
  • Docker
  • Pytest
  • cokoliv :)
• Level Python Guru
  • Jupyter
  • Pandas