Мы занимаемся управлением информацией о товарах на маркетплейсах.
Стек: Python 3.6, Scrapy, Splash, Selenium, Puppeteer, Django, PostgreSQL, RabbitMQ, Docker.
Любые ваши эффективные инструменты стек, позволяющие парсить сотни тысяч данных как правило json, за короткий период времени
Ключевые задачи у нас:
- Написание веб-пауков для парсинга сайтов, фикс уже существующих парсеров.
- Парсинг сайтов с региональными ограничениями.
- Парсинг сайтов со встроенной капчей для верификации пользователя (reCAPTCHA, hCaptcha).
- Парсинг сайтов со встроенной защитой от ботового трафика (Datadome,Incapsula/Imperva, Amazon Cloudfront, Akamai).
- Исследование и внедрение новых способов парсинга для повышения качества и скорости сбора данных.
- Работа с высоконагруженными микросервисами для анализа и обработки больших объемов данных.
Работа полный день, но не менее 5 часов, таймтрекер
сообщите ваш опыт