All jobs

Distributed Parser Engineer

RemoteSenior
About the role

О компании

Группа компаний, разрабатывающая облачные SaaS-продукты для интернет-маркетинга, аналитики данных и SEO (MegaIndex и экосистему из 30+ сервисов).

Обязанности

  • +Разработка многопоточного распределённого парсера
  • +Управление десятками/сотнями браузерных сессий одновременно
  • +Работа напрямую через Chrome DevTools Protocol (CDP)
  • +Выполнение JS в контексте страницы
  • +Сбор HTML, JSON, network responses
  • +Параллельные очереди задач, дедупликация URL, retry-логика
  • +Планирование обхода сайтов (BFS/DFS, сегментация)
  • +Работа с фреймворками автоматизации: Puppeteer, Playwright, Selenium, CEFSharp
  • +Обход challenge-страниц, симуляция пользовательского поведения
  • +Управление большими пулами WebSocket-соединений, fault-tolerance

Требования

  • +Опыт построения многопоточных распределённых систем сбора данных
  • +Глубокое знание Chrome DevTools Protocol (CDP)
  • +Опыт работы с Puppeteer, Playwright, Selenium, CEFSharp
  • +Понимание антибот-защит и методов их обхода
  • +Опыт работы с прокси (Residential/Mobile)
  • +Навыки разработки надёжной распределённой архитектуры

Условия

  • +Удалённая работа
  • +Гибкий график
Stack & Tools