Мониторинг цен конкурентов на Авито
- Python
- SQLite
- JavaScript
- Chrome DevTools Protocol
- объявлений в анализе
- 10 414
- Выдача Авито
- JS-экстрактор в браузере
- Снапшоты в SQLite
- Цены и рейтинги
- Выводы для клиента
Задача
Компании сферы услуг нужно было понять, где её цены и рейтинг находятся относительно конкурентов на Авито, — вручную просматривать тысячи объявлений невозможно.
Подход
Готовые парсеры Авито блокирует, поэтому сбор идёт через настоящий браузер: на странице выдачи выполняется JS-экстрактор, а результат складывается в SQLite как снапшот с датой. Это медленнее, но стабильно и без риска блокировки. Из снапшотов считаются ценовые квартили, рейтинги и динамика.
Что сделано
- Сбор выдачи через настоящий браузер: без обхода защиты и без агрессивной частоты запросов
- Цены по квартилям (минимум, медиана, максимум), средний рейтинг и число отзывов по каждой странице выдачи
- История снапшотов: видно, как рынок меняется во времени
- Отдельный разбор профилей самого клиента на фоне конкурентов
Стек
Python для загрузки и анализа, SQLite для истории снапшотов, JS-экстрактор в реальном Chrome, отчёт по нише.
Результат
Проанализировано более 10 000 объявлений: клиент понимает, где его цены выше или ниже рынка и за счёт чего конкуренты собирают отзывы.