Как собирать цены конкурентов на Avito, не получив бан по IP

Собирать цены конкурентов на Avito вручную — это часы пролистывания карточек, которые быстро надоедают и всё равно дают только срез на сегодня. Первая мысль — написать скрипт и снять всю нишу за один проход. Вторая мысль обычно приходит после первой блокировки.

Почему агрессивный скрипт не работает

Голый Playwright, даже со стелс-патчами и через настоящий установленный Chrome, Avito вычисляет не «на глаз», а по факту автоматизации на уровне протокола — CDP-фингерпринт есть у любого Playwright/Puppeteer-скрипта в принципе, независимо от того, насколько аккуратно он замаскирован. Дальше идёт вторая линия защиты — блокировка по IP при частых заходах подряд. То есть даже обойдя первую проверку, скрипт, который гонит запросы пачками с одного адреса, рано или поздно упрётся во вторую.

Реальный случай блокировки

На одном из проектов сбор шёл по нескольким нишевым запросам и регионам сразу — счёт объявлений в итоге пошёл на десятки тысяч. В какой-то момент IP всё равно попал под блокировку: не потому, что метод был неправильным, а потому что это ожидаемый риск любого автоматического сбора публичных данных, даже осторожного. Работу пришлось приостановить и продолжить позже, а не форсировать через покупку прокси без согласования с клиентом — это была осознанная пауза, а не провал метода.

Рабочий путь — через настоящий браузер и паузы

Практика, которая держится дольше: сбор через настоящий Chrome, где скрипт выполняет тот же JS-экстрактор, что видит обычный посетитель страницы, с паузами между переходами (случайные несколько секунд, а не мгновенные пачки запросов) и без параллельных инстансов с одного адреса. Это не устраняет риск блокировки полностью — устраняет только агрессивность, которая делает блокировку почти гарантированной и быстрой.

Два уровня сбора вместо одного

Для количественного охвата всей ниши достаточно агрегатов по странице (минимум/медиана/максимум цены, средний рейтинг) — это не требует захода в каждую карточку и поэтому не увеличивает число запросов пропорционально числу объявлений. Полные карточки с фото, описанием и профилем продавца собираются отдельным, более медленным проходом — только по лидерам ниши, а не по всей выдаче. Это снижает объём запросов там, где детальность не критична для итогового отчёта.

Чего не стоит ждать от такого сбора

Полный охват ниши по всем страницам выдачи — это несколько сессий с паузами между ними, а не результат за один клик, и иногда с вынужденной остановкой из-за блокировки. Если такой сбор предлагают как гарантированно быстрый и бесперебойный процесс, это повод задать уточняющие вопросы. Паузы и остановки — не недостаток, а честная часть мониторинга конкурентов на Avito.