Прокси для парсинга

Сбор публичных данных: цен, карточек товаров, поисковой выдачи. Тип прокси зависит от защиты сайта. Где её нет, хватит серверных IP с безлимитным трафиком, а на сайты с антиботом идут через резидентные с ротацией.

  • Ротация на каждый запрос
  • Безлимит на серверных
  • 72M+ резидентных IP
  • Гео до города

Как устроен сбор через прокси

  1. 1

    Новый IP на запрос

    Запросы расходятся по пулу и не копятся на одном адресе. Лимиты по IP срабатывают реже.

  2. 2

    Пагинация на одном адресе

    Каталог с фильтрами часто хранит состояние в cookie. Sticky-сессия проводит обход всех страниц через один IP.

  3. 3

    Локальные цены и выдача

    Магазины и поисковики показывают разное в зависимости от города. С параметрами country и city вы получаете локальную версию страницы.

Какой тип под какой сайт

Настройки для парсера

01

Несколько подсетей /24

Берите серверные IP из разных подсетей. Если сайт заблокирует одну подсеть целиком, остальные продолжат работать.

02

ttl на обход категории

Для пагинации задайте session и ttl с запасом на весь проход по категории.

03

Повтор при 403 и 429

Получили такой ответ — повторите запрос. В режиме ротации он уйдёт уже с другого адреса.

04

Строка для Scrapy

Формат URL вида http://user:pass@host:port подходит для meta["proxy"] в запросе или переменной HTTP_PROXY.

С чем работает

ScrapyCrawleePlaywrightPuppeteerSeleniumBeautifulSoupScreaming FrogOctoparsen8n

Частые вопросы

Не нашли ответ? Напишите в Telegram, поддержка работает круглосуточно.

Написать в поддержку
Какие прокси лучше для парсинга?

Зависит от сайта. Для сайтов без защиты от ботов подойдут серверные с безлимитным трафиком. Если сайт отдаёт капчу или блокирует по IP, берите резидентные с ротацией.

Ротация или sticky для парсинга?

Ротация, когда каждая страница запрашивается независимо. Sticky, когда нужен вход в аккаунт или пагинация с сохранением cookie.

Сколько стоят прокси для парсинга?

Резидентные стоят от $3.50 до $1.50 за GB в зависимости от объёма. Серверные оплачиваются за IP, от $0.90 до $0.50 в месяц, и трафик у них не ограничен.

Как собрать выдачу по разным городам?

Укажите city в логине, и запрос уйдёт с IP этого города. Для серии запросов включите ротацию.

Другие задачи

Создать аккаунт

Нужны только почта и пароль, документы и звонки не понадобятся.