1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 20 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 1777 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 20 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 1777 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

Комментарии к статьям - Выгрузка данных из 1С УТ 10.3-11 в Бухгалтерию 2.0/3.0	Администратор 29.10.20 7:34
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Обновление с парсердата	Администратор 28.10.20 8:40
БОНЛИОН - Бонусная система для 1С - Автосписание потраченных бонусов	Администратор 28.10.20 8:40
ПЕЧАТЬ ПРАЙС-ЛИСТОВ из 1С - Получение остатков по нескольким складам. Выгрузка Прайса на ФТП сервер	Администратор 28.10.20 8:32
ЭВОДОК - Мастер печатных форм - Вопросы-ответы по программе "Печать из 1С в WORD"	Администратор 25.10.20 11:13
АВОШОП - Ошибка! Не загружаются товары с сайта successmobile.ru	Администратор 25.10.20 9:30
БОНЛИОН - Бонусная система для 1С - Продажи по картам	Администратор 25.10.20 8:55
БОНЛИОН - Бонусная система для 1С - Права пользователей	Иван Чесноков 22.10.20 6:57
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка дополнительных реквизитов	Администратор 21.10.20 12:07
АВОШОП - Обмен с маркетплейсами	Администратор 21.10.20 12:06
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не загружаться данные цены поставщика	Администратор 17.10.20 13:06
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Как получить сумму остатка товара по 2 складам	Администратор 16.10.20 13:48
АВОШОП - Автозагрузка товаров с сайта ИКЕЯ	Администратор 16.10.20 10:16
БОНЛИОН - Бонусная система для 1С - Не ищет дисконтную карту по номеру телефона и не отправляет смс	Администратор 16.10.20 9:20
БОНЛИОН - Бонусная система для 1С - Начальный баланс бонусов	Администратор 16.10.20 9:13

Сейчас на форуме (гостей: 6)

Всего зарегистрированных пользователей: 1420

Приняло участие в обсуждении: 243

Всего тем: 465

Всего сообщений: 4083