1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 1904 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 1904 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - парсер не создает общие характеристики	Михайлович Илья 10.04.21 16:35
АВОШОП - Как открыть Авошоп в 1С УТ 10	Эдуард Хазиев 09.04.21 20:28
АВОШОП - APPLIX_RU_ПарсерСайта_075_svarbi.ru	Александр Носов 09.04.21 10:23
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Перезапись штрих-кодов	Александр Носов 07.04.21 10:06
АВОШОП - Не работает загрузка по списку	Александр Носов 31.03.21 15:05
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не загружаются характеристики из Маркета по прямой ссылке	Администратор 31.03.21 14:14
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - ОБНОВЛЕНИЯ - Общая информация	Администратор 31.03.21 13:24
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Пропадают изменения сохраненные в профиле	Сергей Опен 30.03.21 17:58
СМС и EMAIL РАССЫЛКА из 1С - Бонусная система	Александр Носов 30.03.21 8:06
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Помогите создать скрипт	Денис Михай 29.03.21 18:01
АВОШОП - Загрузка номенклатуры с сайта	Александр Носов 29.03.21 14:05
БОНЛИОН - Бонусная система для 1С - Перенос бонусов при создании реализации на основании заказа	Александр Носов 25.03.21 14:25
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Магазин на яндекс маркете для парсера	Александр Носов 25.03.21 12:15
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - не заполняется список номенклатуры	Александр Носов 25.03.21 12:03
БОНЛИОН - Бонусная система для 1С - Сроки действия порогов начисления	Алексей Ефимов 23.03.21 12:50

Сейчас на форуме (гостей: 7)

Всего зарегистрированных пользователей: 1613

Приняло участие в обсуждении: 273

Всего тем: 547

Всего сообщений: 4703