1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 1876 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 1876 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не работает парсер	Сергей 26.01.21 20:55
ЭВОДОК - Мастер печатных форм - Проблемы с выбором руководителя	Александр Носов 26.01.21 7:58
АВОШОП - Автозагрузка товаров с сайта ИКЕЯ	Ольга Юдина 25.01.21 21:03
БОНЛИОН - Бонусная система для 1С - Документы "Реализация товаров и услуг" отсутствуют в ведомости по бонусным баллам и отображается минусовой остаток по бонусам.	MasterGroup 25.01.21 9:12
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не качает по ссылке	Фархад Султанов 24.01.21 15:01
ЭВОДОК - Мастер печатных форм - Вывод на печать названия номенклатуры для "набора"	Алексей Николаев 22.01.21 11:11
Хранение картинок номенклатуры в каталоге для 1С УТ 10 - Ошибка заведения нового товара	Александр Носов 21.01.21 12:23
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Загрузка отзывов	Александр Носов 21.01.21 6:37
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Зависание	Фархад Султанов 20.01.21 7:54
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Загрузка по ссылке не более 30	Фархад Султанов 19.01.21 23:32
Другие продукты - Внешняя печатная форма	Администратор 15.01.21 10:41
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не работает парсер	Александр Носов 14.01.21 11:58
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не записываются свойства характеристик	Александр Носов 13.01.21 10:49
АВОШОП - Как открыть Авошоп в 1С УТ 10	Александр Носов 13.01.21 10:48
- Обновление с парсердата	Александр Носов 13.01.21 7:30

Сейчас на форуме (гостей: 2)

Всего зарегистрированных пользователей: 1492

Приняло участие в обсуждении: 256

Всего тем: 513

Всего сообщений: 4445