1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2484 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2484 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ЭКСЕЛОН - Загрузка в 1С из EXCEL - Сопоставление свойств	Илья Дрючин 25.09.23 14:55
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Номер ГТД	Администратор 25.09.23 13:21
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - При загрузке по списку перестал парсить	Администратор 22.09.23 13:14
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не читает файл	Администратор 13.09.23 16:47
ПЕЧАТЬ ПРАЙС-ЛИСТОВ из 1С - Установка 1с прайс	Администратор 13.09.23 16:45
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Как при загрузке изображений к номенклатуре, заменять ее а не добавлять	Администратор 13.09.23 16:45
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Экселон не видит свойства номенклатуры.	Администратор 13.09.23 16:43
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Парсер в настройках сопоставления не видит общие реквизиты номенклатуры. УНФ 3.0	Администратор 13.09.23 16:43
Комментарии к статьям - Учет бонусных карт в 1С УТ10-11, УПП, КА, Розница, УНФ	Администратор 13.09.23 16:40
Комментарии к статьям - Мастер загрузки из Excel в 1С - номенклатура, цены, документы	Администратор 21.08.23 7:27
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не создается иерархия категорий.	Администратор 14.08.23 11:15
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не загружается прайс	Администратор 09.08.23 15:35
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не получается записать цену номенклатуру	Администратор 01.08.23 6:54
ЭКСЕЛОН - Загрузка в 1С из EXCEL - обновление Мастер загрузки из Excel в 1С	Администратор 31.07.23 13:25
ПЕЧАТЬ ПРАЙС-ЛИСТОВ из 1С - Ошибка при работе с характеристиками товара	Алексей Николаев 25.07.23 14:57

Сейчас на форуме (гостей: 51)

Всего зарегистрированных пользователей: 2330

Приняло участие в обсуждении: 376

Всего тем: 846

Всего сообщений: 6272