1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2766 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2766 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

Читают тему

ПОСЛЕДНИЕ СООБЩЕНИЯ

ЭКСЕЛОН - Загрузка в 1С из EXCEL - Вопросы-ответы по разработке "Загрузка из Excel в 1с"	Администратор 05.05.25 13:59
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ключ от другой базы	Администратор 05.05.25 13:58
АВОШОП - APPLIX_RU_ПарсерСайта_mc_ru	Администратор 27.04.25 13:40
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Программа не выгружает фото на Авито	Администратор 17.04.25 13:39
АВОШОП - APPLIX_RU_ПарсерСайта_kovkaprom_ru	Администратор 15.04.25 12:46
ЭКСПОТОР - Выгрузка номенклатуры из 1С - параметр комплектующих товара	Администратор 07.04.25 11:10
ЭВОДОК - Мастер печатных форм - Правильное отображение позиций в КП	Администратор 27.03.25 11:30
ОБЩИЕ ВОПРОСЫ ПО РАБОТЕ В 1С. ИНСТРУКЦИИ. КОНСУЛЬТАЦИИ - Открытие резервной копии	Администратор 27.03.25 11:20
Другие продукты - Внешняя печатная форма	Митя Коллесников 21.03.25 11:06
ЭВОДОК - Мастер печатных форм - Не выводится информация о контрагенте	Администратор 21.03.25 10:19
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Вопросы - ответы по разработке Парсер яндекс маркет для 1С	Администратор 13.03.25 13:15
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка пустых значений	Администратор 13.03.25 13:11
ЭКСЕЛОН - Загрузка в 1С из EXCEL - не загружает файл прайс.	Администратор 06.03.25 12:11
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Создание номенклатуры (новые шк-новые хар-ки)	Администратор 05.03.25 10:36
- Не загружается номенклатура	Администратор 03.03.25 12:18

Сейчас на форуме

Всего зарегистрированных пользователей: 2863

Приняло участие в обсуждении: 440

Всего тем: 984

Всего сообщений: 6884