1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 1913 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 1913 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ОБЩИЕ ВОПРОСЫ ПО РАБОТЕ В 1С. ИНСТРУКЦИИ. КОНСУЛЬТАЦИИ - Извлечение пробитых кодов маркировки из системы 1с	Алексей 18.06.21 13:16
ЭКСЕЛОН - Загрузка в 1С из EXCEL - ошибка при попытке обновления пункта "вид номенклатуры"	Дмитрий Гладких 17.06.21 9:08
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Загружаю с помощью обработки " Загрузка товаров из Яндекс.маркет в 1С" Использую ключ на 100 тестовых проверок с parserdata.ru. Не записывает характеристики, не прикрепляет картинки	Администратор 17.06.21 7:09
АВОШОП - ОБНОВЛЕНИЯ системы Avoshop	Администратор 17.06.21 7:05
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - не работает загрузка по ссылке	Александр Носов 16.06.21 13:52
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - ОБНОВЛЕНИЯ - Общая информация	Администратор 16.06.21 10:06
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка при загрузке цен номенклатуры	Александр Носов 16.06.21 8:08
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Установка экселон	Александр Носов 15.06.21 6:14
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не могу зарегистрировать программу	Александр Носов 14.06.21 18:29
АВОШОП - Авошоп, Загрузда данных с сайтов	Александр Носов 09.06.21 13:39
АВОШОП - APPLIX_RU_ПарсерСайта_vertical_ru	Александр Носов 04.06.21 7:07
АВОШОП - Работа с Авошоп(загрузка документов)	Александр Носов 03.06.21 9:45
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - загружает не тот товар по ссылке	Александр Носов 28.05.21 11:00
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не могу найти стандартные свойства при записи номенклатуры	Александр Носов 27.05.21 20:33
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Вопрос по загрузке картинок	Александр Носов 27.05.21 20:18

Сейчас на форуме (гостей: 3)

Всего зарегистрированных пользователей: 1663

Приняло участие в обсуждении: 285

Всего тем: 570

Всего сообщений: 4835