1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2241 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2241 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка номенклатуры партнеров через обработку	Администратор 30.09.22 16:01
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Дубли номенклатуры поставщика	Администратор 30.09.22 15:58
ЭКСПОТОР - Выгрузка номенклатуры из 1С - ЭКСПОТОР - Выгрузка номенклатуры из 1С выгрузка фото URL	Валентин Gruz 30.09.22 12:37
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Запись данных в справочник	Роман Романов 26.09.22 13:50
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Как загрузить несколько значений в дополнительный реквизит характеристики номенклатуры?	Администратор 26.09.22 13:45
ПЕЧАТЬ ПРАЙС-ЛИСТОВ из 1С - Здравствуйте, я недавно покупал у вас расширение для 1С, чтобы можно было создать прайс-лист, но что то пошло не так и она не хочет работать. Выдаёт ошибку и всё, больше ничего не происходит. Можно как-то решить данную проблему?	Администратор 21.09.22 12:37
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Какой написать скрипт, чтобы из текста извлекать только численные значения	Сергей Опен 20.09.22 12:50
Другие продукты - Не запускается обработка APPLIX_RU_ВыгрузкаДанныхУТ11_БП_v5.3.epf	Администратор 19.09.22 18:46
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не активируется модуль	Администратор 19.09.22 18:44
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка файла через тонкий клиент windows. База находится на сервере Linux	Администратор 05.09.22 10:49
ЭКСПОТОР - Выгрузка номенклатуры из 1С - выгрузка по расписанию	Администратор 23.08.22 10:36
ЭКСПОТОР - Выгрузка номенклатуры из 1С - ЭКСПОТОР - Выгрузка номенклатуры из 1С в EXCEL, Яндекс.Маркет, Авито, CSV	Администратор 23.08.22 10:35
АВОШОП - Яндекс.Маркет - Выгрузка товаров (MISSING_OFFER_ID)	Администратор 19.08.22 8:29
Комментарии к статьям - Мультиформатная выгрузка номенклатуры, цен, остатков 1С УТ, КА, УПП	Администратор 11.08.22 13:59
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Выгрузка номенклатуры по сегменту.	Администратор 27.07.22 10:23

Сейчас на форуме (гостей: 1)

Всего зарегистрированных пользователей: 2014

Приняло участие в обсуждении: 345

Всего тем: 735

Всего сообщений: 5729