1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2365 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2365 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

Комментарии к статьям - Учет бонусных карт в 1С УТ10-11, УПП, КА, Розница, УНФ	Guest 29.03.23 18:43
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Как загрузить у УНФ иерархию Категорий	Антон Долгополов 29.03.23 9:17
ЭКСПОТОР - Выгрузка номенклатуры из 1С - ЭКСПОТОР - Выгрузка номенклатуры из 1С выгрузка фото URL	Валентин Gruz 29.03.23 9:16
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Создание номенклатуры	Администратор 28.03.23 14:24
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Сопоставление свойств	Администратор 28.03.23 14:21
Комментарии к статьям - Служебный модуль - инструмент для программиста [БЕСПЛАТНО]	Администратор 24.03.23 16:40
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Вопросы-ответы по разработке "Загрузка из Excel в 1с"	Администратор 24.03.23 15:16
ЭКСЕЛОН - Загрузка в 1С из EXCEL - При восстановлении профиля, после прочтения файла пропадают колонки цены и свойства	Администратор 24.03.23 15:15
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка при настройки автозагрузки	Администратор 24.03.23 15:09
ЭКСЕЛОН - Загрузка в 1С из EXCEL - куда пропадают колонки	Администратор 24.03.23 15:05
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Скрипты	Администратор 24.03.23 15:03
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Установка цен номенклатуры	Павел Гимельфарб 21.03.23 17:43
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Обновление программы "Мастер загрузки из Excel в 1С"	Администратор 21.03.23 9:21
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Поиск соответствий номенклатуры	Администратор 16.03.23 13:58
Групповая рассылка документов клиентам - Не отправляет на несколько электронных адресов	Алексей 14.03.23 19:01

Сейчас на форуме (гостей: 6)

Всего зарегистрированных пользователей: 2157

Приняло участие в обсуждении: 363

Всего тем: 798

Всего сообщений: 6007