1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2195 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2195 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не загружаются Доп. реквизиты, доп реквизит общий для нескольких наборов.	Владислав Блинов 22.06.22 15:35
ЭКСЕЛОН - Загрузка в 1С из EXCEL - не обновляет цены, ценообразования 11.5	Сергей Юданов 22.06.22 9:28
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Объединение колонок	Администратор 22.06.22 8:09
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Дополнительные свойства	Администратор 20.06.22 12:09
ЭКСПОТОР - Выгрузка номенклатуры из 1С - 1с: УНФ Выгрузка ссылок (url) в XML	Михаил 02.06.22 19:55
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка при загрузке номенклатур в 1с из excel	Администратор 01.06.22 10:37
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - парсер яндекс	Администратор 31.05.22 8:13
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Поиск в пределах заданной группы	Администратор 31.05.22 8:11
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Выгрузка картинок в Авито через свой сайт	Администратор 31.05.22 8:09
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка при вызове метода контекста (Записать)	Сергей Юданов 30.05.22 15:03
ЭКСЕЛОН - Загрузка в 1С из EXCEL - окумент установки цен использует старые регистры	Сергей Юданов 30.05.22 14:50
ПЕЧАТЬ ПРАЙС-ЛИСТОВ из 1С - Подгруппа товара	Администратор 26.05.22 7:50
ЭКСПОТОР - Выгрузка номенклатуры из 1С - в поле описание указать два тега	Администратор 26.05.22 7:49
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Не работает загрузка свойств	Администратор 25.05.22 9:48
- Доп. значения	Tech Support 24.05.22 9:00

Сейчас на форуме (гостей: 1)

Всего зарегистрированных пользователей: 1958

Приняло участие в обсуждении: 339

Всего тем: 715

Всего сообщений: 5617