1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2689 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2689 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

Читают тему (гостей: 1)

ПОСЛЕДНИЕ СООБЩЕНИЯ

ОБЩИЕ ВОПРОСЫ ПО РАБОТЕ В 1С. ИНСТРУКЦИИ. КОНСУЛЬТАЦИИ - Канал на YouTube	Администратор 12.11.24 15:32
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Тип номенклатуры	Администратор 31.10.24 15:52
Групповая рассылка документов клиентам - Общие вопросы и ответы по программе	Администратор 31.10.24 15:51
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Дубли номенклатуры	Администратор 23.10.24 20:36
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Изменение адреса торговой точки.	Администратор 23.10.24 20:35
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка теста автозагрузки.	Администратор 23.10.24 20:32
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка обработки	Администратор 23.10.24 20:31
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка данных в документы Оприходование запасов	Анастасия 23.10.24 14:09
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка при открытии обработки	Администратор 17.10.24 12:17
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Выгрузка фото и картинок	Администратор 15.10.24 11:30
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Зависание программы при выгрузке номенклатуры	Администратор 10.10.24 10:45
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не загружает остатки с сервера поставщика	Администратор 10.10.24 10:44
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не загружается номенклатура	Администратор 10.10.24 10:39
ЭКСЕЛОН - Загрузка в 1С из EXCEL - После приобретения программы нет возможности выгрузки фото.	Администратор 30.09.24 13:46
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ставка НДС	Администратор 25.09.24 10:37

Сейчас на форуме (гостей: 62)

Всего зарегистрированных пользователей: 2741

Приняло участие в обсуждении: 424

Всего тем: 949

Всего сообщений: 6715