1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2323 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2323 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

Комментарии к статьям - Выгрузка документов из УНФ в Бухгалтерию 3.0	Guest 02.02.23 4:18
Комментарии к статьям - Мастер загрузки из Excel в 1С - номенклатура, цены, документы	Алексей Русалимов 01.02.23 7:52
Комментарии к статьям - Загрузка номенклатуры с сайта NIX.RU в 1С	Guest 29.01.23 19:29
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не получается привязать почту gmail	Константин Шестов 28.01.23 21:38
Комментарии к статьям - Помощник перемещения товаров по складам и магазинам 1С УТ10, КА, УПП	Guest 27.01.23 7:45
Комментарии к статьям - Учет бонусных карт в 1С УТ10-11, УПП, КА, Розница, УНФ	Guest 27.01.23 2:32
Комментарии к статьям - Анализ прайсов поставщиков, загрузка номенклатуры, планирование закупок для 1С 7.7	Guest 26.01.23 15:43
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Обновление для УНФ 3 версии	Никита Соловьев 26.01.23 1:28
СМС и EMAIL РАССЫЛКА из 1С - Версия надстройки для 1С УТ 11.5	Алексей Фролов 25.01.23 10:58
Комментарии к статьям - Рассылка SMS и EMAIL уведомлений из 1С 8	Алексей Фролов 23.01.23 16:11
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Обновления программы	Никита Соловьев 22.01.23 16:04
ЭКСПОТОР - Выгрузка номенклатуры из 1С - Как выгрузить ссылки на изображения товаров в CSV файл? И как выгрузить все изображения товара, а не только первое?	silnatmih 20.01.23 19:00
ЭКСПОТОР - Выгрузка номенклатуры из 1С - ошибки при выгрузке xml файла	Артур Хафизов 20.01.23 10:13
Групповая рассылка документов клиентам - Ошибка отправки документов. Не указана учетная запись электронной почты	Администратор 18.01.23 8:09
Другие продукты - Настройка выгрузки из 1с в авито	Администратор 18.01.23 8:01

Сейчас на форуме (гостей: 4)

Всего зарегистрированных пользователей: 2108

Приняло участие в обсуждении: 356

Всего тем: 779

Всего сообщений: 5918