1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 2056 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 2056 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

Другие продукты - Внешняя печатная форма	Ирина Ипполитова 26.01.22 7:00
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не заменяются значения свойства	Дмитрий 24.01.22 13:55
ЭВОДОК - Мастер печатных форм - Файл картинки не выводится на печать	Администратор 23.01.22 11:08
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Выгрузка профиля автозагрузки	Администратор 23.01.22 11:07
Групповая рассылка документов клиентам - Общие вопросы и ответы по программе	Администратор 23.01.22 11:02
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Обновление программы "Мастер загрузки из Excel в 1С"	Администратор 23.01.22 10:51
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Автозагрузка	Администратор 14.01.22 7:26
ЭВОДОК - Мастер печатных форм - Вывод конкретной позиции из таблицы.	Администратор 14.01.22 7:25
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Импорт свйоств характеристик номенклатуры	Администратор 14.01.22 7:21
ПЕЧАТЬ ПОЧТОВЫХ БЛАНКОВ из 1С - Обновление обработки "Печать почтовых бланков для 1С 8"	Администратор 21.12.21 13:49
Групповая рассылка документов клиентам - Настройки печатной формы	Администратор 21.12.21 13:48
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка файлов из интернета	Администратор 15.12.21 12:12
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Скрипт Цена Опт	Администратор 13.12.21 8:11
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Скрипт Цена Опт, Заполнение цены по скрипту	Администратор 11.12.21 9:17
Хранение картинок номенклатуры в каталоге для 1С УТ 10 - Загрузка картинок из внешнего каталога обратно в базу 1С	Администратор 11.12.21 9:15

Сейчас на форуме (гостей: 7)

Всего зарегистрированных пользователей: 1853

Приняло участие в обсуждении: 315

Всего тем: 652

Всего сообщений: 5294