1С Форум

Использование прокси

Использование прокси, Принцип парсинга через прокси

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

14.11.2019 10:42:25

Добрый день, как быстро заблокируют прокси, если парсить в день свыше 1500 товаров? На каждый товар отдельный запрос или все товары в одном запросе передаются? Мы используем 5 адресов прокси, при парсинге меняются ли они или используется один, пока не заблочат?

Администратор Администратор Сообщений: 1955 Регистрация: 28.08.2013	#2 0 15.11.2019 18:28:53 прокси меняются при каждом запросе но 5 прокси мало для 1500 товаров вам нужно 50 прокси для более менее нормальной загрузки

Расул Куванаев

Пользователь

Сообщений: 21 Регистрация: 14.11.2019

13.12.2019 10:45:08

Если прокси адрес был заблочен, подождали, пока разлочится, запускаем парсер:
- как быстро заблочится прокси адрес? Запоминает ли Яндекс эти адреса?
Приобрели по ссылке в вашей обработке 30 прокси адресов, с первую неделю было все хорошо. Потом эти адреса начали блочиться. Не парсили 3 дня, дождались, пока все адреса разлочатся, запустили парсер на 10 товаров. Все прокси адреса вновь стали "заблокированными".
Необходимо приобретать прокси адреса по мере первой блокировки?

Администратор Администратор Сообщений: 1955 Регистрация: 28.08.2013	#4 0 13.12.2019 14:06:21 яндекс поменял алгоритмы определения роботов и поэтому банит адреса сразу же. Работаем над решением этой проблемы. Сейчас пока возможна загрузка только через АПИ. Метод Парсер, временно не работает

ПОСЛЕДНИЕ СООБЩЕНИЯ

ЭКСЕЛОН - Загрузка в 1С из EXCEL - Сопоставление номенклатуры	Андрей 21.09.21 8:39
ПАРСЕР ЯНДЕКС.МАРКЕТ для 1С - Ошибка: "Значение не является значением объектного типа (Количество)"	Виталий Лепехин 20.09.21 9:28
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Загрузка прайса через почту	Администратор 20.09.21 6:55
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Скрипт поиска веса и загрузки с пересчётом	Администратор 17.09.21 13:19
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Скрипт для сокращения наименования в 1С	Юрий Русанов 17.09.21 12:39
ЭВОДОК - Мастер печатных форм - Не добавляется шаблон в обработку	Евгений 16.09.21 17:35
Групповая рассылка документов клиентам - обработка Групповая рассылка документов клиентам	Алексей Ткаченко 15.09.21 21:28
ЭКСЕЛОН - Загрузка в 1С из EXCEL - ЭКСЕЛОН - Мастер загрузки данных из Excel в 1С	Администратор 15.09.21 12:51
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Ошибка при перезаписи Наименования номенклатуры	Администратор 01.09.21 14:36
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Очень долго выполняется команда поступление товаров	Администратор 01.09.21 14:34
ЭКСЕЛОН - Загрузка в 1С из EXCEL - Не загружаются характеристики	Администратор 01.09.21 14:34
БОНЛИОН - Бонусная система для 1С - Вопрос решен. Не начисляются бонусы в Рабочем месте кассира для разных организаций.	Стас Кир 01.09.21 10:07
ЭКСЕЛОН - Загрузка в 1С из EXCEL - АВТОЗАГРУЗКА не работает	Администратор 31.08.21 10:33
СМС и EMAIL РАССЫЛКА из 1С - Как настроить смс рассылку партнерам при выдаче им карты лояльности?	Администратор 25.08.21 21:28
- Скрипты для загрузки цен	Администратор 25.08.21 21:23

Сейчас на форуме (гостей: 2)

Всего зарегистрированных пользователей: 1745

Приняло участие в обсуждении: 300

Всего тем: 611

Всего сообщений: 5071