Ребят, а как aws относиться к тому что бы юзать

прокси для парсинга сайтов ?
есть задача парсить сайты и что бы не забанили надо юзать прокси.
Проси не обязательно, просто если будет только 1 ип у сервера на котором происходит парсинг есть вероятность бана
а есть ли бан от aws по такому поводу ?

6 ответов

7 просмотров

я бы поднимал споты и гасил через н-времени. что бы всегда был свежий IP

Плохо реагирует - очень

pa[aad-cnbiq Автор вопроса
A Stekov
Плохо реагирует - очень

где про такие моменты почитать ?

pa[aad cnbiq
где про такие моменты почитать ?

https://forums.aws.amazon.com/thread.jspa?threadID=1496

pa[aad-cnbiq Автор вопроса
A Stekov
https://forums.aws.amazon.com/thread.jspa?threadID...

а как насчет прокси если использовать при парсинге ? потому что да сайт, может и разрешать парсить его, это уже на плечах клиента AWS лежит

Большие магазины могут целиком блокировать подсети облаков. Мы с этим столкнулись, когда ВПНы поднимали.

Похожие вопросы

Обсуждают сегодня

Почему Telegram пишет, что объект media не найден, хотя на самом деле я его передаю? Делаю на urllib, без зависимостей, так надо. Вызываю метод sendMediaGroup с таким JSON: ...
Alexey S
1
Сonst magicTgHTML = (text, entities) => { let processedText = text; let offsetShift = 0; entities.forEach(entity => { const { offset, length, type, url, ...
Андрей
1
Чет мне ссыкотно опять Rainlab.User в проект ставить. Кто знает, опять наотъебись все сделали или после обнов пользоваться можно?
Black Cat
10
Всем привет. Есть задача понимать пустая ли пластина 3д принтера (не в печатающем режиме). Из идей просто сравнивать 2 изображения (эталонное) и текущее, по контурам. Но боюсь...
Nikita Radionov
5
это группа токсиков или тех кто помогает?
Ибрагим
9
коллеги привет. уже второй день бьемся об заклад с одной ошибкой, может вы сталкивались с таки странным поведением? есть тестовый сервер, на который паблишим релизную версию W...
Magzhan
11
В смысле более затратная? Общая стоимость владения лошадью меньше, чем автомобиля. В среднем.
Sergej R
10
Можете помочь с этим, я тут использую Джанго как ОРМ для бота, но бот запускать не хочет, уже всезде перерыл не могу решить, может кто то сталкивался?
Ибрагим
4
Кстати, раз про скачивание файлов разговор зашел) Сделал бота для себя (транскрибирующего и суммаризирующего встречи) но не ожидал что за 2 месяца 10к пользователей набежит😅...
Andrey Obolenskiy
8
всем привет. подскажите. сделал политику, он верхнеуровневая. раздал права только на TEST2 (полные). вопрос - можно ли сделать так, чтобы был доступен только TEST2, а остально...
Андрей Сергеев
5
Карта сайта