прокси для парсинга сайтов ?
есть задача парсить сайты и что бы не забанили надо юзать прокси.
Проси не обязательно, просто если будет только 1 ип у сервера на котором происходит парсинг есть вероятность бана
а есть ли бан от aws по такому поводу ?
я бы поднимал споты и гасил через н-времени. что бы всегда был свежий IP
Плохо реагирует - очень
где про такие моменты почитать ?
https://forums.aws.amazon.com/thread.jspa?threadID=1496
а как насчет прокси если использовать при парсинге ? потому что да сайт, может и разрешать парсить его, это уже на плечах клиента AWS лежит
Большие магазины могут целиком блокировать подсети облаков. Мы с этим столкнулись, когда ВПНы поднимали.
Обсуждают сегодня