Всем привет, Работаю долгое время над проблемой, есть бекенд который

работает по соц. cетям, скрапит инфу, и постоянно требует пачку проксей т.к. эти рассадники социального зла успешно банят/лимитят запросы. Вся беда в том что качественные прокси найти крайне сложно, дошли до того что закупали mobile proxy, но с ними тоже масса проблем. Может кто-нибудь решал что-то похожее? Буду очень благодарен за идею, где и как разворачивать прокси которые смогут максимально прикинутся реальным клиентом соц. cети. P.S. Весь трафик из популярных клаудов, палится за милю. Используется порядка 1000 прокси/сутки. Пробовали разные сервисы которые предоставляют прокси, таже беда - все очень не стабильно.

арбитражный суд москвы?

Заключите контракты на скрапинг и использование API. Элементарно же.

luminati смотрели?

Купите безлим доступ к апи у самих соц.сетей и будет щастье

Ну если компьютер локальный то можно попробовать организовать через мобильный интернет, купить модем симкарту оператора, там при подключении дают новый ip, подключатся - отключатся и будут новые ип

Там фермы уже такие.

Поднимал на DO самый дешёвый дроплет, настраивал прокси-сервер, делал снэпшот и потом через API дропал отработанные и запускал новые.

Спасибо за совет! DO не детектится инстаграмом?

Ахз. Мы с ютубом работали.

Не знаю, что за проект у тебя, но я когда-то работал с ребятами, и они закупали прокси просто в ынтырнетах, я чекал ИП — они принадлежали всяким ISP и отлично работали. Ну и эмпирически собирали статистику потом по успешности работы

А что обычные резидентные прокси не работают?

как успехи, сумели решить проблему?

in progress.

а что вы строите? какой-то бот для социальных сетей?

нормальные сложно купить, те что были клиента не устраивают по стабильности. Поэтому начали делать ферму из модемов, живое решение но скорость/стабильность все равно низкая.

да, штука для какой-то аналитики, я не особо понимаю бизнес модель

а как вы собираете данные, там же инстаграм как вы говорили сразу банит, много аккаунтов для инстаграмма создаете? и каждый собирает аналитику для соц сетей?

да именно так, много тех аккаунтов собирают инфу и поэтому ловим бан, все запросы по приват апи через реверс инженеринг

Привет! Пробовал astroproxy? У них довольно гибкая тарифная сетка, можно набрать в армию часть резидентных, часть корпоративных , часть мобильных проксей, плюс ротацию включить. Работают относительно стабильно. Впрочем, люминати тоже ок. В свое время для парсинга как раз инсты набрали порядка 2к проксей от разных провайдеров. В том числе были и оч дешёвые. Пиковая нагрузка примерно 600 асинхронных запросов от 1 парсера ( их было несколько). Работало сутками, часов через 5- 6 начинались баны. Инст банит сразу подсетки, поэтому старались не брать провайдеров которые дают прокси в одной подсети. В общей сложности было порядка 30-40% зафакапленных запросов за один запуск. Это предел, дальше улучшить не смогли на тот момент, пока я была в проекте, но тюнили это дело довольно долго.

Спасибо огромное за инфу! Буду смотреть

Нам приват апи не помог. Веб оказался быстрее и менее суров по части банов. Но допускаю, что мы не так готовили приватный апи

Endruew. Вот это