Коллеги, хотите взрыв мозга? У меня есть сервер, на котором с

недавнего времени перестали проходить http-запросы.
Если точнее, отправляется get запрос с ip адресом на получение страницы, сайт возвращает фейковые данные. (цена, характеристики)
Но если послать точно такой же запрос с этим же ip адресом и с этим же куками с любой другой машины, то данные возвращаются реальные
Первое что в голову пришло - кэш, но дело не в нем

Еще один момент: попробовал сделать get запрос с ip адресом на получение страницы, куки обнулил, сайт все равно возвращает фейковые данные, но если послать точно такой же запрос с этим же ip адресом и с нулевыми куками с любой другой машины, то данные возвращаются реальные

Залил программу на новый сервер, назовем его сервер 2, все отлично работало около недели, но каким-то образом сервер снова попал в некий blacklist
Провел манипуляции те, что описал выше
С другой машины получаю корректные данные, но с сервера 1 и 2 все так же получаю фейковые данные

Т.е. спустя около недели сервера попадают в blacklist, но моему уму не понять, как они это определяют, если запросы используют ip адреса?

Если они банят ip адрес, то почему тогда с другой машины возвращаются реальные данные?

В голове крутились мысли о fingerprint-е, но я же не использую браузер, использую исключительно http запросы

Это такой взрыв мозга))

Есть у кого мысли, буду очень благодарен😅

а сервер с которого ты забираешь данные - твой?

Нет, но мы тесно общаемся с руководством сайта, они не против)

Снифай траффик, смотри что отправляется и по какому признаку можно установить уникальность

Это первое, что нужно делать😅

ну так в том и прикол, от браузера есть определенные ожидания, а у тебя они не выполняются )

Коллеги, не первый год работаю с сетями, знаю что запрос с браузера и запрос, который посылаю программой, должны быть идентичны

так а кто сказал что я про этот запрос? )

Запрос - да. Вот только аналитика и fingerprint может помимо, собственно, запроса на страницу посылать много сего ещё. Ой как сомневаюсь, что ваша софтина поднимает JS среду, чтобы эмулировать все скрипты, которыми страница наверняка кишит.

Спамеры?

Эм, а почему они тогда вас банят? Не сходится что-то.

Они то не против, но есть нюанс😂