Привет, есть тут люди занимающиеся парсингом сайтов? не могу на

Question

Привет, есть тут люди занимающиеся парсингом сайтов? не могу на

одном сайте никак ответ от json апишки получить: использую axios, заголовки отправляю прям как в браузере, использую keep alive соединение, при этом через браузер все открывается

пинганите плиз, в лс скину всю инфу, буду оч благодарен за помощь

#backend #javascript #node.js #programming #russian

0

05.08.2023

4 ответов

16 просмотров

Максим Strelets Автор вопроса

Alexey Ermakov
Если нужно парсить хитрые сайты, лучший выбор - pl...

так там прикол в том, что по сути мне даже эмулировать браузер не надо есть открытая наружу апишка https://apis.flowwow.com/apiuser/products/info/?id=62814000&city_id=282&lang=ru&currency=RUB из которой я просто хочу периодически узнавать цену делаю так, а они каким-то образом детектят, что я не с браузера захожу и отдают 403 js async function getProductInfo(id) { const response = await axios.get('https://apis.flowwow.com/apiuser/products/info/?id=57465788&city_id=282&lang=ru&currency=RUB', { httpsAgent: new https.Agent({ keepAlive: true }), referrerPolicy: 'strict-origin-when-cross-origin', headers: { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36", "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7", "accept-language": "ru-RU,ru;q=0.9", "cache-control": "max-age=0", "sec-ch-ua": "\"Not/A)Brand\";v=\"99\", \"Google Chrome\";v=\"115\", \"Chromium\";v=\"115\"", "sec-ch-ua-mobile": "?0", "sec-ch-ua-platform": "\"Windows\"", "sec-fetch-dest": "document", "sec-fetch-mode": "navigate", "sec-fetch-site": "none", "sec-fetch-user": "?1", "upgrade-insecure-requests": "1" } }); return response.response.data }

0

05.08.2023

Максим Strelets Автор вопроса

ага

0

05.08.2023

Alexey Ermakov

Максим Strelets
ага

https://variti.io/ru-ru/

0

05.08.2023