Добрый вечер. есть вот такой код который должен получать html

Question

Добрый вечер. есть вот такой код который должен получать html

страницы. все работает, но после пары запросов код вместо html возвращает такой набор символов: (я вставил только начало, сам ответ достаточно длинный) <html><head><meta charset="utf-8"><script>f1xx.v1xx=v1xx;f1xx[374148]=window;f1xx[647467]=e8NN(f1xx[374148]);f1xx[125983]=n3EE(f1xx[374148]);f1xx[210876]=(function(){var P6=2;for(;P6 !== 1;){switch(P6){case 2:return {w3:(function(v3){var v6=2;for(;v6 !== 10;){switch(v6){case 2:var O3=function(W3){var u6=2;for(;u6 !== 13;){switch(u6){case 2:var o3=[];u6=1;break;case 14:return E3;break;case 8:U3=o3.H8NN(function(){var Z6=2;for(;Z6 !== 1;){switch(Z6){case 2:return 0.5 - B8NN.P8NN();break;}}}).D8NN('');E3=f1xx[U3];u6=6;break;case 3:j3++;u6=5;break;case 6:u6=!E3?8:14;break;case 5:u6=j3 < W3.length?4:9;break;case 1:var j3=0;u6=5;break;case 9:var U3,E3;u6=8;break;case 4:o3.A8NN(q8NN.F8NN(W3[j3] + 92));u6=3;break;}}};var u3='',k3

#backend #programming #python #russian

0

11.03.2022

21 ответов

29 просмотров

Алиса Автор вопроса

я так понимаю что возвращается мне js. но я не понимаю почему, ведь я использую в скрипте прокси, это должно помешать сайту банить меня по ip

0

11.03.2022

Александр

привет,подставь в запрос реальный юзер агент.не которые сайты видят,что их парсят,когда fake_useragent используется

0

11.03.2022

Алиса Автор вопроса

Александр
привет,подставь в запрос реальный юзер агент.не ко...

спасибо, попробую

0

11.03.2022

Алиса Автор вопроса

Александр
привет,подставь в запрос реальный юзер агент.не ко...

попробовал, не работает

0

11.03.2022

Александр

попробуй через другой прокси сделать запрос или без прокси

0

11.03.2022

Алиса Автор вопроса

Александр
попробуй через другой прокси сделать запрос или бе...

пробовал, проблема остается та же, если даже я получаю ожидаемый ответ, это не на долго и через несколько запросов я опять получаю js

0

11.03.2022

Александр

Алиса
пробовал, проблема остается та же, если даже я пол...

увеличь время между запросами

0

11.03.2022

Алиса Автор вопроса

Александр
увеличь время между запросами

придется ставить слишком большие таймауты, для меня это критично, мне нужно парсить сотни тысяч, может даже >миллиона ссылок в день

0

11.03.2022

Александр

Алиса
придется ставить слишком большие таймауты, для мен...

не понимаю твой код,не знаю как часто у тебя меняются прокси и заголовки запросов.для такого объёма парсинга нужно больше прокси серверов и менять их на каждом запросе

0

11.03.2022

Алиса Автор вопроса

Александр
не понимаю твой код,не знаю как часто у тебя меняю...

такое количество прокси мне не по карману, может есть более дешевый способ или быть может проблема не в прокси?

0

11.03.2022

Tishka17

Алиса
придется ставить слишком большие таймауты, для мен...

Ещё есть вариант пойти нахуй

0

11.03.2022