requests-html (который умеет исполнять javascript)
Но вот не могу обойти защиту.
Даже когда запускаю вручную браузер, открываю странцу, на ей значение
показывается:
<div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate">100%</span></div>
Процент довольных качеством: 100%
А вот когда щелкаю мышкой по этой странице и жму посмотреть исходный код, то там
уже:
<div class="quality j-quality-rate-wrapper hide"><b></b>Процент довольных качеством: <span class="j-quality-rate"></span></div>
Процент довольных качеством:
Единственное пока что помогает, это парсинг с помощью selenium. Но это очень
медленная скорость и много жрет ресурсов компа.
Сталкивался кто нибудь с такой проблемой?
Была подобная проблема, ограничился на тот момент селениумом. Также можешь попробовать такую штуку как Scrapy, вроде как она с js умеет работать
Почему не получается бсом это потому что requests не прогружает жс. Смотри в сторону скрапи, у него была репа в Гите которая позволяла жс рендерить
Обсуждают сегодня