Всем привет, нужно получить html код страницы, и затем спарсить

Question

Всем привет, нужно получить html код страницы, и затем спарсить

данные, делаю requests.get(url) но там так сайт работает, что он сначала отдаёт 15 результатов, а потом через 2-5 секунд подгружает остальные, и в гет запросе только 15 результатов, как быть?

#backend #programming #python #russian

0

08.07.2018

2 ответов

13 просмотров

Liman

def get_html(url): r = requests.get(url) if r.ok: return r.text print(r.status_code) Это был запрос а теперь извлечение html def get_page_data(html): soup = BeautifulSoup(html) print(soup) def main(): url = 'url' get_page_data(get_html(url)) ``` Вот тебе и html страницы

0

08.07.2018

Влад Каверов · Accepted Answer

Влад Каверов

Отследи, какой запрос подгружает данные и через него подгружай себе. Либо работай через selenium.

0

08.07.2018

170 похожих чатов

Всем привет, нужно получить html код страницы, и затем спарсить

2 ответов

Похожие вопросы