170 похожих чатов

Я пишу парсер, но парсер парсит не всё что нужно

только 16 ссылок а их ещё больше. Как это исправить?

from bs4 import BeautifulSoup
from requests import get


def ParserLinkVideo():
link = get('https://www.tiktok.com/@p0xrw0')
links_videos = BeautifulSoup(link.content, 'html.parser').findAll('div', class_='tiktok-x6y88p-DivItemContainerV2 e1z53d07')

for i in links_videos:
print(i.find('a', class_='')['href'])


ParserLinkVideo()

14 ответов

40 просмотров

https://github.com/davidteather/TikTok-Api

А все ли ссылки имеют атрибут href?

Фёдор-Андреевич Автор вопроса
Nataly Kov
А все ли ссылки имеют атрибут href?

вроде да, я понял в чём проблема. не все видео сразу прогружаються, в панели разработчика если просто зайти на страницу то не все div отображаются сразу а если прокрутить то будут все. теперь как сделать что бы всё сразу прогружалось

Фёдор-Андреевич Автор вопроса
Ӝ Evgeny
https://developer.mozilla.org/ru/docs/Web/API/Elem...

зачем мне JS если код пишу я на python?

Фёдор Андреевич
вроде да, я понял в чём проблема. не все видео сра...

посмотреть как приходят видео. обычно для подгрузки делают апи. на вкладке xhr есть что-нибудь?

Фёдор-Андреевич Автор вопроса
Фёдор Андреевич
да, при прогрузки отсылается GET запрос

ну вот, выполняй его да и все. если урлы по маске, типа /page/1 /page/2 - то и так понятно. если нет - поиском поищи как они генерятся

Мне кажется что ты нарушаешь пункт 6 правил чата

Фёдор Андреевич
нет

Тикток разрешает парсить свои видео?

Фёдор Андреевич
да

Зачем врать? https://www.tiktok.com/legal/terms-of-service?lang=en

Фёдор Андреевич
зачем мне JS если код пишу я на python?

Это для селениума. Если ты читаешь гетом и там нет пагинатора, то тебе надо эмулировать скрипт встроенный в страницу. Посмотри в инспекторе активность сети, когда ты скролишь страницу, всё там

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
~ 2m21s  nix shell github:nixos/nixpkgs#stack ~  stack ghc -- --version error: … while calling the 'derivationStrict' builtin at /builtin/derivation.nix:...
Rebuild your mind.
6
Карта сайта