Нужно парсить страницу,но на ней динамическая прокрутка(элементы сайта прогружаются с

Question

Нужно парсить страницу,но на ней динамическая прокрутка(элементы сайта прогружаются с

прокруткой).Нашел запрос который отправляется в апи сайта для получения контента на страницу(там gRPC,с которым я работать не умею).Знает кто как мне повторить этот запрос,в инете очень-очень мало инфы по поводу парсинга с gRPC?

#backend #programming #python #russian

0

11.11.2023

10 ответов

27 просмотров

Nex1n [CHECK_BIO] Автор вопроса

ICIT
Есть прото файл? Если нет - то ты пытаешься испол...

Где можно найти этот прото файл?Думаю, что его можно где-то с запросом найти

0

11.11.2023

ICIT

Nex1n [CHECK_BIO]
Где можно найти этот прото файл?Думаю, что его мож...

https://grpc.io/ Прочитай как он работает

0

11.11.2023

Nex1n [CHECK_BIO] Автор вопроса

ICIT
https://grpc.io/ Прочитай как он работает

Я это все читал,но толком не понял.Открывается какой-то канал к нужному мне сайту и туда передается мой прото-файл,и этот запрос в теории должен мне вернуть все то,что я запросил в прото-файле.У этого файла есть своя структура,но все же я почему-то думаю,что этот файл должен быть где-то в запросах,иначе как сам сайт делает этот запрос.Поправь меня,пожалуйста,где я неверно сказал

0

11.11.2023

ICIT

Nex1n [CHECK_BIO]
Я это все читал,но толком не понял.Открывается как...

Rpc - remote procedure call. В протобафе описывается какие процедуры будут вызываться и какие данные летать будут. По нему генерится обе стороны. Он вроде не отправляется клиентской стороне при вызове gRPC @cutwater я не прав?

0

11.11.2023

Alex

ICIT
Rpc - remote procedure call. В протобафе описывает...

Прав, если мне память не изменяет

0

11.11.2023

Nex1n [CHECK_BIO] Автор вопроса

ICIT
Rpc - remote procedure call. В протобафе описывает...

Хм,если он не летает при вызове - это значит,что я не смогу никак получить список товаров на сайте(76к элементов)?Свой,в теории,я не напишу,потому не не могу знать структуру,по которой нужно писать этот файл,конкретно для этого сайта.Верно?

0

11.11.2023

ICIT

Nex1n [CHECK_BIO]
Хм,если он не летает при вызове - это значит,что я...

Тебе нужно или потратить время и разобраться как вызывать эти методы или забить. По grpc летают голые байтики (с задефинированной в продобафе структурой), там нет жсонов как например в ресте. Если есть желание - можешь попробовать реверсить жс и понять как оно там все устроено (что я асуждаю). Вполне вероятно, что там сжатый бандл и ты не сможешь ничего понять, но если ты каким-то образом вытянешь клиент из него, то сможешь вызывать методы (и с пайтоном это не имеет ничего общего, переписывать его на питон не логично)

0

11.11.2023

Nex1n [CHECK_BIO] Автор вопроса

ICIT
Тебе нужно или потратить время и разобраться как в...

Хз, столько времени потратил на то,чтобы разобраться,что уже крыша едет просто.Думаю, попробовать стоит

0

11.11.2023

ICIT

Nex1n [CHECK_BIO]
Хз, столько времени потратил на то,чтобы разобрать...

Ну, это может не оправдаться, а может и получиться 🤷‍♂ Who knows

0

11.11.2023