169 похожих чатов

Нужно парсить сайт. Возможно на нем есть защита от парсинга. Какие

есть технологии, чтобы условно сайт загружался и работал как JS приложение на сервере, отправлял запросы и тд, те вел себя также как обычный барузерный клиент? И соответсвенно, чтобы какие то запросы я мог парсить

15 ответов

8 просмотров

puppeteer

Sergey Fetch(Феч)
puppeteer

Ну это ведь и есть клиент chronium?

selenium

Sergey Kulikov
Ну это ведь и есть клиент chronium?

я не знаю что такое chronium, знаю ток chromium

Владимир-Наваев Автор вопроса
Sergey Kulikov
Ну это ведь и есть клиент chronium?

Да, наверное лучше всего - это обертка над chromium

Владимир-Наваев Автор вопроса
Sergey Fetch(Феч)
puppeteer

Пока не пойму может ли эта штука полностью эмулировать работу. Те будет ли например посылать запросы по таймаутам JS SPA приложения?

Владимир-Наваев Автор вопроса
Sergey Fetch(Феч)
какие запросы? на апишку?

Ну не важно. Типо того, из те запросы которые создает JS браузерное приложение

Владимир Наваев
Ну не важно. Типо того, из те запросы которые созд...

ниче не понятно, пупитер это обертка над хромиумом.

Владимир-Наваев Автор вопроса
Sergey Fetch(Феч)
ниче не понятно, пупитер это обертка над хромиумом...

Ну крч, вот есть SPA приложение, которое дергает какую-то апишку раз в секунду. Пупитер соответственно скачает эту страничку и начнет полностью эмулировать ее работу? Те например посылать теже запросы?

Владимир Наваев
Ну крч, вот есть SPA приложение, которое дергает к...

Он берет и открывает страницу хромиумом с подключением к браузерному протоколу девтулзов. Если в коде страницы есть скрипты, отправляющие запросы, то хромиум их выполнит. А ещё его можно заставить ждать селекторов, кликать по ним, эмулировать драг, делать скриншоты и дофига чего ещё

Владимир-Наваев Автор вопроса
Светлана Чайка с Голубятни
Он берет и открывает страницу хромиумом с подключе...

Да, кул. Ща как раз читаю про это. Но то, что я хочу это избежать обнаружение моего бота. Оказывается есть куча мелких деталей из-за который какой-нить selenium быстро вычисляют. Те он не полностью эмулирует работу

Владимир Наваев
Да, кул. Ща как раз читаю про это. Но то, что я х...

Так сейчас вокруг темы отличия робота от юзера огромные деньги из рекламных бюджетов крутятся, так что там уже алгоритмы вплоть до сравнения скорости, траектории движения курсора и всего такого)))

Похожие вопросы

Обсуждают сегодня

Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
32
А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Дорогие любители Прекрасной Джулии! Есть кто-то имеющий практический опыт построения ML для Систем Управления? Нам нужно сделать нейросеть для автоматической подстройки пара...
Roman Timo
4
С той же поддержкой Android в тулчейне, если кому интересно. На Swift Forums шло убогое обсуждение всякой херни годами, но ничего годного так и не появлялось. Пришел vgorloff ...
iMike
1
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Приветствую ребята,у меня база есть,прорешал много задач с литкода,там деревья,списки, бэктрэкинг и все остальное,что мне сейчас делать?есть может куда устроиться поработать,е...
Aקuст Lеתסuд Aקuст Lеתסuд
5
Всех приветствую. Направьте меня в нужное русло. Постепенно переписываю проект с delphi на lazarus. Приложение - обычный windows/linux клиент для бд firebird. Тут все хорошо. ...
Mishutka
4
Anybody want this chat app? If anybody interested dm  me.. Note - Firstly payment then i send you code but i will show work on gmeet.
Rayyan Ahmad
5
Карта сайта