Все привет! Возник такой вопрос по парсингу страниц: пакет rvest позволяет

Question

Все привет! Возник такой вопрос по парсингу страниц: пакет rvest позволяет

получить все ноды: html_nodes(htmlpage, "*")Я бы хотел узнать, как их можно отобразить в виде дерева? В идеале я бы хотел видеть граф или дерево с нодами, чтобы нагляднее представлять страницу.

#programming #r #russian

0

26.11.2020

6 ответов

17 просмотров

Ed P Автор вопроса

aGricolaMZ
Возможно здесь есть

Это уже следующий этап 😂 В идеале я вообще хотел замутить визуальный парсер страниц на шайни, чтобы можно было drag-n-drop'ать элементы в заголовок таблиц (как во всяких платных парсерах) и был удивлен, что ничего такого не нашел. Но тут препятствия на каждом шагу, как выяснилось

0

26.11.2020

Philipp Upravitelev

Ed P
Это уже следующий этап 😂 В идеале я вообще хотел ...

блин, крутая идея %)

0

26.11.2020

Ed P Автор вопроса

Philipp Upravitelev
блин, крутая идея %)

спасибо) Я пока что уперся в невозможность нормально отображать html страницы в шайни. есть htmlOutput , но он показывает инлайн html и может конфликтовать с библиотеками/стилями. а если это вырезать, то будет показываться неправильно. Пока что костыльная идея в голове выглядит так: 1. к странице из read_html(url) нужно добавить небольшой яваскрипт, который подсвечивал бы все блоки и писал рядом с ними названия. 2. модифицированную страницу пихать в iframe. По идее все скрипты и стили из оригинальной страницы не должны ломаться. 3. Одновременно с этим из html_structure() собирается лист и чистится от мусора. 4. ShinyTree (https://github.com/shinyTree/shinyTree) или какой-то другой виджет используется для отображения структуры страницы. Пользователь может глядеть в iframe названия нужных блоков и находить их в дереве. 5. в ShinyTree можно нажать нужный элемент в дереве (который передается в html_nodes) и предварительно посмотреть результаты парсинга (пока не совсем понял, как это сделать, наверное через реактивные значения как-то). 6. если результат норм, то после выбора ноды можно выбрать допольнительные атрибуты. 7. потом осталось придумать, как сделать drag n drop для ноды и атрибутов в таблицу. Я пока ничего лучше не придумал, как передать выбранных элементы ShinyTree в следующий виджет (sortable н-р) 8. когда это список будет готов, можно уже сгенерить код для rvest и посмотреть в таблице что получилось.

0

26.11.2020

aGricolaMZ

Ed P
спасибо) Я пока что уперся в невозможность нормал...

s <- rvest::read_html("<html><title>Hi</title></html>") l <- xml2::as_list(s) listviewer::jsonedit(l)

0

26.11.2020

Ed P Автор вопроса

aGricolaMZ

s <- rvest::read_html("<html><title>Hi</title></ht...

О, спасибо! Т.е. надо было xml2 юзать. Сегодня допилил яваскрипт, который подсвечивает все элементы страницы, на выходных попробую слепить все в кучу и доделать proof of concept. Единственное, с листом в итоге решил так сильно ее заморачиваться и попробовать сделать одноуровневым списком все уникальные тэги. Если на странице 100500 элементов, то дерево будет не интуитивное

0

27.11.2020

aGricolaMZ · Accepted Answer

aGricolaMZ

Возможно здесь есть

0

26.11.2020

169 похожих чатов

Все привет! Возник такой вопрос по парсингу страниц: пакет rvest позволяет

6 ответов

Похожие вопросы