Коллеги, добрый день. Нужен совет опытных товарищей. Мне надо плоскую

Question

Коллеги, добрый день. Нужен совет опытных товарищей. Мне надо плоскую

таблицу закатать в очень ветвистый json.

Решил собирать по веткам - на иллюстрации код для сборки 1 узла json (у 1 value может быть несколько sources, поэтому первая группировка для формирования массива значений dataSources, а вторая уже собирает узел для разных значений value).

Вот я и думал, что сделаю так для всех features, а потом
df[,"id"] |> distinct() |>
left_join(part1) |>
left_join(part2) |> .... и
jsonlite::write_json("test.json",
dataframe = 'rows',
auto_unbox = TRUE)

Но в таблице 20 тыс значений id и 100+ столбцов (признаков), получается нагрев атмосферы и внутренняя тревожность.

А на StackOverflow все упаковки в json делают с использованием lapply/split/subset в каких-то неинтуитивных для меня комбинациях.

Что посоветуете? Может у кого-то на примете есть какой-то экономичный способ/пакет для nest-ирования в json?

Репрекс не делал, с кодом помогать не прошу, только направьте. Заранее спасибо.

#programming #r #russian

0

01.10.2023

6 ответов

11 просмотров

Ilya Shutov

вот тут была приведена похожая задачка https://habr.com/ru/articles/676100/ создание структуры листовой для последующего переклада в json (echarts)

0

01.10.2023

Dm Kb

Если правильно понимаю, то вам нужно раздербанить обычную таблицу в древовидную структуру и сохранить ее в JSON. В этом отношении split выглядит адекватно. Есть свой split для data.table, в collapse есть rsplit и ещё какая-то вариация на тему

0

01.10.2023

Ilya Shutov

Dm Kb
Если правильно понимаю, то вам нужно раздербанить ...

split-apply-combine… и такое тоже. вот интересное дополнение: https://dplyr.tidyverse.org/reference/group_split.html

0

01.10.2023

Dm Kb

Ilya Shutov
split-apply-combine… и такое тоже. вот интересное ...

Я лично использую split-apply чтобы остаться в data.table обычно, в dplyr/tidyr предпочитаю nest() и вариации на тему)))

0

01.10.2023

Aleksei Lutai Автор вопроса

Ilya Shutov
тут могут быть разные подходы. Хотя бы кусочек код...

Повозился, чтобы сгенерировать массив, похожий на настоящий (здесь 3 ветки - FEATUREs): set.seed(1) df <- crossing( id = paste0("x", 1:100), feature = c("FEATURE_1", "FEATURE_2", "FEATURE_3") ) |> mutate(value = ifelse(row_number()%%2==0, list(a = c("a", "b","b")), "a")) |> unnest(value) |> mutate(value = paste0(id, "_", str_replace_all(feature, "FEATURE_", "value_"), "_", value)) df$dataSources <- sample(c("is","ws", "ns"), replace=T, nrow(df)) df <- distinct(df) Результат на рисунке. Блестящую статью на Хабре с графовым подходом перечитал, но что-то сразу в голову применимость не приходит. Всем спасибо за рекомендации. Кажется пришло время split/rapply изучать...

0

01.10.2023

Ilya Shutov · Accepted Answer

тут могут быть разные подходы. Хотя бы кусочек кода с данными был бы полезен. Эксперименты попроводить. Можно списки вкладывать, руками или через nest. а потом все на jsonlite возложить. можно руками в data.table посворачивать, там код будет сильно компактнее. там есть такие вспомогательные штучки: - https://tysonbarrett.com/tidyfast/index.html - https://hope-data-science.github.io/tidyfst/index.html Можно jq натравить и «не таблицу» там свернуть. можно комбинировать подходы. Разовая работа или время критично — тоже влияет

169 похожих чатов

Коллеги, добрый день. Нужен совет опытных товарищей. Мне надо плоскую

6 ответов

Похожие вопросы