Товарищи, нужен критический взгляд. Я из json файла выдергивал данные,

Question

Товарищи, нужен критический взгляд. Я из json файла выдергивал данные,

получается 2,3,4 уровень вложенности, и раскладывал в двухмерную таблицу для анализа. (json_normalize из коробки мне кашу выдал). И получилась у меня вот такая функция (см. скриншот). И на датафрейм в 60 тысяч строк у меня юпитер 8 часов потратил. Короче веселое месиво, критика моей адекватности принимаются) Может кто посоветует способ разложить json в таблицу с первичным ключом получше?

#programming #python #russian

0

22.01.2022

3 ответов

5 просмотров

Алекс Doc

Можно сначала создать списки из будущих наблюдений по каждой колонке, а потом по ним создать датафрейм. Мои 80тыс строк он таким образом обсчитал меньше чем за минуту

0

23.01.2022

Maku Aliyev

Еще возможно поможет профилирование (cprofile, pstats) кода на каком-то сэмпле, чтобы понять, какие операции занимают больше времени и попытаться их оптимизировать

0

23.01.2022

Pavel Zheltouhov · Accepted Answer

мы тут иногда jq обсуждали. там достаточно сложный язык, чтобы развернуть что угодно. ну если совсем плохо будет, вот почитайте как у программистов это происходит : https://pkg.go.dev/encoding/json#example_Decoder_Decode_stream (там в принципе должно быть понятно даже без знания языка)

169 похожих чатов

Товарищи, нужен критический взгляд. Я из json файла выдергивал данные,

3 ответов

Похожие вопросы