Ребятки подскажите пожалуйста. вот у меня есть некий скрипт для

Question

Ребятки подскажите пожалуйста. вот у меня есть некий скрипт для

аналитики, который с помощью Dill загружает из pickle 1-3гб словари, добавляет в них новые данные, обрабатывает их целиком, сохраняет обратно. Естественно после какого-то размера сохранение pickle внезапно начинает требовать 50+ гб оперативы и 20 минут времени. какие варианты по использованию других форматов? сами загруженные данные держать в оперативке устраивает, проблема именно в сохранении и загрузке

#programming #python #russian

0

20.08.2023

5 ответов

18 просмотров

Александр Автор вопроса

Ілія Малекі
Какие данные, какой формы?

10-15 больших словарей вида, ну к примеру, один это посетители во всех кафе города, соответственно, словарь [кафе] [время (по недельно)] [ человек: количество посещений ]. второй это посетители во всех спортзалах города, то есть [спортзал] [время (по недельно)] [ человек: количество посещений ] . И нам постоянно надо вычислять соотношение посещений кафе к спортзалам для каждого человека, например. поэтому все словари приходится грузить и вместе обрабатывать (да, наверное сама структура корявая)

0

20.08.2023

Ілія Малекі

Александр
10-15 больших словарей вида, ну к примеру, один эт...

Структура супер, почитайте про третью норму и вот такие вот строки пишите в бд

0

20.08.2023

S. N.

Александр
10-15 больших словарей вида, ну к примеру, один эт...

Обычна реляционная СУБД. PostgreSQL как наиболее частый свободный пример

0

20.08.2023