169 похожих чатов

А эти документы имеют какую-то структуру?

7 ответов

6 просмотров

json, как я понял

Да, структура есть, у всех одинаковая иногда nested

Bogdan
Да, структура есть, у всех одинаковая иногда neste...

Если данные просто читаются и никогда не записываются, то самый лучший способ будет просто хранить это всё в файловой системе со снэпшотами (типа ZFS)

Lama Lover
Если данные просто читаются и никогда не записываю...

Да только чтение, ну и нужно иметь возможность что-то извлечь из них, какой-то кусок отгрысть.

Bogdan
Да только чтение, ну и нужно иметь возможность что...

> возможность что-то извлечь из них, какой-то кусок отгрысть. В каком плане? Читать и обрабатывать сразу несколько в пайплайне типа map-reduce? Или точечно? Искать внутри по определённым путям? Документы как-то проиндексированы? Или хочется всё сканировать?

Lama Lover
> возможность что-то извлечь из них, какой-то кусо...

Обрабатывать ни чего не нужно. Например нужно взять те записи которые имеют city: “New York” + может добавить ещё 2-3 параметра для поиска, те что совпадут нужно вытянуть и уже закинуть в постгрес например для дальнейшей работы. Вообщем две задачи: 1. Хранение 2. Редкие запросы на чтение

Bogdan
Обрабатывать ни чего не нужно. Например нужно взят...

Ну тоесть сканирующие запросы. 120 миллионов будут работать довольно долго, нужно индексировать. Можно текстовый индекс типа эластика, можно ещё какой-то

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
Продолжая диалог про свифт в проде – сейчас возник вопрос в активном наборе бекендеров. В основном в нашей компании мы фанаты Java Spring и полностью ей довольны. Однако найм ...
Guseyn
27
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Всем привет! поделитесь, пож-та, как кто дебажил / решал проблему с 504 Time out ошибкой от nginx, когда стучишься на свой vapor сервер? в логах /var/log/nginx/error.log е...
Paul
24
Как добавить ссылку в Быстрый доступ в Проводнике windows 10? Нашёл, как на power shell сделать, но может есть способ через Дельфи?
А
31
Привет всем. Не знаю, удачный ли чатик я выбрал для вопроса, но он как будто в целом про концепцию фп и конкретно про Haskell. Прочитал, что в целом в мире фп нет идеи мутабел...
Gellert Cringewald
15
@helgispbru @Dreamer_0x01 @Pathologic93 @webber_12 Не уверен, что вам всем это жутко интересно, но в продолжение недавнего диалога отправлю свои наброски. Хочу понять, правил...
Андрей [aharito] Харитонов
13
Карта сайта