169 похожих чатов

А эти документы имеют какую-то структуру?

7 ответов

16 просмотров

json, как я понял

Да, структура есть, у всех одинаковая иногда nested

Bogdan
Да, структура есть, у всех одинаковая иногда neste...

Если данные просто читаются и никогда не записываются, то самый лучший способ будет просто хранить это всё в файловой системе со снэпшотами (типа ZFS)

Lama Lover
Если данные просто читаются и никогда не записываю...

Да только чтение, ну и нужно иметь возможность что-то извлечь из них, какой-то кусок отгрысть.

Bogdan
Да только чтение, ну и нужно иметь возможность что...

> возможность что-то извлечь из них, какой-то кусок отгрысть. В каком плане? Читать и обрабатывать сразу несколько в пайплайне типа map-reduce? Или точечно? Искать внутри по определённым путям? Документы как-то проиндексированы? Или хочется всё сканировать?

Lama Lover
> возможность что-то извлечь из них, какой-то кусо...

Обрабатывать ни чего не нужно. Например нужно взять те записи которые имеют city: “New York” + может добавить ещё 2-3 параметра для поиска, те что совпадут нужно вытянуть и уже закинуть в постгрес например для дальнейшей работы. Вообщем две задачи: 1. Хранение 2. Редкие запросы на чтение

Bogdan
Обрабатывать ни чего не нужно. Например нужно взят...

Ну тоесть сканирующие запросы. 120 миллионов будут работать довольно долго, нужно индексировать. Можно текстовый индекс типа эластика, можно ещё какой-то

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта