72 похожих чатов

Народ всем привет, если юзать sqlite3+node.js, то какая организация хранения

и текстового поиска данных наиболее предпочтительная и почему (объем одной записи от 1 кб до 5-10 мб):
1) в таблице запись равна одному "документу" который содержит все данные, возможно даже большой объем.
2) один "документ" разбивается на части и храниться в виде отдельной записи в таблице, т.е. документ дробиться на более мелкие части.
3) таблица равна одному "документу", он разбивается на части и храниться в виде отдельных записей внутри этой таблицы. Т.е. кол-во таблиц = кол-ву "документов" в базе.
4) в таблице запись равна одному "документу", документ содержит JSON объект в котором массив частей документа или полностью "документ".
Ну и интересный вопрос по поводу версий записей, кто как организует?

14 ответов

34 просмотра

5) Изучить, как работают индэксы fts и trigram в постгресе и/или в сфинксе, положыть вашы документы на файловую систему, и проиндэксировать их в sqlite. 6) Взять sphinx.

Андрей-Б Автор вопроса
Ilya Anfimov
5) Изучить, как работают индэксы fts и trigram в п...

Спасибо за наводку, обязательно рассмотрю эти варианты.

А расскажи сначала что такое "документ"

Андрей-Б Автор вопроса
Ilya Zviagin
А расскажи сначала что такое "документ"

Ну я образно имел ввиду, в начальном виде это json объект будет, который придется привести к виду записи в таблице. Поэтому и в кавычки взял, т.к. это не файл вордовский, а непосредственно кусок каких-то данных. На бекенд это придет точно в виде JSON в котором основная сущность будет строка с разделителями, а поля JSON будут содержать дополнительную "служебную" информацию. "Документ" как бы важная отдельная самостоятельная сущность в проекте, по тегам id можно будет подгрузить список и т.д., может объединять в коллекции. Постарался сжато изложить суть без воды. Наводящие вопросы приветствую)

Андрей Б
Ну я образно имел ввиду, в начальном виде это json...

JSON объект - ничего не говорит о его структуре...

Так то ни один из перечисленных методов не годится

Андрей-Б Автор вопроса

Хорошо, по другому будет строка текста с разделителями между предложениями текста, объем от 1кб до 5-10 мб.

Андрей Б
Ну я образно имел ввиду, в начальном виде это json...

Тут сказано о данных ровно ноль информации

Андрей Б
Хорошо, по другому будет строка текста с разделите...

Это формат хранения данных, а не описание данных

Андрей-Б Автор вопроса
Ilya Zviagin
Так то ни один из перечисленных методов не годится

Предложите вариант? Цель хранить/обрабатывать БД в виде файла и без сервера баз данных (без инсталяции ПО, настройки). Вот node.js сервер, который пишет в sqlite. Скорость чтения\записи, возможно можно не учитывать.

Андрей-Б Автор вопроса
Ilya Zviagin
Это формат хранения данных, а не описание данных

Хочу хранить текст по которому можно будет делать поиск по слову.

Андрей Б
Хорошо, по другому будет строка текста с разделите...

Данные в лбом случае должны храниться в виде одной или нескольких записей в одной или нескольких таблицах

Андрей-Б Автор вопроса
Ilya Zviagin
Данные в лбом случае должны храниться в виде одной...

Моё ожидание какое, я думаю что у меня будет уникальный ID у записи, по которой я могу объединить несколько записей например в коллекцию или поиск делать, обратиться к записи напрямую, но хотелось бы версионирвоание в случае перезаписи - получается при перезаписи я наверное должен предыдущую запись отправить в другую таблицу или как? Держать рядом. Расскажите какие подходы в моем кейсе? Я не прям бекенд разраб, мне интересно услышать разные доводы.

Похожие вопросы

Обсуждают сегодня

Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
5
А в каком формате фреймы? Сам формат сейчас придумываешь, или что-то готовое нужно распарсить?
Okhsunrog
5
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
Всем привет, нужна как никогда, нужна помощь с IO в загрузчике. Пишу в code16 после установки сегментных регистров, пишу вывод символа. Пробовал 2 варианта: # 1 mov $0x0E, %a...
Shadow Akira
14
Раз начали говорить про embassy, то присоединюсь со своими парой вопросов. 1) Есть ли сопоставимые аналоги для асинхронного кода в emdebbed? 2) Можно ли внутри задач embassy ...
NI_isx
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Карта сайта