72 похожих чатов

Народ всем привет, если юзать sqlite3+node.js, то какая организация хранения

и текстового поиска данных наиболее предпочтительная и почему (объем одной записи от 1 кб до 5-10 мб):
1) в таблице запись равна одному "документу" который содержит все данные, возможно даже большой объем.
2) один "документ" разбивается на части и храниться в виде отдельной записи в таблице, т.е. документ дробиться на более мелкие части.
3) таблица равна одному "документу", он разбивается на части и храниться в виде отдельных записей внутри этой таблицы. Т.е. кол-во таблиц = кол-ву "документов" в базе.
4) в таблице запись равна одному "документу", документ содержит JSON объект в котором массив частей документа или полностью "документ".
Ну и интересный вопрос по поводу версий записей, кто как организует?

14 ответов

9 просмотров

5) Изучить, как работают индэксы fts и trigram в постгресе и/или в сфинксе, положыть вашы документы на файловую систему, и проиндэксировать их в sqlite. 6) Взять sphinx.

Андрей-Б Автор вопроса
Ilya Anfimov
5) Изучить, как работают индэксы fts и trigram в п...

Спасибо за наводку, обязательно рассмотрю эти варианты.

А расскажи сначала что такое "документ"

Андрей-Б Автор вопроса
Ilya Zviagin
А расскажи сначала что такое "документ"

Ну я образно имел ввиду, в начальном виде это json объект будет, который придется привести к виду записи в таблице. Поэтому и в кавычки взял, т.к. это не файл вордовский, а непосредственно кусок каких-то данных. На бекенд это придет точно в виде JSON в котором основная сущность будет строка с разделителями, а поля JSON будут содержать дополнительную "служебную" информацию. "Документ" как бы важная отдельная самостоятельная сущность в проекте, по тегам id можно будет подгрузить список и т.д., может объединять в коллекции. Постарался сжато изложить суть без воды. Наводящие вопросы приветствую)

Андрей Б
Ну я образно имел ввиду, в начальном виде это json...

JSON объект - ничего не говорит о его структуре...

Так то ни один из перечисленных методов не годится

Андрей-Б Автор вопроса

Хорошо, по другому будет строка текста с разделителями между предложениями текста, объем от 1кб до 5-10 мб.

Андрей Б
Ну я образно имел ввиду, в начальном виде это json...

Тут сказано о данных ровно ноль информации

Андрей Б
Хорошо, по другому будет строка текста с разделите...

Это формат хранения данных, а не описание данных

Андрей-Б Автор вопроса
Ilya Zviagin
Так то ни один из перечисленных методов не годится

Предложите вариант? Цель хранить/обрабатывать БД в виде файла и без сервера баз данных (без инсталяции ПО, настройки). Вот node.js сервер, который пишет в sqlite. Скорость чтения\записи, возможно можно не учитывать.

Андрей-Б Автор вопроса
Ilya Zviagin
Это формат хранения данных, а не описание данных

Хочу хранить текст по которому можно будет делать поиск по слову.

Андрей Б
Хорошо, по другому будет строка текста с разделите...

Данные в лбом случае должны храниться в виде одной или нескольких записей в одной или нескольких таблицах

Андрей-Б Автор вопроса
Ilya Zviagin
Данные в лбом случае должны храниться в виде одной...

Моё ожидание какое, я думаю что у меня будет уникальный ID у записи, по которой я могу объединить несколько записей например в коллекцию или поиск делать, обратиться к записи напрямую, но хотелось бы версионирвоание в случае перезаписи - получается при перезаписи я наверное должен предыдущую запись отправить в другую таблицу или как? Держать рядом. Расскажите какие подходы в моем кейсе? Я не прям бекенд разраб, мне интересно услышать разные доводы.

Похожие вопросы

Обсуждают сегодня

моя цель не тратить время на инструменты, которые мне не подходят и которые не будешь переписывать под себя. Я не буду переписывать ОРМ, а вполне можно на макросах сделать нор...
Oleh Nerzh
2
Я немного Swift забыл @alsherbakov какого типа переменная roundInMinutes3 ? кто-то знает ?
Oleh Nerzh
6
Всем привет. На руках есть видеопоток с камеры микроскопа, который показывает клетки. (Фото 1). Пытаюсь обвести их квадратами и пронумеровать на картинке. Пока получается...
Semyon
10
Для подстче машин которые проходят линию использую yolov3 и сортинг алгоритм. Один фрейм обрабатывает 1.6секунд. Как можно ускорить или посоветуйте что можно использовать вмес...
Nurdaulet
3
А как в backend в fields можно сделать dropdown site_id , и belongTo нужен как я понимаю, но не понимаю как найти модель ? AI говорит так: public $belongsTo = [ 'si...
Max Dubovsky
2
шалом, православные. Есть у кого опыт хождения в кубик через boundary? Как оно?
Sergei Mikhaltsov
3
Читал, что он легковеснее чем Вью и его предпочтительнее использовать на небольших проектах. А если рассмотреть какой-нибудь кейс реального применения. Например я вообще не по...
Николай Афанасенко
4
Вам приходит в бота список юзеров Ваша реакция?
Magic
3
где собака, админ группы? нычкуется и боится проявить волю, в толерантность еще не наигрался? @yelizariev
Ognezar
61
Я вот тут задался риторическим вопросом. Уже как пару дней я пытаюсь присовокупить к Vapor jemalloc, мало того что топиков, как это вставлять в Vapor нет, так еще и хер поймеш...
Евгений Данилов
39
Карта сайта