170 похожих чатов

Ну условно. Чем плохо? Другие запросы замедлять не будет

26 ответов

19 просмотров

ну условно нет. наверное BLOB не зря придумали. но я часто слышу что файлы должны оставаться файлами. нет смысла статику хранить в БД. Как бы в БД данные по которым можно сортировать, делать выборки, работать с ними, а картинки - какой то мертвый груз

Кэш СУБД вымывать будет как минимум

Ilya-Kaznacheev Автор вопроса
Алексей Долгов
ну условно нет. наверное BLOB не зря придумали. но...

Ну так то большинство данных в бд - мертвый груз, процент "горячих" таблиц небольшой

Ilya-Kaznacheev Автор вопроса
sexxst
Кэш СУБД вымывать будет как минимум

Хм, а можно подробнее, что за кеш там?

Ilya Kaznacheev
Хм, а можно подробнее, что за кеш там?

ПРочитанные данные в оперативке остаются висеть, при запросах СУБД всегда проверяет наличие данных в кэше и только потом идёт читать с медленного диска. Реализации у всех СУБД разные, суть одна.

Ilya-Kaznacheev Автор вопроса
Ilya Kaznacheev
Можно же поднастроить, наверное?

Можно. В документации ко всем СУБД это есть

Ilya Kaznacheev
Ну так то большинство данных в бд - мертвый груз, ...

ну в плане по какому то тексту ты можешь через LIKE пройтись и найти нужный, можно складывать,вычитать, находить среднее, суммы, сортировать по полям. а данные картинки, ну просто данные которые лежат.

Алексей Долгов
ну условно нет. наверное BLOB не зря придумали. но...

Блобы придумали не чтоб в них по мегабайту данных хранили это точно

Ilya Kaznacheev
Ну так то большинство данных в бд - мертвый груз, ...

Значит база плохо спроектирована. Я не пытаюсь выпендриваться, но это правда так. Если большинство груза — мертвое, то тогда важный холодный код нужно хранить в файликах, либо вычислять кодга потребуется. База это все же не про архивы

Ilya Kaznacheev
Разумно

Посмотри minio, если не хочешь закидывать данные в чужие сервисы, мы на нем cdn просто ебейший сделали, пушка инструмент, и ставится легко

Ilya-Kaznacheev Автор вопроса
Алексей Долгов
ну условно нет. наверное BLOB не зря придумали. но...

Субд весьма неэффективны в плане утилизации i/o

Richard Cooper
Посмотри minio, если не хочешь закидывать данные в...

Ты только когда рекомендуешь minio всегда уточняй что расширять его нельзя и если место кончилось - надо строить новый кластер :)

Roman Timofeev
Ты только когда рекомендуешь minio всегда уточняй ...

Нононо, это про s3 совместимое апи. Как ты построишь инфраструктуру абсолютно твое дело

Roman Timofeev
Ты только когда рекомендуешь minio всегда уточняй ...

Типичнвя сноска маленькими буквами в современном смузисофте=)

Roman Timofeev
Ты только когда рекомендуешь minio всегда уточняй ...

Эмм. Это же не от Минио зависит, а от хранилки под ним. Проблема будет в другом - когда ты захочешь сделать отказоустойчивый клустер

Richard Cooper
Нононо, это про s3 совместимое апи. Как ты построи...

Стопэ, ты ж рекомендовал minio, а не s3 like )) И если он до сих под использует схему "1 объект == 1 файл" - то так тоже не надо.

Roman Timofeev
Стопэ, ты ж рекомендовал minio, а не s3 like )) И...

Минио это супер офигенская хранилка сама по себе, которая не требует ничего если тебе не надо. Расширяется он на ура кстати

Sebor▂▅▇█▓▒░
Эмм. Это же не от Минио зависит, а от хранилки под...

Нет, как раз от него. Им там регулярно открывали тикет вида "хочу воткнуть более жирные диски" или "хочу докинуть нод". И всегда ответ что это требует ребалансинга, а это сложно и мы это не будем делать.

Ilya Kaznacheev
А как надо?

https://assets.ctfassets.net/oxjq45e8ilak/4nvS57KmHmOwM8WaMiAEqA/d28d1d4f3e6858ea1203fc6444080f6a/AleksandrHristoforov_VideoPhotoStorageOK.pdf https://habr.com/ru/company/odnoklassniki/blog/434206/

Ilya Kaznacheev
А как надо?

общая идея - это минимизировать количество файлов, т.к. файл надо открыть(а что ~ равно времени операции чтения) + на каждый открытый файл потребляется память(и несколько Гб памяти под inode_cache + xfs_inode/ext4_inode можно пустить на что-то более полезное). потому делают жирный файл размером с диск и менеджат самостоятельно пространство внутри него. одноклассники вообще просто выкинули фс и используют сырые диски.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта