172 похожих чатов

Может, тебе на небольших нагрузках minio вообще хватит?

46 ответов

9 просмотров

яможет про*бал вопрос, а зачем тебе с3?

Crysalis
яможет про*бал вопрос, а зачем тебе с3?

ну щас порядка 50тб файлов всяких в google cloud storage, если переезжать на baremetal/colo, то хотелось бы похожий экспиреенс иметь, ну там триггерить кафку + serverless на аплоад файла и всё такое

Crysalis
ну и запросы у вас...

дык вроде обычные запросы?

Max Makarov
дык вроде обычные запросы?

ну давай так, тебе нужен дешевый быстрый сторадж для хранения данных и при этом с3 компатибл и чтобы меньше геммора, так?

Max Makarov
ну щас порядка 50тб файлов всяких в google cloud s...

серверлесс на bare metal... ну могу только направление подсказать firecracker, опенсорс, на котором лямбда и фаргейт работают вот тудой но это не коробка, придется что-то докручивать

Andrey- Автор вопроса
Andrey
firecracker - это слишком низкий уровень

ну я и говорю, это ни разу не коробка для серверлесс

Andrey- Автор вопроса
Александр Ушаков
ну я и говорю, это ни разу не коробка для серверле...

Я про то, что вопрос рантайма не первоочередной

Александр Ушаков
серверлесс на bare metal... ну могу только направл...

Firecracker это гипервизор на раст, конец, причем тут серверлесс… у qemu фичей больше, а работает так же, чуть больше памяти жрет

Sergei Monakhov
Firecracker это гипервизор на раст, конец, причем ...

притом, что он заточен на старт десятков и сотен компьют микровиртуалок в секунду с минимальным оверхедом в 5мб на штуку и сделан специально под серверлесс вычисления? даже авторы кубвирта сказали, что не будут добавлять его поддержку, потому что предоставляют полноценные вм, а firecracker заточен именно под вычисления

Александр Ушаков
серверлесс на bare metal... ну могу только направл...

В целом я пока присмотрел для этого knative и интеграцию с кафкой

Александр Ушаков
притом, что он заточен на старт десятков и сотен к...

Он настолько в вычисления что не может в gpu😆 qemu вам тоже столько же запустит, оверхед по памяти будет повыше…

Sergei Monakhov
Firecracker это гипервизор на раст, конец, причем ...

«фичей больше» как раз и замедляет стартап и блоатит память когда для вычислений эти «фичи» не нужны firecracker написан как альтернатива qemu специально под serverless compute, по словам самого амазона, его же написавшего я хз, что тут еще можно утверждать

Давайте поспорим с вами на деньги, а то так не интересно 😆 что старт у фаеркрекера по времени такой же как у qemu, а скорость достигается тем, что там из кишков операционки только kernel и системд 🫡 хотя последний тоже можно выкинуть…

Andrey- Автор вопроса
Александр Ушаков
«фичей больше» как раз и замедляет стартап и блоат...

Ну Амазон много что может сказать. Просто реалии такие, что абсолютное большинство нагрузок не требует тех же видяшек и за счет массовости можно сэкономить на памяти

Александр Ушаков
хе дарю бенчи https://dreadl0ck.net/papers/Firebe...

Он умеет включатся к дисковым полкам и сеф? И умеет создавать тап порт?

Александр Ушаков
хе дарю бенчи https://dreadl0ck.net/papers/Firebe...

Оно стартует на 200ms быстрее, вооот это да, интересно сколько они денег сожгли чтобы добиться такого результата 😆 и при этом оно не умеет в гпу

Andrey- Автор вопроса
Sergei Monakhov
Оно стартует на 200ms быстрее, вооот это да, интер...

Да ладно тебе, человек просто еще верит в чудо и ведется на бенчмарки

Andrey
Да ладно тебе, человек просто еще верит в чудо и в...

Это не просто бенч, это исследование како то универа

Lorien Vorlon
Он умеет включатся к дисковым полкам и сеф? И умее...

это минимальная штука сама она сеф не умеет, но его можно подрубить как fly.io сделали

Александр Ушаков
это минимальная штука сама она сеф не умеет, но ег...

А можно описание на чем тест , какие ЦПу , диски , как повторить, а то тесты универов особенно западных это гранты, и кто заказывал тест?

Sergei Monakhov
Оно стартует на 200ms быстрее, вооот это да, интер...

учитывая, что он стартует в минималке за 150мс по заявлениям, это более чем в 2 раза разница) про гпу как будто на них свет клином сошелся кстати как планируется секьюрный шеринг ресурсов одной гпу между вм?) Особенно если это не индустриальная нвидия с vgpu в драйвере а что надо брать, qemu? Вон могу статью кинуть, как люди на него с firecracker мигрировали, когда для нормальной работы пришлось и кастомные ядра линукса собирать, и месяцами исходники перекапывать

В 23 году сошелся 😆 vfio в помощь 🫡

Sergei Monakhov
В 23 году сошелся 😆 vfio в помощь 🫡

о, удачи с vfio я себе для десктопа его настраивал для виртуалки (одной) очень сексуальный процесс

Andrey- Автор вопроса
Александр Ушаков
учитывая, что он стартует в минималке за 150мс по ...

А за счет чего с файеркрекером не надо рыть носом исходники ведра?

Andrey
А за счет чего с файеркрекером не надо рыть носом ...

за счет того, что он тупее, поэтому проще настроить)

Александр Ушаков
о, удачи с vfio я себе для десктопа его настраивал...

Блин чувак, у меня кластер из десятков А100, которые пошарены через vfio, между kubevirt виртуалками и нативными подами c kata, которая запускает qemu с драйвером nvidia, внутри которой запускается реальный под и это все прод, который кастомерам за деньги сдается 🫡

Sergei Monakhov
Блин чувак, у меня кластер из десятков А100, котор...

поздравляю от всей широкой души, что еще сказать 🙃

Andrey- Автор вопроса
Александр Ушаков
за счет того, что он тупее, поэтому проще настроит...

То есть, девелоперы qemu просто не догадались, что надо делать тупо и легко настраиваемо, а сделали сложно и тяжело настраиваемо? Мне вполне нравится firecracker, но просто важно понимать, что это весьма специфичная вещь, бенчмарки - поле для манипуляций, а прирост производительности обычно идет за счет отказа от чего-то важного

Andrey
То есть, девелоперы qemu просто не догадались, что...

я изначально не говорил, что он панацея и для полноценных виртуалок он слишком кастрирован но и речь шла не про полноценные виртуалки имхо, если его хватает лямбде и фаргейту для вычислений, то хватит и большинству снаружи (пусть и придется докручивать)

Andrey- Автор вопроса
Александр Ушаков
я изначально не говорил, что он панацея и для полн...

Да, но вопрос уже в том, что если все поверх кубера, то логичнее опираться на его экосистему

Александр Ушаков
я изначально не говорил, что он панацея и для полн...

На нем можно запустить обычную вм, он ни чем не кастрирован, кроме того что игнорирует fsync… и на на нем нет free_page_reporting…

Sergei Monakhov
На нем можно запустить обычную вм, он ни чем не ка...

подожди, мы точно про одно говорим? я про то, что firecracker кастрирован для полноценных виртуалок, и для них как раз стоит смотреть на кему

Andrey
Да, но вопрос уже в том, что если все поверх кубер...

а что у него есть для этого? кубвирт понятно, но он не для того же

Andrey- Автор вопроса
Александр Ушаков
подожди, мы точно про одно говорим? я про то, что...

Да работают там обычные вм… что в твоем понимании полноценность? Ну будет у тебя fsync игнорироваться, ну не запускай там бд 😆

Andrey- Автор вопроса

Или knative, оно вроде даже популярнее

Sergei Monakhov
Блин чувак, у меня кластер из десятков А100, котор...

Привет, вопрос, ты как-то для ката контейнеров бридж юзал идт маквитап?

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
80
читать файл максимально быстро? странный вопрос))
zamtmn
53
How to create an OS in C? what to study?
Linus
18
Всем доброго вечера! Хочу поделиться своим злоключением с человеком, который, как оказалось сюда тоже скидывал свое резюме. Жаль, что я вашу группу не нашел раньше… человек ки...
Роман Ахмедзянов
4
тоесть, указав return eax, сгенерируется никому ненужная инструкция mov eax,eax ?
Aiwan \ (•◡•) / _bot
24
Компания Elif ищет менеджера проектов, который будет заниматься поиском и ведением новых проектов. Прежде чем приступить к работе, вам нужно пройти наш недельный курс, где вы ...
Elif
5
Привет, кто может сделать юзербота с апи? Задачи: - создавать группы - создавать каналы - задавать для созданных каналов аватарку или эмоджи, имя группы - добавлять в группы...
Lencore
11
Вопрос вроде правильно, но что надо сделать, чтоб текст был виден нормально ? ghci> TE.decodeUtf8 $ TE.encodeUtf8 "test - проба" "test - \1087\1088\1086\1073\1072"
Fedor
7
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
@HemulGM Параметры у AddStream поменялись? Несостыковка какая-то
Катерина Свиридова
12
Карта сайта