172 похожих чатов

Может, тебе на небольших нагрузках minio вообще хватит?

46 ответов

47 просмотров

яможет про*бал вопрос, а зачем тебе с3?

Crysalis
яможет про*бал вопрос, а зачем тебе с3?

ну щас порядка 50тб файлов всяких в google cloud storage, если переезжать на baremetal/colo, то хотелось бы похожий экспиреенс иметь, ну там триггерить кафку + serverless на аплоад файла и всё такое

Crysalis
ну и запросы у вас...

дык вроде обычные запросы?

Max Makarov
дык вроде обычные запросы?

ну давай так, тебе нужен дешевый быстрый сторадж для хранения данных и при этом с3 компатибл и чтобы меньше геммора, так?

Max Makarov
ну щас порядка 50тб файлов всяких в google cloud s...

серверлесс на bare metal... ну могу только направление подсказать firecracker, опенсорс, на котором лямбда и фаргейт работают вот тудой но это не коробка, придется что-то докручивать

Andrey- Автор вопроса
Andrey
firecracker - это слишком низкий уровень

ну я и говорю, это ни разу не коробка для серверлесс

Andrey- Автор вопроса
Александр Ушаков
ну я и говорю, это ни разу не коробка для серверле...

Я про то, что вопрос рантайма не первоочередной

Александр Ушаков
серверлесс на bare metal... ну могу только направл...

Firecracker это гипервизор на раст, конец, причем тут серверлесс… у qemu фичей больше, а работает так же, чуть больше памяти жрет

Sergei Monakhov
Firecracker это гипервизор на раст, конец, причем ...

притом, что он заточен на старт десятков и сотен компьют микровиртуалок в секунду с минимальным оверхедом в 5мб на штуку и сделан специально под серверлесс вычисления? даже авторы кубвирта сказали, что не будут добавлять его поддержку, потому что предоставляют полноценные вм, а firecracker заточен именно под вычисления

Александр Ушаков
серверлесс на bare metal... ну могу только направл...

В целом я пока присмотрел для этого knative и интеграцию с кафкой

Александр Ушаков
притом, что он заточен на старт десятков и сотен к...

Он настолько в вычисления что не может в gpu😆 qemu вам тоже столько же запустит, оверхед по памяти будет повыше…

Sergei Monakhov
Firecracker это гипервизор на раст, конец, причем ...

«фичей больше» как раз и замедляет стартап и блоатит память когда для вычислений эти «фичи» не нужны firecracker написан как альтернатива qemu специально под serverless compute, по словам самого амазона, его же написавшего я хз, что тут еще можно утверждать

Давайте поспорим с вами на деньги, а то так не интересно 😆 что старт у фаеркрекера по времени такой же как у qemu, а скорость достигается тем, что там из кишков операционки только kernel и системд 🫡 хотя последний тоже можно выкинуть…

Andrey- Автор вопроса
Александр Ушаков
«фичей больше» как раз и замедляет стартап и блоат...

Ну Амазон много что может сказать. Просто реалии такие, что абсолютное большинство нагрузок не требует тех же видяшек и за счет массовости можно сэкономить на памяти

Александр Ушаков
хе дарю бенчи https://dreadl0ck.net/papers/Firebe...

Он умеет включатся к дисковым полкам и сеф? И умеет создавать тап порт?

Александр Ушаков
хе дарю бенчи https://dreadl0ck.net/papers/Firebe...

Оно стартует на 200ms быстрее, вооот это да, интересно сколько они денег сожгли чтобы добиться такого результата 😆 и при этом оно не умеет в гпу

Andrey- Автор вопроса
Sergei Monakhov
Оно стартует на 200ms быстрее, вооот это да, интер...

Да ладно тебе, человек просто еще верит в чудо и ведется на бенчмарки

Andrey
Да ладно тебе, человек просто еще верит в чудо и в...

Это не просто бенч, это исследование како то универа

Lorien Vorlon
Он умеет включатся к дисковым полкам и сеф? И умее...

это минимальная штука сама она сеф не умеет, но его можно подрубить как fly.io сделали

Александр Ушаков
это минимальная штука сама она сеф не умеет, но ег...

А можно описание на чем тест , какие ЦПу , диски , как повторить, а то тесты универов особенно западных это гранты, и кто заказывал тест?

Sergei Monakhov
Оно стартует на 200ms быстрее, вооот это да, интер...

учитывая, что он стартует в минималке за 150мс по заявлениям, это более чем в 2 раза разница) про гпу как будто на них свет клином сошелся кстати как планируется секьюрный шеринг ресурсов одной гпу между вм?) Особенно если это не индустриальная нвидия с vgpu в драйвере а что надо брать, qemu? Вон могу статью кинуть, как люди на него с firecracker мигрировали, когда для нормальной работы пришлось и кастомные ядра линукса собирать, и месяцами исходники перекапывать

В 23 году сошелся 😆 vfio в помощь 🫡

Sergei Monakhov
В 23 году сошелся 😆 vfio в помощь 🫡

о, удачи с vfio я себе для десктопа его настраивал для виртуалки (одной) очень сексуальный процесс

Andrey- Автор вопроса
Александр Ушаков
учитывая, что он стартует в минималке за 150мс по ...

А за счет чего с файеркрекером не надо рыть носом исходники ведра?

Andrey
А за счет чего с файеркрекером не надо рыть носом ...

за счет того, что он тупее, поэтому проще настроить)

Александр Ушаков
о, удачи с vfio я себе для десктопа его настраивал...

Блин чувак, у меня кластер из десятков А100, которые пошарены через vfio, между kubevirt виртуалками и нативными подами c kata, которая запускает qemu с драйвером nvidia, внутри которой запускается реальный под и это все прод, который кастомерам за деньги сдается 🫡

Sergei Monakhov
Блин чувак, у меня кластер из десятков А100, котор...

поздравляю от всей широкой души, что еще сказать 🙃

Andrey- Автор вопроса
Александр Ушаков
за счет того, что он тупее, поэтому проще настроит...

То есть, девелоперы qemu просто не догадались, что надо делать тупо и легко настраиваемо, а сделали сложно и тяжело настраиваемо? Мне вполне нравится firecracker, но просто важно понимать, что это весьма специфичная вещь, бенчмарки - поле для манипуляций, а прирост производительности обычно идет за счет отказа от чего-то важного

Andrey
То есть, девелоперы qemu просто не догадались, что...

я изначально не говорил, что он панацея и для полноценных виртуалок он слишком кастрирован но и речь шла не про полноценные виртуалки имхо, если его хватает лямбде и фаргейту для вычислений, то хватит и большинству снаружи (пусть и придется докручивать)

Andrey- Автор вопроса
Александр Ушаков
я изначально не говорил, что он панацея и для полн...

Да, но вопрос уже в том, что если все поверх кубера, то логичнее опираться на его экосистему

Александр Ушаков
я изначально не говорил, что он панацея и для полн...

На нем можно запустить обычную вм, он ни чем не кастрирован, кроме того что игнорирует fsync… и на на нем нет free_page_reporting…

Sergei Monakhov
На нем можно запустить обычную вм, он ни чем не ка...

подожди, мы точно про одно говорим? я про то, что firecracker кастрирован для полноценных виртуалок, и для них как раз стоит смотреть на кему

Andrey
Да, но вопрос уже в том, что если все поверх кубер...

а что у него есть для этого? кубвирт понятно, но он не для того же

Andrey- Автор вопроса
Александр Ушаков
подожди, мы точно про одно говорим? я про то, что...

Да работают там обычные вм… что в твоем понимании полноценность? Ну будет у тебя fsync игнорироваться, ну не запускай там бд 😆

Andrey- Автор вопроса

Или knative, оно вроде даже популярнее

Sergei Monakhov
Блин чувак, у меня кластер из десятков А100, котор...

Привет, вопрос, ты как-то для ката контейнеров бридж юзал идт маквитап?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта