Скажите зачем люди используют авс лямбды, вместо того что бы

создавать отдельные консьюмеры в кафке ? К примеру у нас стоит лве ec2 Kafka, мы за нее платим, но почему то у нас еще есть 6 лямбд, разве кафка с консьюмерами не может заменить лямбду

Кафка может тригириться на какие-то евенты, как и лямбда, сразу пришло в голову что можно написать код в консьюмере и его исполнять когда падает топик на консьюмер

К примеру мне нужно выслать форму, после того как юзер нажимает сабмит я хочу конвертировать гифку которую он мне выслал в видео, у нас сейчас это делает лямбда и мой вопрос почему бы это не мог делать консьюмер Кафки, ведь мы можем после сабмита формы через продьюсер выслать меседж на консьюмер и консьюмер сделал бы конвертацию, но у нас вместо этого используется лямбда

Что вы имеете ввиду "создавать отдельные консьюмеры в кафке" ?

создать консьюмер который будет конвертировать гифки в видео

В Кафке это где?

MSK

Можете немного прояснить, как в МСК создавать консъюмеров и что МСК делает у вас в EC2?

Под консумеров вы понимаете написанное вами приложение которое в ес2 будете крутить?

Ну и чем это приложение-консьюмер будет отличаться от приложения-лямбды? Вы точно понимаете, что такое консьюмер?

Consumer - это отдельная машина

отдельный ец2?

Жигули? :D Да не обязательно, это просто приложение, которое читает сообщения из кафки. Эти лямбды - это, по сути, такие же приложения...

Я с авс не работаю, но я понимаю что это не ец2, это было бы слишком дорого покупать ец2 под консьюмера Мне кажется консьюмером может быть даже тежи лямбды чтоли

Лямбды стоят копейки. Требуют усилий на поддержку ещё меньше. Логи и метрики из коробки. Что не так?)

Только есть нюанс. У лямбды максимальное время жизни 5 минут. Не успеете вычитать все из партиции - перезапуститесь и будет ребаланс.

Зочем, прочитали немножко, коммитнули офсет, отправили какой-нибудь триггер на следующий запуск

Тут я бы все таки пошел по пути ец2 + код, ну или как у нас - долгоиграющие консьюмеры бегут в кубе

Ну вот да, ECS удобнее, всякий автоскейлинг как у ец2, но дешевле притом.