Если я правильно понял и нельзя терять ни капли тасков

то кроме БД ничего не поможет, пока я мусолю в голове такую схему
1. ацки быстро кидаем все в кролика
2. достаем из кролика и складываем в БД
3. достаем из БД и запускаем исполнение
профит или гавно?

Кролик в качестве промежуточной БД? Зачем? О_о

для скорости, плюнуть в кролика быстрее чем плюнуть сразу в БД, хотяяя наверно это бред какой-то

Потому что высчитывать и писать - долго. Если это не срочно то можно выполнить потом

сейчас я для длинных задач делаю запись таски в БД, оттуда ее демон берет на выполнение, и вот думаю, а может кролика натравить, но теперь все больше узнаю что кролик не такой живучий как казалось, а мне нужна 100% гарантия исполнения всех задач

Кафка. Кластер

кролик спокойно живет и под 10k rps

ага уже почитал что кафка как раз таки дает гарантию

Да вроде вполне живучий, смотря как его использовать.

БД как ipc не лучшая идея, ни разу не встречал подобного решения

А что за гарантии?

как?

Там не rps надо считать а мегабиты траффика. На 30мбит кролик загнется

Ты разве не читал тот тред полностью? Там человек вроде слишком много информации пихал в задачу, без редактирования конфига потребления памяти на задачу.

В сущности, Kafka хранит все свои сообщения на диске

Кроль тоже умеет сохранять состояние если подумать

ну т.е. проблема падения кролика в объемах данных. если слать ему байты то кролик никогда не встанет раком?

ссзб )) мы то не такие, доооо )))

не загнется, гоняли и +0.5 гб. как он загибается какие ошибки ?

Шанс есть всегда. Вопрос в том насколько легко и быстро это поднять назад

Так разве кролик не тоже самое умеет, при выставленных опциях? https://www.rabbitmq.com/persistence-conf.html First, some background: both persistent and transient messages can be written to disk. Persistent messages will be written to disk as soon as they reach the queue, while transient messages will be written to disk only so that they can be evicted from memory while under memory pressure. Persistent messages are also kept in memory when possible and only evicted from memory under memory pressure. The "persistence layer" refers to the mechanism used to store messages of both types to disk.

Когда проходили архитектурную защиту, искали инфу о пропускных способностях. Кролик не вывозит 2 направления. Количество инфы и пропускная способность

Пиковая пропускная способность (MB/s) Kafka 605 MB/s RabbitMQ 38 MB/s p99 Задержка (ms) Kafka 5 ms (200 MB/s) RabbitMQ 1 ms * (30 MB/s) * Задержки RabbitMQ значительно увеличиваются (в геометрической прогрессии) при пропускной способности выше 30 MB/s

Тут много вопросов. На каком железе как настроено и.тд. Больше похоже что не разобрались с кроликом . Мы гоняли в 10 раз больше данных и больше упирались в конекты к нему, чем в сам кролик

ммм цииферьки из интернетов