Всем привет. Можете дать совет или рекомендацию, или свой опыт

Question

Всем привет. Можете дать совет или рекомендацию, или свой опыт

рассказать. У нас используется кафка. Для воркеров, которые держат соединение долго и выполняют тяжёлые задачи все норм. Но начали замечать проблемы во время логирования (тоже используем кафку). У нас php и соответственно после каждого запроса процесс умирает и вместе с ним соединение. И на большой нагрузке это время соединения даёт о себе знать. Нашли такую штуку как kafka rest, которая как доп слой, чтобы держать соединения с кафкой. Но жрёт прилично по ресурсам (или не разобрались пока до конца или потому что Java). Кто то использовал кафку для логирования и как боролись с частым соединением с ней?

#devops #programming #russian

0

07.09.2023

2 ответов

15 просмотров

Arkos 13 Автор вопроса

Andrey Kartashov
может какой-нибудь сборщик логов использовать, а п...

Я тоже предлагал так сделать, но критерии строгие к сохранности логов. Типо сообщение в кафку отправляется во время запроса, а если записывать в файл и потом стягивать - даёт задержку во время которой может, что то пойти не так и логи потеряются

0

07.09.2023

Andrey Kartashov · Accepted Answer

Andrey Kartashov

может какой-нибудь сборщик логов использовать, а приложение пусть в файлы шлёт? Тот же fluentbit может в кафку пересылать логи.

0

07.09.2023

172 похожих чатов

Всем привет. Можете дать совет или рекомендацию, или свой опыт

2 ответов

Похожие вопросы