Добрый день, елк стек 7.17 одна нода эластика, одна нода

Question

Добрый день, елк стек 7.17 одна нода эластика, одна нода

логстеша. Логстеш не успевает забирать логи из редисов. Показывает вот такие графики, но при этом на сервере я не вижу, чтобы он уперся в цп или озу. С чего начать? До сегодняшнего дня все было ок, сегодня запустили сервис с большим количеством логов (уже написало 150млн логов за 6 часов) и у него на редисе копится очередь из логов, доходит до 6-7млн

0

07.09.2023

11 ответов

6 просмотров

Константин Автор вопроса

Den Schmitz
Мож у вас эластик в диски упирается. Очень. Очень ...

по возможности предоставлю всю, знать бы какую

0

8 месяцев назад

Maksim

Константин
по возможности предоставлю всю, знать бы какую

Если предположение на диски то посмотрите в atop кнопка d или банально на wa в top

0

8 месяцев назад

Lev Tkach

упираетесь в эластик и его пропускную способность. Дробите логи в разные индексы и аппайте ресурсы и jvm эластика

0

8 месяцев назад

Константин Автор вопроса

Lev Tkach
упираетесь в эластик и его пропускную способность....

по аппаратным ресурсам 10 ядер, 32озу, хип эластика 14гб, занято 3гб

0

8 месяцев назад

Etki

непрошенный совет безотносительно самого вопроса: редис очень печальное решение для чего бы то ни было, лучше заменить на практически что угодно.

0

8 месяцев назад

Константин Автор вопроса

Etki
непрошенный совет безотносительно самого вопроса: ...

Да нет, совет вполне годный, а что посоветуете? На ум только кафка приходит. Редис используем поскольку его проще всего поставить + с конфигом из коробки чаще всего норм работает

0

8 месяцев назад

√Григорий

Etki
непрошенный совет безотносительно самого вопроса: ...

Среди чего он плох и почему, если не секрет?

0

8 месяцев назад

Etki

√Григорий
Среди чего он плох и почему, если не секрет?

В общем я хожу из чата в чат с одной же идеей, которая раскрывается большим текстом, но можно уместить в два поинта а) он криво писан (всегда был, всегда будет) и б) де-факто он не нужен, потому в любой области, в которой он пытается чем-то быть (к/в, паб/саб, что там ещё навертели) есть инструменты на голову выше него. Если вам нужно доставать данные из памяти - ну так с этим и SQL-база справится, просто отдаёте ей тот же объем памяти, и она будет в нем горячие данные держать. Нетюненый пг на моей рабочей машине выдает 0.2-0.8мс на извлчение записи по ключу (которая очевидно в этот момент висит в кэше). Нетюненый. Соседствующий с хромом и идешками. При том, что его ключевая задача - корректность транзакций, а не скорость. Весь миф про скорость работы сетевого кэша из-за того, что он держит что-то в памяти, а все остальные на диске - это миф, и оно все равно подрублено по сети, которая только на передачу будет ещё столько же накидывать. Ин-мемори кэш мгновенный только тогда, когда он существует и управляется прямо в процессе.

0

8 месяцев назад

Etki

Константин
Да нет, совет вполне годный, а что посоветуете? На...

Если нужно просто пики подавлять, то вроде у самого логстеша буфера были. Если есть опасения что машина с логстешем может исчезнуть (облако), повышенные требования или ещё что-то - то да, любой брокер с персистентсностью может подойти (хотя на самом деле под эти дела и брокер оверхед, там же просто надо потоков байтов хранить да галочками отмечать, где следующее сообщение началось)

0

8 месяцев назад

Alex Tkachuk

Etki
В общем я хожу из чата в чат с одной же идеей, кот...

Но 0.8 - это очень, очень много

0

8 месяцев назад

Den Schmitz · Accepted Answer

Den Schmitz

Мож у вас эластик в диски упирается. Очень. Очень мало диагностической информации. По ней только удачи можно пожелать)

0

8 месяцев назад

Похожие чаты

Добрый день, елк стек 7.17 одна нода эластика, одна нода

11 ответов

Похожие вопросы