Похожие чаты

Кафка кач. Если она там нужна. Какова роль редиса там

вообще? Приклад по tcp сразу в него логи кидает?

23 ответов

39 просмотров

Да, логи идут в редисы от сервисов, оттуда логстеш собирает

Den-Schmitz Автор вопроса
Константин
Да, логи идут в редисы от сервисов, оттуда логстеш...

Ну кидайте сразу в логстеш, зачем вам эта прослойка? Логстеш же умеет в PQ

Den-Schmitz Автор вопроса
Den Schmitz
Ну кидайте сразу в логстеш, зачем вам эта прослойк...

Поднимаете для каждого приклада отдельный пайп сл своей отдельной очередью и со своим отдельным оутпутом в свой датастрим елк. Приклад учите писать раунробином в пару логсташей, радуетесь. У себя при такой схеме вижу стабильный поток по одному конвееру в 600к/мин на обоих логсташах, т.е. в сумме 1200. Перестанет тянуть - поставлю третий и не буду дуть стек там где это не требуется

Den Schmitz
Поднимаете для каждого приклада отдельный пайп сл ...

Думали насчет писать напрямую в логсташ, но в таком случае все сервисы начинают знать про него, считаю не очень хорошо так делать + все сервисы расположены в разных сетях и разных дц, а логстеш в отдельном и проще организовать туннели от него к сервисам, чем от сервисов к логсташу Но может когда-то все же к этому придем

Den-Schmitz Автор вопроса
Константин
Думали насчет писать напрямую в логсташ, но в тако...

Ну будут знать они про логсташи или про кафку с редисом вообще без разницы. Кидайте по 1-2 логсташей в каждом дц, в зависимости от количества денег и необходимой HA.

Den Schmitz
Ну будут знать они про логсташи или про кафку с ре...

Хм, интересный вариант с меньшим количеством промежуточных точек. Предложу на рассмотрение, звучит хорошо. Получается приклады пишут прямо в логстеши, а логстеши уже в эластик передают

Den-Schmitz Автор вопроса
Константин
Хм, интересный вариант с меньшим количеством проме...

Да. Мысль вы поняли верно. Вообще можно напрямую в елк писать, но я этот вариант для себя отмел т.к. в случае какой то жопы хочу быстро устранить влияние, например отправкой в даун одного из логсташей/пайплайнов/пользователей. Ну и не пишу конвееры/парсеры под несколько разных прикладов в одном, чтобы как раз минимизировать модификацию в LS. Удалять поля порой дороже чем хранить кстати. Если это рил лишние поля, дайте CR разрабам чтобы они их выпилили на уровне приклада.

Den Schmitz
Да. Мысль вы поняли верно. Вообще можно напрямую в...

Там удаление мета полей типа [agent] [host] [ecs] + у меня однострочный руби фильтр, который берет несколько полей из каждого лога и делает из них уникальную md5 строку и добавляет ее в отдельное поле (это мой личный костыль для сервиса уведомлений, чтобы потом лог можно было найти)

Den-Schmitz Автор вопроса
Константин
Там удаление мета полей типа [agent] [host] [ecs] ...

Вроде есть похожий фильтр в ls который хэш вычисляет из поля. Посмотрите на него, может он быстрее.

Den Schmitz
Вроде есть похожий фильтр в ls который хэш вычисля...

ruby { code => ' require "digest/md5"; event.set("computed_id", Digest::MD5.hexdigest(Time.now.to_s() + event.get("[log][@timestamp]").to_s() + rand(100).to_s()))' } мой выглядит так) сейчас перечитал и даже призадумался над тем, насколько это может быть медленнее чего-то встроенного)

Константин
ruby { code => ' require "digest/md5"; e...

А куда вы потом этот хеш засовываете кроме эластика? Это просто из любопытства

У меня есть самописный алертер на го, в который логсташ кидает ерроры и фаталы, а тот в свою очередь в месенджеры пишет. Вот там этот хеш и использую, чтоб потом быстро найти лог

Den-Schmitz Автор вопроса
Константин
У меня есть самописный алертер на го, в который ло...

Скажите, инженеры вас недолюблювают или вы их?)

Константин
У меня есть самописный алертер на го, в который ло...

А пишете вы на каждое сообщение хеш или только на эрооры/фаталы? :)

Den-Schmitz Автор вопроса
Den Schmitz
Скажите, инженеры вас недолюблювают или вы их?)

Если прикдад начинает срать ерроами, сколько алертов отправляется ?)

Alex Tkachuk
А пишете вы на каждое сообщение хеш или только на ...

Сейчас на все, но теперь задумался, что можно только на ерроры и фаталы, так как в остальных он не нужен

Константин
Сейчас на все, но теперь задумался, что можно толь...

Как хорошо что Вы догадались о моих мыслях :)

Den Schmitz
Если прикдад начинает срать ерроами, сколько алерт...

Ин мемори кеш использую, проверяю месседж лога, если такой в кеше есть, то на час кеширую. Каждые 100 вхождений в кеш тоже уведомляю

Константин
Там удаление мета полей типа [agent] [host] [ecs] ...

md5 - очень дорогая функция. Это криптоустойчивый хэш и поэтому медленный.

Alex Tkachuk
Ммм, а что значительно быстрее?

murmur например. 64битный вполне себе коллизиоустойчивый. для обычного хэширования (с целью дедупликации) вполне себе подходит

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
any reference of this implementation?
BitBuddha
29
Ⓐrtto, [4/23/24 7:02 PM] Please explain more fully how it is not working exactly, and what are the steps you are taking, and what error messages come or what happens. Ⓐrtto, ...
Ezza Kezza
2
sounds like people have lost their kaspa on tradeogre... does this mean tradeogre not trustworthy?
Ezza Kezza
15
Страшнейшая правда про списки ЦБ. С первых дней жизни P2P сферы, молодые человеки, начитавшись законодательной базы и "внутренних" документов, решили, что им противостоит сер...
Foxcool
3
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
So much speculation in the last week. So much volatility in price. This is because Hedera has a GC that isn't using the network it's governing. Why aren't people asking why a...
Summit Seeker R
9
Anyone else having this error when trying to make transactions?
Datzel
11
Question: How viable is it to use Anvil as the backend infrastructure for managing a TradFi portfolio, while integrating Flexa for instant liquidity and payment solutions? Cou...
Kevin
2
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Карта сайта