А кто нить rsyslog'ом собирает логи с куба? Я

кажется реально задумал на него переходить, и выкинуть filebeat. fluentd, fluent-bit тоже не нравятся. rsyslog чет так мало кушает и так приятно работает, я аж отвык от этого.

Если будешь юзатьб напиши как оператор

@gecube @Aleksey_Lazarev А вы точно хотите через CRD накоманские конфиги rsyslog настраивать? =)

filebeat разве много кушает? у нас где-то в среднем 0.2cpu забирает на > 200 млн. событий в сутки

Тут не важно сколько кушает файлбит - rsyslog меньше)

ага, а дополнительный функционал на баше дописывать))). Вопрос баланса

всратое говно на говноланге

ну это 2500 в секунду. 0.2 cpu довольно много. Хотя он бывает и больше кушает при смешных нагрузках. +бывает зависает и не отправляет логи

Сергей Голод
вот сейчас такой же rps. Текущие показатели

430 cpu, это же пол ядра

это у одного, а у других < 50

ну там наверное и логов по меньше. Не, filebeat вы мне не продадите. Даже если смириться с его потреблением CPU. С тем что он перестает логи отправлять внезапно я уже никак смириться не могу. Хоть и до сих пор террлю

Посмотри на fluentd

смотрел. Вобщем моя затея с rsyslog вроде выходит не наркоманская =)

)), да я и не продаю. Делюсь, так сказать, ощущениями от реальной работы. До этого был fluent-bit, он как раз тупил на парсинге json и логи не попадали в эластик. С этим вроде по-лучше

чем filebeat не угодил?

да я вот тоже делюсь. Пару раз такое наблюдал с filebeat. Смотрю kubectl logs показывает лог, а в еластике его нету. Смотрю логи всех подов с этой ноды вообще отсылаться перестали. И так вот несколько раз

а дебажить и найти причину удалось? Это на какой версии было?

условия воспроизведения не смог выяснить, а если воспроизвести не получается то и не отдебажишь

кушает много CPU (в сравнении с rsyslog/nxlog). Мало возможностей по парсингу. Если надо нормально парсить, то все равно приходится передавать лог дальше другой штуке, которая сможет спарсить. Несколько раз переставал отправлыть логи неизвестно по каким причинам

на всей 7, это из-за отсыхания-присыхания эластика, я в итоге в пробу закорячил #!/usr/bin/env bash -e filebeat test output и вроде ок, ну и навсякий есть скрипт небольшой который делает типа keepalive с каждый ноды и алерт на отсутсвие такого лога за интервал

подозреваю, что адекватных альтернатив все равно нет

rsyslog норм. За исключением сложности конфига. Ну и всякие fluentd, fluent-bit, journalbeat жи есть. Они мне кажется не хуже filebeat

сейчас взял за последний час > 11 млн. получается где-то 3.5k/s. Загрузка - да, где-то в 0.2-0.25 CPU держится. Средний размер документа (в статистке эластика) - чуть более 900байт

Файлбит же вообще не парсит, он же только шипер. Или что-то поменялось?

Да, всё так.

как попросишь. Как минимум json по полям разбирает

Мы юзали rsyslog для сбора логов в кубернетесе. Правда у нас схема была чуть сложнее: docker писал в journald (на этом этапе в логи добавлялась кубовая метаинформация), а уже оттуда их забирал rsyslog, приводил их к gelf формату и отправлял в Graylog

у rsyslog есть kubernetes модуль, он сам может доставать метаинфу

Неплохая идея, kubectl logs работали ?

Да, я знаю. Мне кажется, что когда я городил схему с journald этого модуля ещё не существовало, хотя может я плохо искал) Хотел сказать, что rsyslog не такой уж надежный инструмент как кажется на первый взгляд. Багов там достаточно, с залипаниями rsyslog при чтении логов из файла, например, я сталкивался неоднократно. Так что моя рекомендация - хорошенько его оттестировать под нагрузкой перед выкаткой в прод.

Да, journald совместим с kubectl logs

и как впечатления ? мне нравится такой конфиг

да, но по идее такой конфиг не будет работать с cri-o/containerd. Там же kubelet логами управляет, а он их в файлы складывает

Из плюсов: в нашем случае не нужен был никакой дополнительный софт, т.к. использовали Ubuntu, а там из коробки rsyslog и journald. rsyslog фичастый и можно парсить всякое прям на ноде. А главный минус озвучил Дмитрий выше: видимо это не будет работать с containerd, так что схему можно в принципе закапывать)) Да и вообще, смысла в этой схеме нет, если у rsyslog появился спец. модуль для кубера.

я думаю, что и с containerd можно раскурить такую же схему