погружаюсь во всю тему.
Есть система, развернутая на паре серваков где распределены инстансы одного и того же приложения, каждый инстанс пишет логи в своей ФС и названия у лог файлов дублируются на уровне нескольких серваков.
Стоит задача, оптимизировать процесс поиска по логам, взял для этого елк, но смотрю что многие отдают предпочтения в сторону filebeat (per client).
Вопрос: не будет ли какое то звено цепи считать что данные которые летят из одинаковых (по названию) лог файлов дублируются? Не смог нагуглить с наскоку принцип работы файлбит, толи он целиком файлы берет, толи передает все содержимое (в таком случае думаю название не играет роли)
Tldr: есть лог файлы с дублирующимися именами, на паре серваков, какую связку лучше использовать чтоб поиск во всем этом говне сделать менее ущербным (сейчас буквально заходим на серв ищем лог файл в нем по ключевым словам поиск и лай бог что инстанс нужный)?
файлбит только читает файлы и посылает их содержимое куда-то, например в развернутый где-то эластик, сам файлбит ничего не хранит.
Ну конец цепочки эластик с кибаной , однозначно. До этого хочу держать только файлбит, без логсташа, т.к. нет нужды в фильтрации/трансформации данных (пока) Значит конфликтов быть не должно, верно?
Обсуждают сегодня