Не нашел чет в доке и гугле. Как в fluent-bit

Question

Не нашел чет в доке и гугле. Как в fluent-bit

сделать рекурсивный поиск логов? В примерах у них логи свалены в одну кучу тупо по пути /var/log/*.log у меня получается /var/log/pod_id/deployment_name/*.log. Как pod_id и deployment_name динамические величины. Вот как заставить fluent-bit читать рекурсивно? пробовал * && ** не работает

UPD: /var/log/*/*/*.log не рабоает (как и если сделать ** или уменьшить вложенность)
UPD2: А возможно она просто логи не шлет...буду колупать, чет индекс даже с прямым файлом не создается

#devops #programming #russian

0

08.09.2020

19 ответов

25 просмотров

cent

Получилось это решить?

0

21.04.2021

Asgoret Автор вопроса

cent
Получилось это решить?

я перестроил все на fluentd, там использовал прямой путь до докер логов, а фильтрацию сделал через exclude

0

21.04.2021

cent

Asgoret
я перестроил все на fluentd, там использовал прямо...

У меня задана кастомная папка для докера # Path used to store Docker data docker_daemon_graph: "/opt/kubernetes/docker" И там все раскладывается по подпапкам. И я что-то пока не понял как оттуда забрать логи через fluent-bit?

0

21.04.2021

Asgoret Автор вопроса

cent
У меня задана кастомная папка для докера # Path us...

т.е. у тебя получается **/docker/pod1/*.log?

0

21.04.2021

cent

Asgoret
т.е. у тебя получается **/docker/pod1/*.log?

Именно. Только /opt/kubernetes/docker/containers/pod/*log

0

21.04.2021

Asgoret Автор вопроса

cent
Именно. Только /opt/kubernetes/docker/containers/p...

🤔боюсь никак или как сделано в докере. его логи не лежат прям в /var/log/containers/*.log. это все симлинки на другие директории, которые содержат уже дату и структура как у тебя. т.е тебе нужно будет сделать аналогинчую схему или не страдать фигней и оставить все как есть)

0

21.04.2021

cent

Asgoret
🤔боюсь никак или как сделано в докере. его логи не...

А это чисто кубовая фишка - создавать симлинки в /var/log , да? Не нашел такого у docker и containerd

0

21.04.2021

Asgoret Автор вопроса

cent
А это чисто кубовая фишка - создавать симлинки в /...

походу да. или шифтовая

0

21.04.2021

Asgoret Автор вопроса

cent
А это чисто кубовая фишка - создавать симлинки в /...

а что у тебя ls -l показывает в /var/log/container/

0

21.04.2021

cent

Asgoret
а что у тебя ls -l показывает в /var/log/container...

У меня там симлинки логов подов только из kube-system. Все остальные в /opt/kubernetes/docker/containers/pod/*log я посмотрел все флаги kubespray, но не нахожу ничего подходящего

0

21.04.2021

Asgoret Автор вопроса

cent
У меня там симлинки логов подов только из kube-sys...

🤔ну вот надо понять, как сделать похожую структуру для твоих подов, чтоб флюенты могли забирать. там есть особенность их развития просто одна)

0

21.04.2021

Asgoret Автор вопроса

cent
У меня там симлинки логов подов только из kube-sys...

fluentd родитель fluentbit

0

21.04.2021

cent

Asgoret
🤔ну вот надо понять, как сделать похожую структуру...

Так вот как сделать? Я что-то не пойму? Похоже, что docker или containerd не получится конфигурить. Это именно в кубе где-то задается, чтобы он симлинки расставлял в /var/log

0

21.04.2021

Asgoret Автор вопроса

cent
Так вот как сделать? Я что-то не пойму? Похоже, ч...

вот тут я хз, не смогу помочь. могу только посоветовать в слаке спросить у разрабов

0

21.04.2021

cent

Asgoret
вот тут я хз, не смогу помочь. могу только посовет...

Разрабов kubelet?

0

21.04.2021

Andrey Kartashov

cent
Разрабов kubelet?

задача-то какая?

0

21.04.2021

Asgoret Автор вопроса

cent
Разрабов kubelet?

емнип они там тоже сидят...но шансы узнать как это делать там могут быть повыше тупо из-за численности населения

0

21.04.2021

Andrey Kartashov

cent
Разрабов kubelet?

kubelet забирает путь до лога из docker inspect, и делает на него симлинк. Если у него не получается найти по какой-либо причине - он это в свой лог пишет, так что смотри логи кублета

0

21.04.2021

Aleksey Lazarev · Accepted Answer

Aleksey Lazarev

/var/log/**/**/*.log пробовал?₽

0

08.09.2020

172 похожих чатов

Не нашел чет в доке и гугле. Как в fluent-bit

19 ответов

Похожие вопросы