Чат привет. Подскажите, как лучше организовать процесс? Мне нужно запустить

Question

Чат привет. Подскажите, как лучше организовать процесс? Мне нужно запустить

~18кк Job, вытащить из них логи и результат выполнения (код возврата) на локальную тачку. Хорошо, если это будет какая-нибудь embedded база (ну или я потом туда перелью). Я запускал самопальный скрипт, он у меня в один поток 15к job запускал порядка суток.

#devops #kubernetes #programming #russian

0

20.11.2021

18 ответов

30 просмотров

n Автор вопроса

Igor Ovsyannikov🐳
логи большие получаются? >10к строк? скрипт лучше ...

Не, обычно меньше, думаю около 1к (под рукой образцов нет). Логи с stdout мне нужны

0

20.11.2021

Igor Ovsyannikov🐳

n
Не, обычно меньше, думаю около 1к (под рукой образ...

я сначала думал порекомендовать вам забирать логи через kubectl logs, но это нагрузка на apiserver, потому на вашем месте я бы взял стек Vector+S3

0

20.11.2021

𝚔𝚟𝚊𝚙𝚜

Не уверен что это лучший вариант, но как насчёт тектона?

0

20.11.2021

𝚔𝚟𝚊𝚙𝚜

n
Не, обычно меньше, думаю около 1к (под рукой образ...

Логи в ЭЛК, определенно

0

20.11.2021

n Автор вопроса

𝚔𝚟𝚊𝚙𝚜
Не уверен что это лучший вариант, но как насчёт те...

А он не захлебнётся? Gitlab на тысячах погиб

0

20.11.2021

Dmitry Sergeev 🇺🇦

> он у меня в один поток 15к job запускал порядка суток. А тут сутки это по какому алгоритму. На каждую итерацию запускаем job, дожидаемся выполнения, читаем логи? Их наверное лучше пачками запускать. По 100-1000 штук например. И только потом логи вытаскивать. Мб так быстрее будет?

0

20.11.2021

n Автор вопроса

Dmitry Sergeev 🇺🇦
> он у меня в один поток 15к job запускал порядка ...

Да, именно так и было. Молотила рабочая тачка, не хотел не сильно нагружать

0

20.11.2021

n Автор вопроса

𝚔𝚟𝚊𝚙𝚜
Логи в ЭЛК, определенно

Так не хочется разводить зоопарк утилит …

0

20.11.2021

𝚔𝚟𝚊𝚙𝚜

n
А он не захлебнётся? Gitlab на тысячах погиб

Могу ошибаться, но мне казалось там несколько независимых контроллеров и горутины :)

0

20.11.2021

Dmitry Sergeev 🇺🇦

n
Да, именно так и было. Молотила рабочая тачка, не ...

в кубе можно через apiVersion: v1 items: - apiVersion: .. kind: ... ... - ... Пачку ресурсов одним запросов создавать. Мб так быстрее тоже будет

0

20.11.2021

𝚔𝚟𝚊𝚙𝚜

n
Так не хочется разводить зоопарк утилит …

Это не зоопарк, а уже вроде как одно из стандартных решений по сбору логов в k8s

0

20.11.2021

Dmitry Sergeev 🇺🇦

𝚔𝚟𝚊𝚙𝚜
Это не зоопарк, а уже вроде как одно из стандартны...

там лучше задачу прочитать изначальную. Чтобы понятен был контекст

0

20.11.2021

Dmitry Sergeev 🇺🇦

n
Так не хочется разводить зоопарк утилит …

ну и из elk нужно будет тоже логи же вытаскивать. Хотя тут будет плюс, что ты можешь сделать это потом. Уже после апплая своих 18kk задач. Не знаю быстрее это будет или нет. Потести

0

20.11.2021

n Автор вопроса

Dmitry Sergeev 🇺🇦
ну и из elk нужно будет тоже логи же вытаскивать. ...

Тут вопрос в скорости

0

20.11.2021

𝚔𝚟𝚊𝚙𝚜

Dmitry Sergeev 🇺🇦
ну и из elk нужно будет тоже логи же вытаскивать. ...

имхо, основной смысл elk не в том чтобы их забирать оттуда, а для того чтобы эффективно с ними работать.

0

20.11.2021