Чат привет. Запускаю docker-контейнеры через nomad, в качестве logging использую

loki:
logging {
type = "loki"
config {
keep-file=true
loki-url="https://<login:pass>@logs-prod-us-central1.grafana.net/loki/api/v1/push"
loki-retries=5
loki-batch-size=400
loki-external-labels="build_id=${NOMAD_META_BUILD_ID}"
}
}


nomad показывает, что запустил 2374 контейнеров (сколько и было запущено)


В конце каждого скрипта я пишу "Task completed"
if name == '__main__':
result = os.system(...)

print(f"Result is {result}", flush=True)
sleep(10)
print(f"Task completed", flush=True)

Однако, если сделать запрос, в локи, то получаю, 2355/2374

query: {build_id="1633629442"} |= "Task completed"
limit: 5000
(2355 returned)


Как найти, какие упали? Пока есть мысли про OOM

!~ для "regex doesn't match"

у меня-то наоборот match: |=

А из !~ получишь список билдов где успеха не было

Я же по логам ищу (stdout / stderr), для твоего предложения там будет куча мусора