Ребята привет, вопросик такой: у нас ребята хотят использовать фичу

Question

Ребята привет, вопросик такой: у нас ребята хотят использовать фичу

FastApi backgroundtasks, чтобы слать аудит логи в еластиксерч. Какие могут быть риски ? Можно ли будет потерять сообщения когда будет останавливаться кластер фаст апи воркеров ? И будет с новым кодом деплоиться ? Вообще я чувствую, мне хотелось бы заюзать как то nginx тут и просто проксировать траффик на еластиксерч, возможно на уровне нжинкс можно сделать какой то редирект трафика в бэкграунд режиме ? А сервера, которые за апи отвечают хотелось бы освободить от такой работы

#backend #programming #python #russian

0

11.10.2023

17 ответов

3 просмотра

Серж ИзТанзании Автор вопроса

smqwe
Потушил FastAPI - таска потерялась BackGround тас...

то есть риск потери информации достаточно высок ? а как тогда лучше решить эту задачу ?

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

smqwe
Потушил FastAPI - таска потерялась BackGround тас...

я не смотрел, но мне казалось, что в случае посылания сигнала fastapi, он должен как то джойниться к треду, который выполняется для выполнения бэкграунд тасков, чтобы предотвратить потерю тасков

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

smqwe
Потушил FastAPI - таска потерялась BackGround тас...

я смотрел код, BackgroundTaskHandler - это просто тред со своим лупом....

0

7 месяцев назад

smqwe

Серж ИзТанзании
я смотрел код, BackgroundTaskHandler - это просто ...

Ну раньше даже треда не было

0

7 месяцев назад

Alex

Да, background таски в FastAPI это максимально примитивная наколеночная поделка, не ясно нахрена вообще существующая

0

7 месяцев назад

Alex

Alex
Да, background таски в FastAPI это максимально при...

Мне кажется это такой ответ Чемберлену в виде сигналов джанги. И да, я знаю что они работают по разному.

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

Alex
Да, background таски в FastAPI это максимально при...

а как советуешь организовать отсылку аудитлогов в еластиксерч ? я думал проксировать трафик через нжинкс, но задача - чтобы отсылка аудит логов не замедляла ответ апишки. либо уже думал через прометеус как то - складывать туда, и слать через прометеус......

0

7 месяцев назад

Alex

Серж ИзТанзании
а как советуешь организовать отсылку аудитлогов в ...

Так как это именно события аудита, то отправлять их стоит на уровне бизнес логики приложения.

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

Alex
Так как это именно события аудита, то отправлять и...

либо, я думал, может организовать один еластиксерч именно как прокси, а уже с него проксировать на главный кластер еластиксерча.....

0

7 месяцев назад

Kirill Kuzminykh

Серж ИзТанзании
а как советуешь организовать отсылку аудитлогов в ...

Поднимаешь локально (или где-то на другом сервере) rsyslog или что-то похожее, что умеет кешировать логи. Настраиваешь его для отправки логов в elasticsearch (вероятно не напрямую, а через logstash). Из приложения пуляешь в rsyslog сообщения по UDP (через SyslogHandler). Получишь минимальную задержку. Но есть вероятность некоторой потери сообщений, если rsyslog будет находится не на том же сервере где и приложение.

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

Kirill Kuzminykh
Поднимаешь локально (или где-то на другом сервере)...

о, интересная идея, забыл про rsyslog

0

7 месяцев назад

Tishka17

Alex
Да, background таски в FastAPI это максимально при...

Чтобы держать депенденси

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

ммм, поясни ?

0

7 месяцев назад

Tishka17

Серж ИзТанзании
ммм, поясни ?

Ну у вьюхи есть зависимости. Они как-то создаются и потом освобождаются. Так вот если ты запустил БГ таск, они не освобождаются, чтобы юзаться там. Фича сомнительная потому что 1. ты не можешь одну зависимость юзать из нескольких тасков 2. Вряд ли она нужна все время выполнения таска, получится что мы занимаем ресурсы зря (например, коннекты к базе) 3. Веб сервер в норме не должен ничем заниматься кроме как обработкой запросов, иначе хз как масштабировать Но лучше уточнить в доке

0

7 месяцев назад

Серж ИзТанзании Автор вопроса

Tishka17
Ну у вьюхи есть зависимости. Они как-то создаются ...

но я так понимаю, что в любом случае эти фоновые задачи не гарантируют их выполнение если мы рестартим сервис ?

0

7 месяцев назад

Tishka17

Серж ИзТанзании
но я так понимаю, что в любом случае эти фоновые з...

Конечно

0

7 месяцев назад