Коллеги, вопросик. А как реализовать логгер response body, но при

Ну мне кажется что в такой постановке они в любом месте захлебнутся. Попробуйте пойти от обратного, и логгировать только нужные поля. Если у вас 20К рпс, вряд ли кто-то будет сидеть и читать все поля в каждом запросе

0

7 месяцев назад

Александр Костюченко Автор вопроса

Ilya Kaznacheev
Ну мне кажется что в такой постановке они в любом ...

Вы всё верно говорите. А какой алгоритм получится этого всего? Ну т.е хендлер записал бади во writer,а что дальше...?

0

7 месяцев назад

Daniel Podolsky

Не знаю

0

7 месяцев назад

Andrey Vesnin

Можно попробовать обрабатывать и логировать ответ nginx. Очень любопытно: какая цель логирования всех ответов?

0

7 месяцев назад

The Zazaeil

В общем, более-менее тривиально если нет запроса на риалтайм. Встроится каким-нибудь интерцептором или мидлтварью в точку, где TLS уже отработал, проверить размер тела по заголовку и если он попадает в ожидаемые границы, то асинхронно считать его до конца, сжать и сложить в опративку. Далее по таймеру или по наполнению регулярно дампить эти данные - куда не суть важно, значимеем батчинг, чтобы размер батча бодро бежал по проводам. Не забыть реализовать backoff: если буфер уже полный и не успевает дампиться, то, например, просто выбрасывать самые старые сообщения и использовать новые (для чего складывать бы изначально неплохо в какое-то дерево, типа BST с приколами). Синхронизировать через RWLock.

0

7 месяцев назад

The Zazaeil

The Zazaeil
В общем, более-менее тривиально если нет запроса н...

Другой типичный вариант: иметь два буфера (текущий, прежний) и атомарно менять ссылку между ними. Прежний буфер сериализовать и дампить, это если надо оптимизировать под быструю запись без конфликтов с чтением. Тут бэкофф будет сложнее чуть, а само переключение надо сделать через atomix exchange.

0

7 месяцев назад

Максим Федоров

эту статью видели? https://dev.to/mizutani/zlog-secure-logger-in-go-to-prevent-output-of-sensitivesecret-values-394d

0

7 месяцев назад

Максим Федоров

Максим Федоров
эту статью видели? https://dev.to/mizutani/zlog-...

сложность именно в неопределенном теле респонса?

0

7 месяцев назад

Alexander