Похожие чаты

Ребята привет, вопросик такой (возможно не по теме): у нас

ребята в проекте хотят слать напрямую в ES аудит логи. Какие могут быть риски ? Вообще я чувствую, мне хотелось бы заюзать как то nginx тут и просто проксировать траффик на еластиксерч, возможно на уровне нжинкс можно сделать какой то редирект трафика в бэкграунд режиме ? А сервера, которые за апи отвечают хотелось бы освободить от такой работы

11 ответов

37 просмотров

imho никаких рисков. Ведь и logstash и filebeat тоже льют напрямую в ES и он как-то справляется...

Сергей Голод
imho никаких рисков. Ведь и logstash и filebeat то...

Да лааадно, начнут слать по одному документу за запрос - придёт труба эластику. Начнут ещё какое-то говно делать - тоже будет весело, и зарезать может быть нетривиальная задача. А если надо что-то потом изменить - ух весёлая задачка без промежуточного звена

в исходном сообщении не указано как будут лить)) Может и через bulk. Но я бы отправлял по классике - в логстэш, а он уже сам разберётся

Вот именно что не сказано, а Вы бодро человеку заявляете что никаких рисков :)

Alex Tkachuk
Вот именно что не сказано, а Вы бодро человеку зая...

у меня есть пример под рукой где с эластиком работают и напрямую, без bulk api. Пару тысяч ops держит. Рисков не вижу - потребуется, будем переписывать на bulk методы

Серж-ИзТанзании Автор вопроса
Сергей Голод
в исходном сообщении не указано как будут лить)) М...

сорян, глупый вопрос - logstash делает все операции с логами в фоновом режиме ? то есть когда ему шлются какие то данные, он их куда то складирует и потом шлет в фоновом режиме ?

Серж ИзТанзании
сорян, глупый вопрос - logstash делает все операци...

Он умеет аггрегировать в памяти и отсылать пачкой (делает это по умолчанию). Касательно складирования на диске - по умолчанию не делает вроде, но такой функционал есть, кажется persistent queue называется

Серж-ИзТанзании Автор вопроса
Alex Tkachuk
Он умеет аггрегировать в памяти и отсылать пачкой ...

я имею ввиду - чтобы он не делал эти операции - отсылку в еластиксерч прямо во время приема данных, чтобы не замедлять работу приложения, которое ему туда шлет что то

Серж ИзТанзании
сорян, глупый вопрос - logstash делает все операци...

он может сложить их в постоянную очередь рядом с собой, может сразу пачкой(подержав чуток в памяти) отправить напрямую в ES, может сложить в кафку.

Серж ИзТанзании
сорян, глупый вопрос - logstash делает все операци...

но для приложения отправившего логи в логстэш это уже будет фоновый режим, да

Похожие вопросы

Обсуждают сегодня

Ready for some fun AND a chance to win TKO Tokens? Join us for exciting minigames in our Telegram group! 🕒 Don’t miss out—games start on today 25 October 2024, at 8 PM! Ge...
Milkyway | Tokocrypto
255
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
How are we going bro about the Raids ??
🅿️abby_FX
13
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Keep saying it, it’s Trump or WW3. Iran will be emboldened if Harris wins by cheating. Israel will have to take the initiative against Iran. How has BTC faired everytime the...
Adz | Ferrum Network Product & Service Consultant @ Ferrum Network
1
Коллеги, добрый вечер. Создаю коллекцию от TFPGMap, ключ - перечисление, значение - целое. Нужно отсортировать коллекцию по значению. Как это можно сделать?
Kirill Filippenok
11
Карта сайта