по размеру с сетевыми пакетами, прямой связи тут вообще нет. Вы лучше считайте сколько самописная прога отправляет.
Ну и второй момент:
> в кибане отображаются те же 40 тысяч пакетов, но кибана показывает 24 тысячи документов
Вот это что значит? Где там отображаются пакеты и где документы?
Ага, тоже вопрос интересный. + В пакетиках то помимо полезных данных всякие syn, ретрансмиты, etc
Извините, возможно не так выразился. Я имел в виду что в каждом пакете в одном поле есть счётчик и в нем значение 40 тысяч, то есть все пакеты с генератора пакетов дошли до elk и отобразились в кибане.
Вообще-то нет, это значит что самый последний пакет со значением 40000 дошёл, сколько предыдущих потерялось - это другой вопрос.
проверьте количество документов в индексе, если их 40к - значит всё дошло
Судя по счётчиком пакеты не потерялись, все 40 тыс дошли. Просто количество документов во временном промежутке в котором работал генератор пакетов значение hits в разделе discovery меньше. Но судя по тому что тут подсказали это норма, осталось понять механизм подсчёта этих hits
До куда дошли? До сетевого интерфейса возможно. До индекса в эластике, судя по всему, нет. Впрочем, может у вас там реально фильтр по времени стоит в кибане и показывает меньший промежуток, чем нужно.
для наглядности, вот поле в котором передается порядковый номер пакета которые сгенерирован прогой, этот скрин из кибаны
Обсуждают сегодня