ибо не хватает познаний во встроенных агрегирующих функциях 🙁
дано: 3 таблицы:
1) traffic - траффик с фаервола с разобранными по типам пакетами и количеством отправленных/полученных Bytes + ip-адреса
2) dns - сопоставление ip-адреса и dns-имени
3) windows_security - логи windows с логинами пользователей и dns-именами компьютеров
само-собой в каждой таблице имеется EventTime
нужно: отобразить таблицу с логинами пользователей, что запускали torrent-ы в выбранный промежуток времени ( конечная цель - grafana )
предполагаемый порядок действий следующий:
1) выбрать логины пользователей за указаный промежуток времени ( поля Login + ComputerName )
2) добавление в выборку к ComputerName информации о ip-адресе компьютера поле IP ( из таблицы dns )
3) добавление к выборке по полю IP из таблицы traffic информации о наличии трафика по протоколу torrent
но, данный порядок затрагивает лишь доменные windows компьютеры , а по факту может оказаться, что torrent запускались на условно серверах, что не прописаны в dns.
поэтому, есть второй порядок действий, который частично уже работает:
1) выбрать информацию о наличии torrent траффика c полями ip-адрес MegaBytesSent MegaBytesReceived MegaBytes
2) добавление в выборку к ip-адресу информации ComputerName ( из таблицы dns )
3) выбрать логины пользователей за указаный промежуток времени что пользовали torrent
Тот запрос, что имеется к настоящему моменту. частично работает, но, не предполагает того, что в обозначеный промежуток времени terrent-траффик суммируется и не предполагает что за обозначенный промежуток времени за компьютером могли работать несколько пользователей.
SELECT
IP,
ComputerName,
MegaBytesSent,
MegaBytesReceived,
MegaBytes,
TargetUserName
FROM
(
SELECT
IP,
ComputerName,
MegaBytesSent,
MegaBytesReceived,
MegaBytes
FROM
(
SELECT
IP,
(sum(Bytes) / 1000000) AS MegaBytes,
(sum(BytesSent) / 1000000) AS MegaBytesSent,
(sum(BytesReceived) / 1000000) AS MegaBytesReceived,
FROM
traffic
WHERE
EventDate BETWEEN today() - 2 AND today()
AND Application = 'torrent'
AND IP LIKE '192.%'
GROUP BY
IP
HAVING
MegaBytes > 10
) ANY
LEFT JOIN (
SELECT
IP,
ComputerName
FROM
dns
) USING (IP)
) ANY
INNER JOIN (
SELECT
EventTime,
ComputerName,
TargetUserName
FROM
windows_security
WHERE
EventDate BETWEEN today() - 2 AND today()
AND EventID = 4624
AND (
LogonType = '7'
OR LogonType = '2'
)
) USING ComputerName
Какими еще функциями следует воспользоваться, чтобы сделать такую хитрую сортировку?
Если кто-то сталкивался с аналогичными задачами, то, можете просто накидать полезных для меня функций.
По хорошему надо все это собрать в одну таблицу еще до КХ (на этапе ETL). А так, надо сначало сджойнить, а потом уже считать sum (группировать). Для джойна по несовпадающим промежуткам времени можно округлять (например до часа) или использовать ASOF JOIN.
Обсуждают сегодня