схему сбора логов с веб-серверов: filebeat -> logstash -> rabbitmq <- logstash -> clickhouse. Пока в тестовом режиме работает. Немного сложноватая схема, но есть требования по работе в dmz. У раббита обработка 7к сообщений в сек. В графане данные показываются практически в реалтайме. Полугигабайтные логи IIS сжимаются в кх в 20 раз! И это ещё без оптимизации структуры таблицы. Но у меня есть немного странный вопрос по эксплуатации: Насколько безопасно использовать кх в системах виртуализации? Или, другими словами, может ли кх, например, привести к повреждениям жестких дисков или процессора на гипер-визоре из-за низкоуровневых оптимизаций в коде?
нет, не может. КХ это обычное приложение которое работает в userspace и не может повредить память ядра (такое могут сделать только драйвера работающие на уровне kernel space). Низкоуровневые оптимизации ничего не меняют, КХ может повредить диск или память ядра точно также как calc.exe (никак). Но есть баги, например в старых ядрах есть баги в ext4, которые ведут к read-only filesystem при активном i/o (ext4_validate_inode_bitmap:96: comm AsyncBlockInput: Corrupt inode bitmap - block_group), это не вина КХ, также точно может стригерить баг любая другая программа.
Обсуждают сегодня