184 похожих чатов

Коллеги, привет. Стоит задача протестировать готовность инфраструктуры для работы с ClickHouse

(vCPU, диски, сеть).
Реальных данных нет, нужны синтетические тесты.
Посоветуйте, пожалуйста, что лучше использовать из готовых тестов?

20 ответов

21 просмотр

виктория либо прометеус есть? какое ядро? ebpf стоит? какое железо,

тестировать надо отдельно cpu, отдельно память отдельно сеть отдельно диски, обязательно надо ebpf exporter

Igor-Chizhov Автор вопроса
Старый Хрыч
тестировать надо отдельно cpu, отдельно память отд...

Возможно, неправильно сформулировал изначально, сорри. Просто гонять викторию задачи нет. Задача именно развернуть CH и прогнать тесты типа TPC-DS.

Igor-Chizhov Автор вопроса

можно тут поискать https://benchmark.clickhouse.com/ https://github.com/ClickHouse/ClickBench/

Алексей
можно тут поискать https://benchmark.clickhouse.c...

ну вот зачем давать плохие советы. а потом люди сидят без мониторинга и не понимают что происходит

Старый Хрыч
ну вот зачем давать плохие советы. а потом люди си...

если в облаке, то базовые мониторинги есть, на хосты там все равно не пустят. тесты можно взять по ссылкам

если реальных данных нет, а запросы реальные и приложение есть?

Igor-Chizhov Автор вопроса
Slach [altinity]
если реальных данных нет, а запросы реальные и при...

Ничего нет. Есть некие виртуальные машины в облаке, на которые нужно накатить кликхаус и посмотреть, как он работает на них. Найти узкие места.

Igor-Chizhov Автор вопроса
Старый Хрыч
это делается не через кликхаус

Не через кликхаус уже сделано до нас, по железу вроде бы все ок. Потом ставишь тот же GP, даёшь нагрузку и начинается, диски не успевают, сеть лагает и полно сетевых ошибок.

Старый Хрыч
это делается не через кликхаус

а чере что? ну чего вы ерунду говорите... если основное приложение на хостах кликхаус... то на него и надо нагрузку давать какую-то... другое дело что давать синтетическую нагрузку... без привязки к реальной... бесполезно... синтетическую дают. чтобы просто сравнивать между собой разные серваки \ разный софт ... например, типа вот тут попугаев RPS больше... а latency меньше...

Igor Chizhov
Не через кликхаус уже сделано до нас, по железу вр...

не может такого быть если тестили с ebpf+iperf и гоняли тесты для дисков и проца, ebpf это сразу показал бы от какой нагрузки начнутся ошибки

эмм, ничего нет, - это странно, бенчмаркать без подобия реальных данных ну токое

Igor-Chizhov Автор вопроса

Уточню, что гоняли, с нами не делились подробностями. Спасибо за мнение!

critskiy
эмм, ничего нет, - это странно, бенчмаркать без по...

стандартная тема в конторах без мониторинга, мы хости типа проверили, заббикс не ругается на состояние покоя, а дальше ставят софт и оказывается, что при нагрузкке в 2 гбита в сек, сеть ложится(частая проблема например в яндекс облаке)

Igor Chizhov
Уточню, что гоняли, с нами не делились подробностя...

эксплукатировать гп и клик без ebpf настроенного суицид в принципе

Igor-Chizhov Автор вопроса
critskiy
эмм, ничего нет, - это странно, бенчмаркать без по...

Скажем так, в будущем на этой инфре может быть несколько совершенно разных кластеров для разных проектов. Если не будет выявлено критических препятствий для этого.

Igor Chizhov
Скажем так, в будущем на этой инфре может быть нес...

вам ничем не помогут синтетические тесты, особенно весело, когда ваши 3-6 вм попадают на 1 хост, и проц в ауте хотя свободен на 3 из 4 вм

Igor-Chizhov Автор вопроса
Старый Хрыч
эксплукатировать гп и клик без ebpf настроенного с...

Понял, отметил, буду уточнять. Но с учётом того, что GP скорее жив - всё это есть.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта