184 похожих чатов

А подскажите, если есть на одном железном сервере 2 отдельных

проца (Debian10) и на этом сервере единнолично установлен демон ClickHouse (все только для него). То есть ли возможность допустим сказать ClickHouse использовать лишь один процессор из 2х.
Или допустим как-то отключить гипертрейдинг (может кто-то эксперементировал с производительностью)?

24 ответов

14 просмотров

вы не в ту сторону думаете, надо наоборот. Clickhouse создан для MPP (Massively Parallel Processing), и прежде всего в кластерной конфигурации. Но можно и односерверные. Однако там внутри все сделано для паралелизации - паралельное чтение, паралельные вычисления с мерджем данных ближе к концу пайплайна. Поэтому 1 процессор - это издевательство. Поставьте лучше mysql. сервер для clickhouse лучше начинать строить с 4-х процессоров. Пусть даже с гипертредингом. Но лучше больше. По мере необходимости добавлять ещё сервера.

можете конечно попробовать: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux_for_real_time/7/html/tuning_guide/isolating_cpus_using_tuned-profiles-realtime

Boris
вы не в ту сторону думаете, надо наоборот. Click...

но все же, clickhouse может подходить для накапливания относительно небольшого кол-ва данных за у.е. времени и последующего анализа в рамках одной машины с небольшим кол-ом ядер? Преимущественно для личного использования. Мне кажется, что и для подобных кейсов он может подойти, хоть и рассчитан на работу в кластерах.

Sevapp
но все же, clickhouse может подходить для накаплив...

думаю, что на одном ядре он точно также обгонит oltp сервера, как и на нескольких - ес-но на аналитических запросах

Bulat Ziganshin
думаю, что на одном ядре он точно также обгонит ol...

У меня вот такая история: есть небольшой сервис. Каких-то прям больших нагрузок нет, накапливаю около 10-20gb логов пользовательских событий в месяц. Я их переодически выгружаю, архивирую и дамплю в S3 и на свои HDD. Соотвествтенно, если мне надо их проаналазировать - это превращается в ад с текстовым поискам по кучи архивам. Какое-то серьезное облачное решение для хостинга CH я себе позволить на данном этапе не могу, но предполагаю, что могу связать свой сервис и писать из него логи в локально развернутый CH на одной машине. Какого-то большого кол-ва запросов на чтение быть не может, но вот иметь под рукой полноценный SQL для более удобного анализа данных хочется. Подойдет ли мне для таких целей CH?

Sevapp
У меня вот такая история: есть небольшой сервис. К...

В целом можно, Некоторые идеи можно почерпнуть отсюда, https://eng.uber.com/logging/ И даже выгрузку на с3 можно настроить

Sevapp
У меня вот такая история: есть небольшой сервис. К...

можно взять самую дешёвую виртуалку в хецнере (3.5 евро). поднять там кликхаус. примаунтить диск по цене 4 цента за гигабайт.

Sevapp
У меня вот такая история: есть небольшой сервис. К...

по-моему тебе это нужно https://clickhouse.com/docs/ru/operations/utilities/clickhouse-local/

Sevapp
У меня вот такая история: есть небольшой сервис. К...

Может ES + кибана лучше? Логи в КХ без сложностей с материализацией превращаются в match(log_column, “regex”). 10-20ГБ не так много на самом деле.

Vladimir Goncharov
можно взять самую дешёвую виртуалку в хецнере (3.5...

в этом нет смысла если не нужно обеспечивать доступность через инет

Bulat Ziganshin
в этом нет смысла если не нужно обеспечивать досту...

Не нужно, да. Но смысл может быть в другом: поддержка работы локальной машины, желательно с парой жд в raid и ее мониторинг - требует навыков, внимания, времени. Но у меня пока не тот уровень, чтобы сильно запариваться, а вот удобство хочется

Bulat Ziganshin
hdd у хетцнера нет на виртуалках

SSD для моих задач довольно дорогими выходят( Да и смысла нет в них в данном случае

Sevapp
SSD для моих задач довольно дорогими выходят( Да и...

делить один hdd с десятком других пользователей хостинга - так себе идея. я 10 лет назад с таким имел дело :))

yakimka
по-моему тебе это нужно https://clickhouse.com/d...

уж лучше s3 движок, он локально хранит индексы, чтобы не приходилось перелопачивать все файлы на каждый чих https://clickhouse.com/docs/ru/engines/table-engines/integrations/s3/

Bulat Ziganshin
делить один hdd с десятком других пользователей хо...

про тот диск, который я писал - он сетевой, там иопсы режутся. разделение между пользователями такое же как у амазона и вроде там никто не жаловался :)

Sevapp
У меня вот такая история: есть небольшой сервис. К...

Зависит от контекстов ваших поисковых запросов, т.е. какие ожидаются, сколько необходимо rps/qps/etc. Если просто хранить без полнотекстового поиска и постоянных аналитических целей, - хватит даже PostgreSQL, прастити

critskiy
Зависит от контекстов ваших поисковых запросов, т....

хранить то можно и в постгресе и даже в эластике, но совершенно неэффетивно ни по деньгам ни по времени обработки запроса. если даже раз в сто лет запускать что-то, то гораздо приятнее получить ответ в течение секунды, а не ждать несколько минут.

Vladimir Goncharov
хранить то можно и в постгресе и даже в эластике, ...

ну вот, а определение бизнес-логики, простых требований и примерного тела запросов, - одна из первоочередных задач

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта