184 похожих чатов

А подскажите, если есть на одном железном сервере 2 отдельных

проца (Debian10) и на этом сервере единнолично установлен демон ClickHouse (все только для него). То есть ли возможность допустим сказать ClickHouse использовать лишь один процессор из 2х.
Или допустим как-то отключить гипертрейдинг (может кто-то эксперементировал с производительностью)?

24 ответов

7 просмотров

вы не в ту сторону думаете, надо наоборот. Clickhouse создан для MPP (Massively Parallel Processing), и прежде всего в кластерной конфигурации. Но можно и односерверные. Однако там внутри все сделано для паралелизации - паралельное чтение, паралельные вычисления с мерджем данных ближе к концу пайплайна. Поэтому 1 процессор - это издевательство. Поставьте лучше mysql. сервер для clickhouse лучше начинать строить с 4-х процессоров. Пусть даже с гипертредингом. Но лучше больше. По мере необходимости добавлять ещё сервера.

можете конечно попробовать: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux_for_real_time/7/html/tuning_guide/isolating_cpus_using_tuned-profiles-realtime

Boris
вы не в ту сторону думаете, надо наоборот. Click...

но все же, clickhouse может подходить для накапливания относительно небольшого кол-ва данных за у.е. времени и последующего анализа в рамках одной машины с небольшим кол-ом ядер? Преимущественно для личного использования. Мне кажется, что и для подобных кейсов он может подойти, хоть и рассчитан на работу в кластерах.

Sevapp
но все же, clickhouse может подходить для накаплив...

думаю, что на одном ядре он точно также обгонит oltp сервера, как и на нескольких - ес-но на аналитических запросах

Bulat Ziganshin
думаю, что на одном ядре он точно также обгонит ol...

У меня вот такая история: есть небольшой сервис. Каких-то прям больших нагрузок нет, накапливаю около 10-20gb логов пользовательских событий в месяц. Я их переодически выгружаю, архивирую и дамплю в S3 и на свои HDD. Соотвествтенно, если мне надо их проаналазировать - это превращается в ад с текстовым поискам по кучи архивам. Какое-то серьезное облачное решение для хостинга CH я себе позволить на данном этапе не могу, но предполагаю, что могу связать свой сервис и писать из него логи в локально развернутый CH на одной машине. Какого-то большого кол-ва запросов на чтение быть не может, но вот иметь под рукой полноценный SQL для более удобного анализа данных хочется. Подойдет ли мне для таких целей CH?

Sevapp
У меня вот такая история: есть небольшой сервис. К...

В целом можно, Некоторые идеи можно почерпнуть отсюда, https://eng.uber.com/logging/ И даже выгрузку на с3 можно настроить

Sevapp
У меня вот такая история: есть небольшой сервис. К...

можно взять самую дешёвую виртуалку в хецнере (3.5 евро). поднять там кликхаус. примаунтить диск по цене 4 цента за гигабайт.

Sevapp
У меня вот такая история: есть небольшой сервис. К...

по-моему тебе это нужно https://clickhouse.com/docs/ru/operations/utilities/clickhouse-local/

Sevapp
У меня вот такая история: есть небольшой сервис. К...

Может ES + кибана лучше? Логи в КХ без сложностей с материализацией превращаются в match(log_column, “regex”). 10-20ГБ не так много на самом деле.

Vladimir Goncharov
можно взять самую дешёвую виртуалку в хецнере (3.5...

в этом нет смысла если не нужно обеспечивать доступность через инет

Bulat Ziganshin
в этом нет смысла если не нужно обеспечивать досту...

Не нужно, да. Но смысл может быть в другом: поддержка работы локальной машины, желательно с парой жд в raid и ее мониторинг - требует навыков, внимания, времени. Но у меня пока не тот уровень, чтобы сильно запариваться, а вот удобство хочется

Bulat Ziganshin
hdd у хетцнера нет на виртуалках

SSD для моих задач довольно дорогими выходят( Да и смысла нет в них в данном случае

Sevapp
SSD для моих задач довольно дорогими выходят( Да и...

делить один hdd с десятком других пользователей хостинга - так себе идея. я 10 лет назад с таким имел дело :))

yakimka
по-моему тебе это нужно https://clickhouse.com/d...

уж лучше s3 движок, он локально хранит индексы, чтобы не приходилось перелопачивать все файлы на каждый чих https://clickhouse.com/docs/ru/engines/table-engines/integrations/s3/

Bulat Ziganshin
делить один hdd с десятком других пользователей хо...

про тот диск, который я писал - он сетевой, там иопсы режутся. разделение между пользователями такое же как у амазона и вроде там никто не жаловался :)

Sevapp
У меня вот такая история: есть небольшой сервис. К...

Зависит от контекстов ваших поисковых запросов, т.е. какие ожидаются, сколько необходимо rps/qps/etc. Если просто хранить без полнотекстового поиска и постоянных аналитических целей, - хватит даже PostgreSQL, прастити

critskiy
Зависит от контекстов ваших поисковых запросов, т....

хранить то можно и в постгресе и даже в эластике, но совершенно неэффетивно ни по деньгам ни по времени обработки запроса. если даже раз в сто лет запускать что-то, то гораздо приятнее получить ответ в течение секунды, а не ждать несколько минут.

Vladimir Goncharov
хранить то можно и в постгресе и даже в эластике, ...

ну вот, а определение бизнес-логики, простых требований и примерного тела запросов, - одна из первоочередных задач

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
7
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Добрый день, чат. Мне в очередь из других RabbitMQ по shovel валятся метрики в формате текста для Prometheus. Помогите пожалуйста подружить RabbitMQ и Prometheus, чтобы он (...
Aleksey
4
Карта сайта