184 похожих чатов

React — русскоговорящее с... React — русскоговорящее с...
Android Developers Android Developers
Python Python
Vue.js — русскоговорящее ... Vue.js — русскоговорящее ...
supapro.cxx supapro.cxx
DotNetRuChat DotNetRuChat
GNU/Linux Help GNU/Linux Help
Telegram Developers Telegram Developers
Node.js — русскоговорящее... Node.js — русскоговорящее...
DevOps — русскоговорящее ... DevOps — русскоговорящее ...
JavaScript Noobs — сообще... JavaScript Noobs — сообще...
Django [ru] Django [ru]
Go-go! Go-go!
Angular - русскоговорящее... Angular - русскоговорящее...
ntwrk ntwrk
Верстка сайтов HTML/CSS/J... Верстка сайтов HTML/CSS/J...
phpGeeks phpGeeks
Kubernetes — русскоговоря... Kubernetes — русскоговоря...
Битрикс для разработчиков Битрикс для разработчиков
MODX. Русскоязычное сообщ... MODX. Русскоязычное сообщ...
pgsql – PostgreSQL pgsql – PostgreSQL
Laravel Pro Laravel Pro
iOS Developers — русского... iOS Developers — русского...
ClickHouse не тормозит ClickHouse не тормозит
Rust — русскоговорящее со... Rust — русскоговорящее со...
JavaScript — русскоговоря... JavaScript — русскоговоря...
С# С#
pro.cxx pro.cxx
pro.jvm pro.jvm
React Native — русскогово... React Native — русскогово...
Devs Chat Devs Chat
Docker — русскоговорящее ... Docker — русскоговорящее ...
HTML/CSS — русскоговоряще... HTML/CSS — русскоговоряще...
Python beginners Python beginners
🐧 RU.UBUNTU — Официальное... 🐧 RU.UBUNTU — Официальное...
Kotlin Community Kotlin Community
Embedded Group Embedded Group
Чат экстремального погром... Чат экстремального погром...
aiogram aiogram
Scala User Group Scala User Group
Haskell Haskell
PHP PHP
TypeScript TypeScript
Клуб Vue.js-разработчиков Клуб Vue.js-разработчиков
Xamarin Developers (MAUI,... Xamarin Developers (MAUI,...
F# Chat F# Chat
Svelte [svelt] - All abou... Svelte [svelt] - All abou...
Системное администрирован... Системное администрирован...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
nginx_ru nginx_ru
var chat = new Chat(); var chat = new Chat();
Data Science Chat Data Science Chat
Ассемблер Ассемблер
Android Architecture Android Architecture
Laravel для начинающих Laravel для начинающих
Церковь метрик Церковь метрик
Dart & Flutter Dart & Flutter
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
☁️ AWS_RU ☁️ AWS_RU
pro.elixir pro.elixir
Python Flask Python Flask
PostgreSQL + 1C + Linux PostgreSQL + 1C + Linux
SAP ABAP SAP ABAP
R (язык программирования) R (язык программирования)
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
learn.java learn.java
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
Delphi & Lazarus Delphi & Lazarus
SwiftBook SwiftBook
Solidity Development Solidity Development
Evolution CMS официальное... Evolution CMS официальное...
pro.net (former COM+) pro.net (former COM+)
OpenStreetMap RU OpenStreetMap RU
Visual Studio Code — русс... Visual Studio Code — русс...
ru_mysql ru_mysql
pro.lua pro.lua
Dart / Flutter Dart / Flutter
GraphQL — русскоговорящее... GraphQL — русскоговорящее...
pro.Asm pro.Asm
IDE и редакторы — русског... IDE и редакторы — русског...
OpenCartForum - 🇺🇦🇪🇺Чат O... OpenCartForum - 🇺🇦🇪🇺Чат O...
Angular.js (1.x) — русско... Angular.js (1.x) — русско...
Frontend_ru Frontend_ru
Lame C Lame C
Flutter Developers — русс... Flutter Developers — русс...
AutoIT RU AutoIT RU
AI / Искусственный Интелл... AI / Искусственный Интелл...
dlang.ru dlang.ru
Laravel Framework Russian... Laravel Framework Russian...
WebPwnChat WebPwnChat
Чат — Верстка Сайтов и Фр... Чат — Верстка Сайтов и Фр...
pro.python pro.python
Java Underground Java Underground
Natural Language Processi... Natural Language Processi...
javascript_ru javascript_ru
SqlCom.ru - сообщество MS... SqlCom.ru - сообщество MS...
Cinema 4D Cinema 4D
Delphi Community Delphi Community
pro.vim pro.vim
Server Side Swift Develop... Server Side Swift Develop...
Autohotkey_RU ( v1 & v2 ) Autohotkey_RU ( v1 & v2 )
PHP DevConf KZ🇰🇿 PHP DevConf KZ🇰🇿
Modern::Perl Modern::Perl
pro.rb (Ruby/Rails / RU) pro.rb (Ruby/Rails / RU)
RubyRush.ru RubyRush.ru
Oracle RU Oracle RU
ru.nim.talks ru.nim.talks
DevOps DevOps
Odoo talks & fun Odoo talks & fun
Software Design/Architect... Software Design/Architect...
sql_ninja sql_ninja
werf (чат) werf (чат)
AndroidDev Pro:: Професси... AndroidDev Pro:: Професси...
WordPress for developers WordPress for developers
dbGeeks dbGeeks
PowerShellRus - о Powersh... PowerShellRus - о Powersh...
Haskell Start Haskell Start
Эльбрусы и с чем их едят Эльбрусы и с чем их едят
Java/Kotlin and more Java/Kotlin and more
pro.buildsystems pro.buildsystems
React: русскоязычное сооб... React: русскоязычное сооб...
Powershell Rus Powershell Rus
ErlangRus ErlangRus
Python для анализа данных Python для анализа данных
Скрипты Гугл, Таблицы, Go... Скрипты Гугл, Таблицы, Go...
opencv_ru opencv_ru
WebGL ru WebGL ru
Compiler Development Compiler Development
firebase_ru — русскоговор... firebase_ru — русскоговор...
Electron.js Electron.js
phpclub.ru phpclub.ru
RU.CRYPTOGRAPHY — Криптог... RU.CRYPTOGRAPHY — Криптог...
pro.osdev - os developmen... pro.osdev - os developmen...
MySQL MySQL
Это RabbitMQ Это RabbitMQ
Lame C++ Lame C++
QA juniors QA juniors
GameDev for Web GameDev for Web
Go Get A Job Go Get A Job
PostgreSQL (English) PostgreSQL (English)
Ember_js Ember_js
Tilda Developers Tilda Developers
RU.Docker — Официальное Р... RU.Docker — Официальное Р...
Emacs — русскоговорящее с... Emacs — русскоговорящее с...
catboost_ru catboost_ru
FreePascal & Lazarus FreePascal & Lazarus
Язык программирования Jul... Язык программирования Jul...
WordPress – русскоговорящ... WordPress – русскоговорящ...
Kaggle Kaggle
Django Django
sentry_ru sentry_ru
ReasonML и OCaml ReasonML и OCaml
WebAssembly — русскоговор... WebAssembly — русскоговор...
ansible — русскоговорящее... ansible — русскоговорящее...
Сrystal Lang — русскогово... Сrystal Lang — русскогово...
aiohttp aiohttp
Clojure — русскоговорящее... Clojure — русскоговорящее...
heroku_ru heroku_ru
PowerShell Pro PowerShell Pro
macOS Developers — русско... macOS Developers — русско...
systemd systemd
use Perl or die; use Perl or die;
FORTH и родственные ЯП FORTH и родственные ЯП
Natural Language Processi... Natural Language Processi...
ru_jenkins ru_jenkins
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
CatBoost CatBoost
CyberBiology CyberBiology
Sequelize - community (en... Sequelize - community (en...
ScyllaDB ScyllaDB
sonarqube_ru sonarqube_ru
Elm Lang сообщество разра... Elm Lang сообщество разра...
SublimeText_RU SublimeText_RU
NativeScript NativeScript
WordPress CodeRun WordPress CodeRun
ReactiveX - русскоговорящ... ReactiveX - русскоговорящ...
PureScript — русскоговоря... PureScript — русскоговоря...
#Вайти #Вайти
Эликсир и Вунш Эликсир и Вунш
Cassandra Cassandra
ClickHouse не тормозит ClickHouse не тормозит
krn-p

Господа. а как вы пишете сиды для тестирования кликхаус кверей?


в в распоряжении кх19.7, нода.
проблема в том, что сейчас сиды у меня прописаны в виде массива массивов.
вида
[
['john', 'doe', 75]
]
отдельно существует объект для маппинга, вида
{
name: 'String',
surname: 'String',
age: 'UInt8'
}
как вы понимаете, там колонок 50 в каждой записи.
так что поддерживать весь этот зоопарк становится накладно, ибо приходится буквально считать запятые, чтобы воткнуть какое-то значение на какое-нибудь место

#backend #clickhouse #database #devops #programming #russian
0

14 ответов

43 просмотра
Denny-[Altinity]

храним в выделенных колонках в КХ или в "json" в монге

0
04.10.2020
krn-p Автор вопроса
Denny [Altinity]
храним в выделенных колонках в КХ или в "json" в м...

уже перегнал всю эту дрянь в json. стало гораздо менее противно работать с данными. новая повестка дня - словари 😄 где вы их храните? тоже в монге ?

0
04.10.2020
Denny-[Altinity]
krn p
уже перегнал всю эту дрянь в json. стало гораздо ...

у меня все словари http, без понятия что там за http, вроде mysql

0
04.10.2020
krn-p Автор вопроса
Denny [Altinity]
у меня все словари http, без понятия что там за ht...

то есть локально даже для тестов не держите ?

0
04.10.2020
Denny-[Altinity]
krn p
то есть локально даже для тестов не держите ?

для тестов в файлах, tsv, т.е. бекэнд словарей возвращает tsv через http, поэтому для тестов легче всего просто курлом в файл сложить

0
04.10.2020
Denny-[Altinity]
krn p
уже перегнал всю эту дрянь в json. стало гораздо ...

в какой-то момент ваша колонка с json станет размером 200ГБ, любые запросы будут работать 200+ сек.

0
04.10.2020
krn-p Автор вопроса
Denny [Altinity]
в какой-то момент ваша колонка с json станет разме...

честно говоря, тестиков пока мало, и много вроде не предвидится. но то, что было до этого, было невероятно отвратительно

0
04.10.2020
krn-p Автор вопроса
Denny [Altinity]
в какой-то момент ваша колонка с json станет разме...
screenshot

попробуйте представить, как клево менять данные при таком раскладе :D

0
04.10.2020
Denny-[Altinity]
krn p
честно говоря, тестиков пока мало, и много вроде н...

просто не надо рассчитывать что КХ будет работать с неструктурированными данными, ну не будет он, будет просто тормозить, потому что просто прочитать с диска такую суперколонку невыносимо долго, потом распаковать, потом отфильтровать.

0
04.10.2020
Denny-[Altinity]
krn p
screenshot попробуйте представить, как клево менять данные пр...

менять????? возьмите монгу. КХ тут не подходит.

0
04.10.2020
krn-p Автор вопроса
Denny [Altinity]
просто не надо рассчитывать что КХ будет работать ...

а, нене, вы меня не так поняли) я вынес сиды с пика выше в отдельный json файл так что в кликхаусе они все складываются как нужно, по колонкам а жаловался я на то, что json по размеру получается в разы больше, чем аналогичный csv (или около того, как на пике выше, опять же)

0
04.10.2020
krn-p Автор вопроса
Denny [Altinity]
я не знаю что такое "сид", "пик"

seed - это некоторые данные для тестовой базы. грубо говоря чтобы проверить select * from tbl нужно сперва эту tbl чем- то заполнить. вот сиды - как раз такие вот дерьмовые данные для тестов. а пик - пикча, картинка выше крч

0
04.10.2020

Похожие вопросы

ClickHouse не тормозит ClickHouse не тормозит / unhingedlunatic
Подписаться

Исходя из ваших комментариев, получается, что чтобы получить марты в CH из данных в PG, неправильно тянуть сырые данные в CH и там их обрабатывать, лепить справочники и джойни...

#backend #clickhouse #database #devops #programming #russian
12.11.2023
0
42 ответов
ClickHouse не тормозит ClickHouse не тормозит / Maria Besedina
Подписаться

Доброе утро, коллеги! Может вы что-то подскажите по следующей ситуации. Загружаем словари в витрины в CH по следующему алгоритму: - создали 2 таблицы с одинаковой структурой: ...

#backend #clickhouse #database #devops #programming #russian
27.10.2023
0
27 ответов
ClickHouse не тормозит ClickHouse не тормозит / 为什么要翻译 .
Подписаться

Всем привет, обновил clickhouse на локальном компьютере, теперь он не поднимается, валится с ошибкой: 2023.11.15 10:53:11.735595 [ 8069 ] {} <Error> Application: Code: 48. DB...

#backend #clickhouse #database #devops #programming #russian
15.11.2023
0
17 ответов
ClickHouse не тормозит ClickHouse не тормозит / Алексей Чернов
Подписаться

Всем привет. В настоящее время в Клике происходит рассинхрон данных между таблицей и её проекцией, из-за чего запрос может вернуть одну и ту же строку с разными данными в зави...

#backend #clickhouse #database #devops #programming #russian
05.09.2023
0
2 ответов
ClickHouse не тормозит ClickHouse не тормозит / Sergey Fedyanov
Подписаться

Добрый днь! Конфигурация: - k8s - ClickHouse Operator 0.12.0 provided by Altinity - ClickHouse server version 22.11.6 revision 54460. В манифесте: kind: "ClickHouseInstallati...

#backend #clickhouse #database #devops #programming #russian
06.09.2023
0
3 ответов
ClickHouse не тормозит ClickHouse не тормозит / Sergey Smirnov
Подписаться

SSIS выгрузка из Clickhouse данных типа string. Висит на стороне SSIS. Вижу с помощью Wireshark, что Clickhouse отдает все правильно. SSIS висит на обработке столбца типа DT_T...

#backend #clickhouse #database #devops #programming #russian
14.06.2023
0
45 ответов
ClickHouse не тормозит ClickHouse не тормозит / Clir
Подписаться

Добрый день. Много раз уже обсуждали проблему No active replica has part и зависшие парты в replication_queue. Всегда предлагаете решение detach+attach+system restart replica ...

#backend #clickhouse #database #devops #programming #russian
06.11.2023
0
28 ответов
ClickHouse не тормозит ClickHouse не тормозит / Igor Gorbenko
Подписаться

Всем привет! Столкнулись с такой проблемой, связанной с чтением данных из S3. Мы читаем данные из parquet файлов, используя табличный движок S3 и вставляем в целевую таблицу д...

#backend #clickhouse #database #devops #programming #russian
22.08.2023
0
1 ответов
ClickHouse не тормозит ClickHouse не тормозит / Асель Магжанова
Подписаться

Всем привет! помогите, пожалуйста, разобраться с проблемой: внеапно в логах появились ошибки вида: 0. DB::Exception::Exception(DB::Exception::MessageMasked&&, int, bool) @ 0xd...

#backend #clickhouse #database #devops #programming #russian
04.10.2023
0
7 ответов
ClickHouse не тормозит ClickHouse не тормозит / Stas Dombrovskyi
Подписаться

Всем привет. Кто-то использует вот такой бутстрап схем/таблиц в кликхаус в кубере? https://github.com/Altinity/clickhouse-operator/blob/master/docs/chi-examples/02-templates-0...

#backend #clickhouse #database #devops #programming #russian
03.11.2023
0
22 ответов
Смотреть еще
ClickHouse не тормозит ClickHouse не тормозит
Подписаться
Вопросов 34756
Ответов 72457
Участников 8768
Telegram @clickhouse_ru

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта