184 похожих чатов

Приветствую, как из такого Json'а(String) оптимально можно удалить какой либо

параметры ?
{"cpuAbi":"arm64-v8a", "openGlVersion":"3.2", "screenResolution":"480"}

21 ответов

19 просмотров

Насколько помнится, в старых версиях КХ манипуляций с JSON кроме extract-функций нет

Константин- Автор вопроса
critskiy
Насколько помнится, в старых версиях КХ манипуляци...

Относительно новый кликхаус у меня. И проблем обновится нету.

Константин
Относительно новый кликхаус у меня. И проблем обно...

Насколько вижу по изменениям на githhub, такого рода функциональность не завезена вроде. Если не попробовать JSON_QUERY, но не вижу примеров удаления элемента с этим синтаксисом... Или можно попробовать создать таблицу с парсингом вашего JSON, куда переливать данные без ваших полей.🤔 https://github.com/ClickHouse/ClickHouse/pull/24148

если json именно такой простой, то я бы удалил регекспом. Или (что лучше) перевел бы его целиком в Map/массивы и работал бы с ним дальше уже в таком виде.

Константин- Автор вопроса
Константин
Он не всегда одинаковый :(

А валидации JSON не было со стороны клиента предусмотрено? (хотя о чем это я) Через ifNull можно попробовать, или при парсинге JSON через MV/ручками сделать Nullable data type с default полями. Можно ручками скрипт сделать, который удалять будет поля из JSON перед пушем в базу. Вариантов исполнения много.

critskiy
Насколько вижу по изменениям на githhub, такого ро...

нужен JSON_MODIFY, как в ms sql. создал фичереквест. поставьте лайк если не жалко https://github.com/ClickHouse/ClickHouse/issues/30408

Vladimir Goncharov
нужен JSON_MODIFY, как в ms sql. создал фичереквес...

Меня смущает отсутствие именно кейсов разрешения проблем, я вижу, что в случае введения этого CH могут начать использовать как документоориентированное хранилище, но это мое имхо.

critskiy
Меня смущает отсутствие именно кейсов разрешения п...

вы походу пропустили последнее видео от алексея (ссылка в закрепе если что). уже сейчас многие используют кликхаус вместо эластика для хранения логов и прочих структурированных данных, а в первом квартале 2022 добавят новый тип поля JSON, чтобы это стало ещё проще и эффективнее. так что количество кейсов буде только расти.

Vladimir Goncharov
вы походу пропустили последнее видео от алексея (с...

Я не пропускал, я просто пытаюсь понять какие могут быть use case и рационализировано ли внедрение этой фичи :)

critskiy
Я не пропускал, я просто пытаюсь понять какие могу...

нет конечно таких кейсов нет ни одного, а Map, Nested И Json были добавлены в кликхаус просто так. в остальных sql базах функции для работы с json тоже добавили просто так. более того даже в js он не был нужен. сарказм off. серьёзно, для меня использование json настолько очевидно, что я даже не понимаю, как кому-то в голову могло прийти, что он не особо нужен и не знать при этом ни одного кейса. в этом чатике уже кучу раз поднимались такие кейсы, я не вижу смысла переписывать это заново, а так же не особо хочу описывать свои кейсы. если вам это не надо, то просто не используйте это. видимо у вас просто никогда не было таких кейсов.

critskiy
Я не пропускал, я просто пытаюсь понять какие могу...

Хранить сырые данные в json и разбирать на плоский таблицы

Vladimir Goncharov
нет конечно таких кейсов нет ни одного, а Map, Nes...

Простите, конечно, за оффтоп, но ваше выражение сейчас показалось мне слишком грубым.

critskiy
Меня смущает отсутствие именно кейсов разрешения п...

Ну скорее всего страдать будут тогда. Хотя впрочем возможно UPDATE одного ключа в JSON у кх будет работать быстрее чем в допустим postgresql или где еще есть JSON(B) тип данных, тк в кх будет колоночное хранение

Dmitry [Altinity] Titov
Ну скорее всего страдать будут тогда. Хотя впроче...

Возможно, не стану отрицать, просто в моих кейсах немногочисленных решали разворачивание JSON скриптами на Python для КХ. Просто проверить надо будет, наверное, что да как. :)

critskiy
Возможно, не стану отрицать, просто в моих кейсах ...

У некоторых к сожалению в JSONах, может быть черти что в колонках, и заранее развернуть все не получится (или будет очень сложно)

Dmitry [Altinity] Titov
У некоторых к сожалению в JSONах, может быть черти...

Да, сталкивались с подобным. У мня как провайдер информации один из страдает непредсказуемым поведением в JSON, если вспомнить кейс нестандартных JSON, поэтому руками пилили. 😅

critskiy
Да, сталкивались с подобным. У мня как провайдер ...

Многие с придыханием ждут, что бы руками можно было не пилить. Плюс забавная штука будет, что кх будет максимально компактно пытаться упаковывать JSON колонки в партах, те если допустим там только 0 и 1 будет, то кх использует UInt8

Dmitry [Altinity] Titov
Ну скорее всего страдать будут тогда. Хотя впроче...

не обязательно использовать апдейты, можно было бы использовать MV + ReplacingMT и добавление/обновление одного поля в json с помощью JSON_MODIFY, но сейчас пока нет такой функции, а делать такое на регулярке - это себе в ногу стрелять.

critskiy
Я не пропускал, я просто пытаюсь понять какие могу...

Если входные данные строго структурированы - смысла нет. А если постоянно подключаются новые системы-источники и есть вероятность, что входящие данные не распарсятся корректно, то где-то нужно хранить исходные данные. В файлах, отдельной базе или самом кликзаузе

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Ребят в СИ можно реализовать ООП?
Николай
33
у вас два процесса. один посылает другому сигнал. у вас есть код обоих процессов? если всё не так - расскажите как оно на самом деле. а именно кто кому чего, есть-ли консоли,...
Karagy
6
вы делали что-то подобное и как? может есть либы готовые? увидел картинку нокода, где всё линиями соединено и стало интересно попробовать то же в ddl на lua сделать. решил с ч...
Victor
8
Карта сайта