Коллеги, подскажите, как заставить CH нормально парсить строку даты

Question

Коллеги, подскажите, как заставить CH нормально парсить строку даты

в формате '2022-03-28 00:00:00.00000'. Строка попадает с фильтра superseta, где я пока не нашел возможности ее править. Может есть в настройках возможность парсить такой формат?

#backend #clickhouse #database #devops #programming #russian

0

28.04.2022

24 ответов

18 просмотров

Денис Жирнов Автор вопроса

Алексей Фирсов
select parseDateTime64BestEffortOrNull('2022-03-2...

Согласен, но проблема в том, что этот запрос прилетает из superset и править дату в нем я не могу. Можно ли как то в настройках clickhouse заставить ее парсить дату в этом формате?

0

28.04.2022

Egor Upatov

Денис Жирнов
Согласен, но проблема в том, что этот запрос приле...

Если сразу не можете менять в запросе на вставку, то сложите сначала во временную таблицу как строку, а потом уже из нее инсерт с преобразованием

0

28.04.2022

ivan

Денис Жирнов
Согласен, но проблема в том, что этот запрос приле...

только я почему-то не могу воспроизвести вашу ситуацию. у меня есть DateTime64 поле в таблице, но в датасете Superset получается тип DATETIME и все миллисекунды автоматически отбрасываются. у вас какой тип данных для колонки в датасете?

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
только я почему-то не могу воспроизвести вашу ситу...

там просто datetime. попробовать изменить на datetime64?

0

28.04.2022

ivan

Денис Жирнов
там просто datetime. попробовать изменить на datet...

там, это где?

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
там, это где?

в исходной таблице clickhouse, к которой обращается superset

0

28.04.2022

ivan

Денис Жирнов
в исходной таблице clickhouse, к которой обращаетс...

не надо

0

28.04.2022

ivan

Денис Жирнов
в исходной таблице clickhouse, к которой обращаетс...

посмотрите, что в датасете для этой таблицы

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
посмотрите, что в датасете для этой таблицы

В датасете Nullable(Datetime)

0

28.04.2022

ivan

Денис Жирнов
В датасете Nullable(Datetime)

на вкладке COLUMNS датасета в Superset в колонке Data type прямо написано "Nullable(Datetime)"? там же всегда были типы формата STRING, DATETIME, UINT64.

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
на вкладке COLUMNS датасета в Superset в колонке D...

Он взял формат исходной таблицы

0

28.04.2022

ivan

Денис Жирнов

Он взял формат исходной таблицы

раскройте инфу по колонке, что там в DATETIME FORMAT?

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
раскройте инфу по колонке, что там в DATETIME FORM...

пусто

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
раскройте инфу по колонке, что там в DATETIME FORM...

я сделал запрос напрямую в CH и он такой формат даты видеть не желает. Стоит убрать хвост .000000 и все работает, но по уомолчанию CH не хочет парсить эту строку. А superset не хочет передавать другой формат даты

0

28.04.2022

Константин

Денис Жирнов

я сделал запрос напрямую в CH и он такой формат да...

У вас вместо пробела *

0

28.04.2022

Денис Жирнов Автор вопроса

Константин
У вас вместо пробела *

Подправил, но проблема не в этом

0

28.04.2022

ivan

Денис Жирнов

я сделал запрос напрямую в CH и он такой формат да...

это понятно. вопрос в том, почему Superset генерит такую строку (я вопроизвести это не могу, может, отдельный загон какой-то версии) попробуйте сделать calculated column в датасете, которая обернет эту колонку в CAST to Nullable(DateTime). как вариант, поможет понять, эта ситуация возникает при чтении данных для датасета или уже внутри самого датасета при назначении типов

0

28.04.2022

Денис Жирнов Автор вопроса

ivan
это понятно. вопрос в том, почему Superset генерит...