Добрый день, коллеги. Нужен ваш совет. Переливаю таблицу из хайва

Question

Добрый день, коллеги. Нужен ваш совет. Переливаю таблицу из хайва

в кликхаус (через спарк). В таблице есть float поле. Если переливаю по-простому
spark.read.table('table').write.jdbc(**clickhouse_params)
то получаю ошибку

Syntax error: failed at position 53 (line 1, col 53): PRECISION , "date" DATE)
ENGINE = MergeTree() PARTITION BY toYYYYMM(date) ORDER BY (date). Expected one of: ALIAS, CODEC, COMMENT, MATERIALIZED, ClosingRoundBracket, Comma, TTL, token, DEFAULT

Если указываю тип поля
spark.read.table('table').withColumn('val', F.expr('cast(val as float)')).write.jdbc(**clickhouse_params)

то получаю
Unknown data type family: REAL

Как это правильно сделать?

#backend #clickhouse #database #devops #programming #russian

0

03.04.2020

1 ответов

11 просмотров

Slach [altinity] · Accepted Answer

Slach [altinity]

ну видимо у вас spark кривой SQL запрос создает в котором вместо типа откуда то PRECISION вылез какой нибудь F.expr('val', 'toFloat64(val)') Но не факт что поможет

0

03.04.2020

184 похожих чатов

Добрый день, коллеги. Нужен ваш совет. Переливаю таблицу из хайва

1 ответов

Похожие вопросы