При вставке в колонку type: Array(String) пустого значения падает с

Question

При вставке в колонку type: Array(String) пустого значения падает с

Cannot parse input: expected [ before. Можно ли как-нибудь обойти? Колонку на Nullable(Array(String)) не удается поменять (Nested type Array(String) cannot be inside Nullable type (version 19.16.4.12)

#backend #clickhouse #database #devops #programming #russian

0

16.06.2021

13 ответов

23 просмотра

Kuzma Leshakov Автор вопроса

Slach [altinity]
Array(Nullable(String)) должен по идее пустой масс...

Array does not start with '[' character: while executing INSERT INTO test2 VALUES ('')

0

16.06.2021

Slach [altinity]

Kuzma Leshakov
Array does not start with '[' character: while ex...

INSERT INTO test2 VALUES([]);

0

16.06.2021

Kuzma Leshakov Автор вопроса

Slach [altinity]
INSERT INTO test2 VALUES([]);

да мне либа https://github.com/yndx-metrika/logs_api_integration возвращает Column 20, name: From, type: String, parsed text: <EMPTY> Column 21, name: GoalsCurrency, type: Array(String), parsed text: <EMPTY>ERROR и я думаю она пытается что-то типа пустой строки пропихнуть.

0

16.06.2021

Slach [altinity]

Kuzma Leshakov
да мне либа https://github.com/yndx-metrika/logs_a...

не знаю, лично я предпочитаю https://bitbucket.org/clickhouse_pro/metrika2clickhouse но не знаю насколько оно сейчас с текущими лимитами на logs API совмесимо

0

16.06.2021

Kuzma Leshakov Автор вопроса

Slach [altinity]
не знаю, лично я предпочитаю https://bitbucket.org...

странно, что не помогает 'input_format_allow_errors_num': 99999, 'input_format_allow_errors_ratio': 1

0

16.06.2021

Denny [Altinity]

Kuzma Leshakov
да мне либа https://github.com/yndx-metrika/logs_a...

а как там вообще строки в массиве записываются / возвращаются либой?

0

16.06.2021

Kuzma Leshakov Автор вопроса

Denny [Altinity]
а как там вообще строки в массиве записываются / в...

content = content.encode('utf-8') query_dict = { 'query': 'INSERT INTO ' + table + ' FORMAT TabSeparatedWithNames ', 'input_format_allow_errors_num': 99999, 'input_format_allow_errors_ratio': 1 } if (CH_USER == '') and (CH_PASSWORD == ''): r = requests.post(CH_HOST, data=content, params=query_dict, verify=SSL_VERIFY) else: r = requests.post(CH_HOST, data=content, params=query_dict, auth=(CH_USER, CH_PASSWORD), verify=SSL_VERIFY)

0

16.06.2021

Kuzma Leshakov Автор вопроса

Slach [altinity]
не знаю, лично я предпочитаю https://bitbucket.org...

go больно. У вас при работе с ней не возникало проблем/необходимости в переписывании?

0

16.06.2021

Slach [altinity]

Kuzma Leshakov
go больно. У вас при работе с ней не возникало про...

переписывании чего? вы в целом про golang сейчас или конкретно про metrika2clickhouse? я ее достаточно давно использовал но если у вас трудности будут, смогу помочь Яндексовский репозиторий вообще не обновлялся довольно давно

0

16.06.2021

Kuzma Leshakov Автор вопроса

Slach [altinity]
переписывании чего? вы в целом про golang сейчас и...

golang, надеюсь, не переписывали) имел ввиду metrika2clickhouse, так как питон либу я уже переписывал (вернее, дополнял) несколько раз спасибо за предложение, но пока использование metrika2clickhouse самый крайний вариант (даги на питоне вертятся) 🙌

0

16.06.2021

Kuzma Leshakov Автор вопроса

Kuzma Leshakov
content = content.encode('utf-8') query_d...

мне тут вставка идет по отсортированным колонкам, и запрос типа INSERT INTO, пытается вставить часть данных не в те колонки (некоторые колонки в схеме не упорядочены, а при вставке идут упорядоченно) - это насколько я понял, дебажа

0

16.06.2021

Slach [altinity]

Kuzma Leshakov
мне тут вставка идет по отсортированным колонкам, ...

INSERT INTO table(column1, column2) в том порядке какой вам нужен задаете и вставляете

0

17.06.2021

Slach [altinity] · Accepted Answer

Slach [altinity]

Array(Nullable(String)) должен по идее пустой массив воспринимать как []

0

16.06.2021

184 похожих чатов

При вставке в колонку type: Array(String) пустого значения падает с

13 ответов

Похожие вопросы