184 похожих чатов

Добрый день. как обработать null-поля в parquet-файлах, если они лежат

в S3? использую S3 function.

DB::Exception: Unknown setting output_format_parquet_string_as_string (version 21.8.15.15.altinitystable (altinity build))

11 ответов

7 просмотров

Что подразумевается под обработкой null полей?

Roman-Merzliakov Автор вопроса
Dmitry [Altinity] Titov
Что подразумевается под обработкой null полей?

в некоторых строках в определённых полях лежат null. если я питоном этот файл открываю в pandas, то там лежит None. а клик не может даже заселектить данные, если там лежит Null

Roman-Merzliakov Автор вопроса
Dmitry [Altinity] Titov
Какую ошибку пишет?

DB::Exception: Can not insert NULL data into non-nullable column "event_value".: While executing S3 извиняюсь , не ту ошибку выше прикрепил

Roman-Merzliakov Автор вопроса
Dmitry [Altinity] Titov
INSERT INTO xxx SELECT * APPLY assumeNotNull FROM ...

нет, всё равно такая же ошибка 21.8.15.15.altinitystable

Roman-Merzliakov Автор вопроса
Dmitry [Altinity] Titov
А вы какую схему задаете в s3 функции?

не очень понял, что подразумевается под схемой

Roman-Merzliakov Автор вопроса
Dmitry [Altinity] Titov
s3(url, creds, format, schema)

s3( 'https://s3.eu-west-1.amazonaws.com/file.gz.parquet', 'access_key', 'secret_access_key', 'Parquet', 'event_value String', 'none')

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Всем привет! Кто нибудь парсил в ручную JSON без библиотек и фреймворков? Есть может ссылки на оптимальный алгоритмы работы с текстом и примеры таких парсеров?
Lem
27
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
Есть сайт. Там была древняя версия эво. Стоял плагин, который каждый коммент в Jot делал отдельной страницей. После обновления все слетело, теперь старница открывается отдельн...
Artem
1
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
Добрый день. А shovel'ы можно как-то сконфигурировать в definitions.json? Пробовал что-то вроде: { "users": [ { "name": "agent", "password_hash": "RBCbTzQd...
Aleksey
1
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
Карта сайта