184 похожих чатов

Добрый день. Имеется Clickhouse-server 22.1.4.1 Есть таблица с ENGINE s3. CREATE TABLE cf_edge_logs (

ClientIP String,
...
...
OriginResponseDurationMs Int64
)
ENGINE = S3('https://storage.yandexcloud.net/bucket/{20220621..20221231}/*', 'AWS_ID', 'AWS_KEY', 'JSONEachRow', 'gzip')
SETTINGS date_time_input_format='best_effort';
В s3 расположены веб-логи.
Пытаюсь делать select * from cf_edge_logs
Получаю:
DB::Exception: inflateReset failed: data error: While executing S3. (ZLIB_INFLATE_FAILED)
Если ограничить limit'ом, то работает корректно.
Кто-нибудь сталкивался, как побороть?
Нашел тикет https://github.com/ClickHouse/ClickHouse/issues/412 , но решения что-то не нашел.

7 ответов

15 просмотров

уверены что у вас там в бакете только gzip данные лежат?

Ильдар- Автор вопроса
Slach [altinity]
уверены что у вас там в бакете только gzip данные ...

Тут - https://storage.yandexcloud.net/bucket/{20220621..20221231}/* да. Туда Cloudflare логи пишет в *.gz. Папка пока что одна только, но планируется больше(по дням).

а в чем смысл select * from cf_edge_logs ? хочется куда то вне clickhouse данные слить? или у вас INSERT INTO ... SELECT * FROM ?

Ильдар- Автор вопроса
Slach [altinity]
а в чем смысл select * from cf_edge_logs ? хочетс...

Да, из клика данные идут в инструмент визуализации данных, yandex DataLens. Я, пока что, сомневаюсь в работоспобности данной схемы, пробую только. Только SELECT Datalens -> CH -> S3

Ильдар
Да, из клика данные идут в инструмент визуализации...

мне кажется DataLens напрямую из s3 в целом может прочитать... clickhouse нужен только если захочется аггрегировать на его стороне но тогда надо данные туда тащить а не в S3 хранить не в MergeTree

Ильдар- Автор вопроса
Slach [altinity]
мне кажется DataLens напрямую из s3 в целом может ...

В самом datalens в подключениях s3 отсутствует. И доке datalens, на данный момент, только через ClickHouse. https://cloud.yandex.ru/docs/tutorials/datalens/storage-logs-analysis Немного подумаю, как быть дальше) Спасибо за ответ👍

Ильдар- Автор вопроса
Slach [altinity]
уверены что у вас там в бакете только gzip данные ...

Вы были правы. Cloudflare кладет один .txt файл. В таблице поправил *.gz - заработало Спасибо еще раз.

Похожие вопросы

Обсуждают сегодня

Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Коллеги, добрый вечер. Создаю коллекцию от TFPGMap, ключ - перечисление, значение - целое. Нужно отсортировать коллекцию по значению. Как это можно сделать?
Kirill Filippenok
11
Скажи а ты когда этот канал создавал ты уже дельфи не любил, или это со временем пришло?
Роман Лях (rgreat)
18
Привет, такой вопросик появился кажется ли вам что Rust слишком сложный/строгий для высокоуровневого программирования и слишком "безопасный"/строгий для низкоуровневого?
Крокант
10
Всем привет! Использую кастомное модальное диалоговое окошко, все по классике - mrOK, mrCancel как ModalResult. Однако есть нюанс - в главной форме есть универсальный обработч...
Олег Гранишевский
20
Карта сайта