Доброго времени суток! Есть у кого работающие примеры с AWS S3? Я

Question

Доброго времени суток! Есть у кого работающие примеры с AWS S3? Я

без проблем достаю файлы используя aws-cli/1.19.1 Python/3.9.2 Linux/5.10.0-22-cloud-amd64 botocore/1.20.0 имея окружении
export AWS_SECRET_ACCESS_KEY=secret123
export AWS_ACCESS=access123
export AWS_SESSION_TOKEN=token123

Создаю таблицу как:
CREATE TABLE s3 (
`Name1` Nullable(String),
`Name2` Nullable(String),
`Name3` Nullable(String)
) ENGINE = S3('https://s3.amazonaws.com/my_bucket/..../*parquet', 'access123', 'secret123', 'Parquet');

На запрос выходит ошибка:
S3 exception: `InvalidAccessKeyId`, message: 'The AWS Access Key Id you provided does not exist in our records.'. (S3_ERROR)

Не могу сообразить где ошибся...

#backend #clickhouse #database #devops #programming #russian

0

19.05.2023

5 ответов

9 просмотров

Valeriy Filatov Автор вопроса

Denny [Altinity]
use_environment_credentials https://clickhouse.co...

Через переменные окружения удалось "достучаться" до хранилища. select * from s3_table limit 2; — работает select count() from s3_table; — DB::Exception: Attempt to read after eof: While executing ParquetBlockInputFormat: While executing S3. (ATTEMPT_TO_READ_AFTER_EOF) Грешил на то, что файлы еще пишутся, но это не так. Где можно покопать?

0

12 месяцев назад

Denny [Altinity]

Valeriy Filatov
Через переменные окружения удалось "достучаться" д...

а если: select count() from s3_table settings remote_filesystem_read_method='read' и select version();

0

12 месяцев назад

Valeriy Filatov Автор вопроса

Denny [Altinity]
а если: select count() from s3_table settings rem...

Спасибо, в понедельник попробую... 👍

0

12 месяцев назад

Valeriy Filatov Автор вопроса

Denny [Altinity]
а если: select count() from s3_table settings rem...

Так работает! Еще раз спасибо. ┌─version()─┐ │ 23.4.2.11 │ └───────────┘

0

12 месяцев назад

Denny [Altinity] · Accepted Answer

Denny [Altinity]

use_environment_credentials https://clickhouse.com/docs/en/integrations/s3#managing-credentials <clickhouse> <s3> <use_environment_credentials>true</use_environment_credentials> </s3> </clickhouse>

0

12 месяцев назад

184 похожих чатов

Доброго времени суток! Есть у кого работающие примеры с AWS S3? Я

5 ответов

Похожие вопросы