рассказать на словах ... какие есть ограничения на чтение объектов в Object Storage с классом STANDARD_IA ? А то у меня коннект рвется сервер возвращает GOAWAY ... я не понимаю почему
Что вы используете для работы с Object Storage?
использую aws-sdk-go v1.43.0
Найдите в документации как получить дебаг инфу и с ней в саппорт, пожалуйста.
а вы никак не сможете тут помочь? X-Amz-Request-Id: cc3ae219861010d5 на моем аккаунте не воспроизводится, а клиент прислал отдается 200й код ответа но при чтении из сокета в какой то момент получаю http2: server sent GOAWAY and closed the connection; LastStreamID=3971, ErrCode=NO_ERROR, debug=""
Ваш вопрос не носит теоретический характер и требует дебага с обеих сторон. Он больше похож на тот, что решается при помощи технической поддержки. Но если кто-то вам поможет, я только рад )
читаю а не пихаю HTTP/2.0 200 OK Content-Length: 27655168 27 мегов...
ЧИТАЕМ... не пихаем.... читаем в стрим, не куском я в курсе про multipart-upload и multipart-download
только непонятна фраза "объем не поместился в заголовок" в смысле заголовки слишком большого размера?
там вот так все выглядит ----------------------------------------------------- 2022/08/23 19:28:57.889322 info DEBUG: Request s3/GetObject Details: ---[ REQUEST POST-SIGN ]----------------------------- GET /remote_backup_2022-08-20T14-22-04/shadow/default/adv_full_keyword_stat/default_20220720_97433_99970_102.tar HTTP/1.1 Host: clickhouse-1-1-backup.storage.yandexcloud.net User-Agent: aws-sdk-go/1.43.0 (go1.19; linux; amd64) Authorization: AWS4-HMAC-SHA256 Credential=removed/20220823/us-east-1/s3/aws4_request, SignedHeaders=host;x-amz-content-sha256;x-amz-date, Signature=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX X-Amz-Content-Sha256: removed X-Amz-Date: 20220823T172857Z Accept-Encoding: gzip ----------------------------------------------------- 2022/08/23 19:28:58.104473 info DEBUG: Response s3/GetObject Details: ---[ RESPONSE ]-------------------------------------- HTTP/2.0 200 OK Content-Length: 27655168 Accept-Ranges: bytes Content-Type: application/octet-stream Date: Tue, 23 Aug 2022 17:28:58 GMT Etag: "c36c6ba036d2c9ff11caa27ee538ec4e-6" Last-Modified: Sat, 20 Aug 2022 14:25:49 GMT Server: nginx X-Amz-Request-Id: cc3ae219861010d5 X-Amz-Storage-Class: COLD X-Amz-Version-Id: null проблема явно не в заголовках
при чтении и распаковке из io.Reader в потоке
handling file: /20220720_97433_99970_102/sum.bin: http2: server sent GOAWAY and closed the connection; LastStreamID=3971, ErrCode=NO_ERROR, debug=""
ну мое тоже... вот я и спрашиваю, какие есть ограничения на storage_class: COLD? но с другой стороны странно что реквест который уже начался, зачем то обрывать...
спасибо... ну то есть типа пытаемся слишком быстро читать, слишком большими кусками?
Обсуждают сегодня