Aleksandr

Всем привет. Есть такая задача - в бакет, в landing area прилетают csv файлы с некоторой периодичностью, примерно 500-1000 в день. Файлы размером 10mb-1gb, внутри IoT - логи с...

привет. есть такой кейс - лямбда пишет в одну динамотаблицу. бывают случаи, когда несколько инстансов этой лямбды пытаются записать в один и тот же айтем, в результате один из...

Всем привет. Столкнулся с интересной штукой в спарке - есть датафрейм над которым выполняются простые трансформации: несколько лефт джойнов (броадкаст), фильтрация, ренейминг...

Всем привет. Врываюсь опять с нубским вопросом - хочу за пару месяцев сдать амазоновскую сертификацию. Практически использую амазон около года. С чего лучше начать и где готов...

всем привет. читаю спарком большой gzip (внутри csv), делаю некоторые простецкие трансформации по типу кастинга дат и затем пишу в паркет. для простоты эксперимента использую ...

Всем привет. Пытаюсь оптимизировать джойн двух больших таблиц, смотрю в сторону бакетинга. Начал его использовать, в плане всё стало хорошо, Exchange исчез. Но есть вопрос - в...

Такой вопрос. Беру данные из source account и складываю в target account. Для этого на target-e создал лямбду, которая асьюмит роль с source аккаунта и создает на её основании...

Всем привет. Хотим запилить бэкэнд для мобильного приложения, которое будет строить дашборды. Планируется много запросов с аггрегациями. Пробуем aws aurora - но что-то перфома...

Всем привет. Кто-то сталкивался с таким, что спарк периодически (не всегда) создает партишен в партишене? Проблема, по факту, такая же как здесь, но что-то ответов нет: https:...

Всем привет. Есть задачка - существует некий sftp сервер, содержащий zip архивы. Хотелось бы каким-то образом разархивированные файлы, с некой периодичностью, загружать себе в...

всем привет. Только что проходил сертификацию онлайн через person vue. В конце было «Grade: pass”. Это означает, что я точно прошёл успешно? Или нужно ждать результатов все т...

Всем привет. Переключились на glue 2.0 и внезапно потеряли логи. В логах одна единственная строчка - main INFO Log4j appears to be running in a Servlet environment, but there...

а редшифт похуже будет?

то есть разницы особо нет где готовиться, на acloud или на linuxcademy?

Всем привет. Я пытаюсь осваивать скалу и столкнулся с паттерн-матчингом. Нужно в списке найти совпадения с заданным regexp и вывести их, используя только паттерн-матчинг. Есть...

да, тоже можно попробовать. вы имеете в виду выпилить джойны и оставить только те трансформации, которые дают такой эффект?

Всем привет. Планирую сдать пару сертификатов - посоветовали для подготовки acloud.guru, что скажете? Стоит подписки в 50 баксов?

интересно, а без лаб можно? у меня итак есть неограниченный доступ :) видимо, Udemy мой вариант :)))

Всем привет. Подскажите, пожалуйста, как лучше и правильнее организовать загрузку из s3 в rds ? Есть ли в амазоне специальные тулзы, которые легко позволяют это сделать? Сори ...