Товарищи, мне отвели +- 2 недели на изучение Apache Flink,

а затем надо будет показать себя крутым на собеседовании в проект, где это используется. Можете поделиться, пожалуйста, из своего опыта какими-нибудь вариантами использования, способами работы с ним, курьёзными случаями при использовании, вопросами, которые могут спросить о нём на собесе? 🙏
Это мне для лучшего усвоения теоретического материала

6 ответов

5 просмотров

Две недели много, за это время можно доку наизусть выучить. Поднять кубер, сделать пайплайн. Реальные проблемы которые встретишь спросишь в чате

Если теор.материал у тебя уже есть, то попробуй вот так структурировать подготовку: 1. Stateless processing - это фильтр, простейшие трансформации 1 рекорда. Windows тут не нужнв 2. Stateful - агрегации на окошках. Тут постарайся не утонуть в кучах вариаций этих окошек 3. Stateful - джойны на table api 4. Stateful хрень на более низком уровне - data stream api https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/datastream/operators/overview/ У них еще есть хандс-он прямо из доки https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/learn-flink/overview/

Самые типичные боли - изменения структуры всяких стейтов. Особенно когда стейты разрастаются до 1ТБ

Ruslan-Krivoshein Автор вопроса
Ruslan Krivoshein
А когда их менять требуется?

Например, когда вместо трех сурсов надо теперь джойнить четыре Или в серединку между трансформациями воткнуть еще одну Почитай про https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/serialization/schema_evolution/ Software is never done

Похожие вопросы

Обсуждают сегодня

Привет, сталкивался кто с такой ситуацией? У меня есть модальное окно Bootstrap, в нем кнопка закрытия: <button type="button" class="btn-close" data-bs-dismiss="modal" aria-...
Виталий
3
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Напомните пожалуйста, v1.1 работает на PHP 8.2?
Ross
7
А что насчет FluentValidation? тоже ведь есть альтернатива у МС.
devman
13
Ребят, всем привет) Кто юзал/юзает Postgres? Я на MySQL сделал простенький сайт для диплома, но я внезапно обнаружил условие что надо было на Postgres) Проблема в том, что я н...
Dororo Steeeve
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Спасибо. Начну с клиент-сервер. Там разберусь И еще вопрос - можно ли как то джобы отправлять на определенные клиенты? Например есть vdi и linux машина. Можно ли задачу оправ...
Sergey Ivanov
4
Всем привет! подскажите, кто-то использовал vault + гео-распределенный etcd-кластер (мемберы в разных цодах)? какие есть подводные камни? и стоит ли вообще такое делать?
Василиса Васильева
4
Тут кто-то шарит в мед оборудовании?
Benz
10
Карта сайта