Любезные братья! А что бы почитать/посмотреть по устройству Spark, чтобы

как следует укрепиться в теории?

Чтобы мне там рассказали, что такое Fetch и Shuffle. Чтобы вбили в моск, чем Application отличается от Job и от Stage. И чтобы распедалили, что вообще делает YARN — и почему в одних случаях на драйвере может быть PySpark 3.4 (а на экзекуторах 2.4.5) — а в других не может.

ну есть база: spark definitive guide

> драйвере может быть PySpark 3.4 (а на экзекуторах 2.4.5) такое может быть только в k8s

Если разные сборки спарк образа

я о том, что с master:local и master:yarn это невозможно

раньше был курс у @tenKe и я наверное прям на подножку заскочил ) Щас хз, курс остался но лекторы уже другие

А щито за курс?

ньюпролаб

Да курсы огонь, тоже застал преподавателем Андрея

Его можно в записи посмотреть https://newprolab.com/spark-scala-de-online

ток мне не надо, не я спрашивал ))

@felix_neko

О, спасибо = )

Вот он у меня почему-то по собаке не тягается :)

Если че могут промо код дать

А довай, пригодится = )

Любого индуса на ютубе открываешь, там максимально на пальцах будет :) если вдруг надо будет поглубже, мне очень понравились презентации от разрабов Spark Summit там же на ютубе. Если по конкретному вопросу надо будет что-то, пиши, могу линки скинуть на интересные статьи, но только у меня все на английском