Привет всем. Только сейчас задался вопросом, а последовательность выполнения команд

Question

Привет всем. Только сейчас задался вопросом, а последовательность выполнения команд

в Spark эквивалентен SQL? То есть:
1. from
2. where
3. group by
4. having
5. select
6. order by

existing_df.select("job_id").filter("stake_id = 1").show() - если использовать данный код, то он спокойной отрабатывает, если все действия происходят в одной переменной. Если каждую функцию переместить в разные переменные, то код естественно не отработает. Это говорит о том, что выполнения кода в Spark аналогичен SQL?

#hadoop #russian #software

0

26.12.2021

1 ответов

30 просмотров

Евгений Глотов · Accepted Answer

Евгений Глотов

Последовательность команд в Спарк ровно такая, в каком порядке их написали, можно менять местами и получать разные результаты, эквивалентно подзапросам

0

26.12.2021

52 похожих чатов

Привет всем. Только сейчас задался вопросом, а последовательность выполнения команд

1 ответов

Похожие вопросы