Всем привет! Кто поскажет по Spark Streaming'у и дистрибуции задач для

Question

Всем привет! Кто поскажет по Spark Streaming'у и дистрибуции задач для

Кафка топика.
Правильно я понимаю? Если есть топик на 11 партиций спарк максимум распараллелит процессинг этого топика на 11 задач

#hadoop #russian #software

0

24.10.2021

3 ответов

15 просмотров

Sergey Sheremeta

Sergey Sheremeta
Гуглите fan-out паттерн

minPartitions [Optional] Minimum number of partitions to read from Kafka. With Spark 2.1.0-db2 and above, you can configure Spark to use an arbitrary minimum of partitions to read from Kafka using the minPartitions option. Normally Spark has a 1-1 mapping of Kafka topicPartitions to Spark partitions consuming from Kafka. If you set the minPartitions option to a value greater than your Kafka topicPartitions, Spark will divvy up large Kafka partitions to smaller pieces

0

24.10.2021

Anton

Sergey Sheremeta
minPartitions [Optional] Minimum number of partiti...

Как понимать "divvy up large Kafka partitions to smaller pieces"? Одна партиция может читаться несколькими задачами?

0

24.10.2021

Sergey Sheremeta · Accepted Answer

Sergey Sheremeta

Гуглите fan-out паттерн

0

24.10.2021

52 похожих чатов

Всем привет! Кто поскажет по Spark Streaming'у и дистрибуции задач для

3 ответов

Похожие вопросы