Ребят. У меня вопрос есть. Кластер содержит несколько connect воркеров.

Question

Ребят. У меня вопрос есть. Кластер содержит несколько connect воркеров.

Также имеется большое число различных коннекторов. Каждый коннектор должен иметь свою конфигурацию(параметры, которые критически важны max.in.flight.requests.per.connection , partitioner.class, acks).
Кто нибудь знает как это можно сделать?
Один из вариантов, для каждого типа коннектора поднимать отдельную группу воркеров, но это не подходит для нас.
Покопав немного, обнаружил, что параметры max.in.flight.requests.per.connection , partitioner.class, acks можно задавать в worker сонфиге. Но таким образом получается, что эти настройки будут действовать для всех коннекторов, а согласно изначальной постановке задачи, у каждого коннектора эти параметры должны быть свои.
Буду признателен за любую помощь)

#kafka #russian #software

0

05.12.2018

1 ответов

20 просмотров

Oleg · Accepted Answer

Oleg

Технической возможности разделить сейчас нет, только если запустить коннектор в отдельной jvm

0

06.12.2018

52 похожих чатов

Ребят. У меня вопрос есть. Кластер содержит несколько connect воркеров.

1 ответов

Похожие вопросы