читать из двух sqs и отправлять в Кафку. Очень редко Кафка бывает недоступна и поток замирает ( больше не может читать из sqs). Встречается редко, но тем не менеее. Как побороть с наименьшими усилиями? Таймер добавить?
Кафка должна писать/читать в одном потоке. А kafka-connect не справится с такой задачей как перекладывать?
так тут из двух потоков читают из SQS, а продьюсят в один инстанс кафки, который уже сам там раздуплится в какой брокер засылать
Тогда можно тогда в двух отдельных независимых потоках читать и писать
если поток валится с ошибкой продьюса и ты знаешь что это transient, то накинуть в продьюсера кафки всякие таймауты докинуть, если дело в них. ну или трай кетч с ретраем
Обсуждают сегодня