Maksim Batsiuk 💬

MiniDFSCluster - может есть у кого небольшие примеры по использованию или статьи полезные? А может данный способ тестирования hdfs уже устарел и есть лучший вариант?

Можно ли при помощи Кафка стримов модифицировать сообщения внутри одного топика? Нашел примеры где на входе input топик, а выходе output, но при таком кейсе объем данных в Каф...

Добрый день. Не могу написать регулярку вот для такого разбора: param=‘’text1 text2’’ Нужно получить значение в двойных кавычках, с учетом того, что содержимое может быть любы...

Добрый день. Spring Boot + @KafkaListener как можно при помощи кода вывести отстование чтения? У ConsumerRecord вызываать метод timestamp() и сравнивать с LocalDate.now()? Или...

Хочу изучить Apache Ozone S3 api, я правильно понимаю, что под капотом там Amazon S3 и поэтому можно изучать по статьям предназначенным для Amazon?

Добрый день. Получаю сообщения из Kafka и если их долго обрабатываю, то приложение на коммите зависает. Вот часть кода: while (true) { records = consumer.poll(Duration.ofMilli...

У меня есть приложение на Spring Boot которое пишет в Kafka, все настройки подключения к Kafka и producer-a у меня находятся в application.properties, мне нужно добавить в пр...

а может кто-то посоветовать ресурс для изучения kafka? платный курс или в идеале доступный ресурс, спасибо.

Есть монолит, который читает из Kafka, преобразует сообщения и записывает их в HDFS. Решено разбить на микросервисы, чтобы модуль чтения и записи были постоянными, а модули пр...

в приложении создаю файл типа parquet и в течении часа пишу в него, потом закрываю. Если в течении часа приложение падает, файл получается пустой, можно этого избежать как-то?

Впорос из темы Аспекты: @Around("execution(* ru.backend.controller..*(..)))") как тут добавить исключения? хочу из этого пакета исключить один класс

а мое решене через вызов метода timestamp() и сравнние с датой Сейчас плохое?

Может кто-то подскажет бесплатное приложение для Kafka, чтобы просматривать содержимое топиков? Мне нравится функционал Konductor-a, но он платный.

Есть Spring Boot приложение, если его убивать во время работы, то в разных местах приложения переодически возвращается исключение java.nio.channels.ClosedChannelException. Мож...

Вопрос по Kafka. Можно ли в Kafka трансформировать сообщения внутри топика? Пример: приклад перехватывает все входящие сообщения в топике и трансформирует их. В топике хран...

без спарка не вариант, на чистой джаве?

Всем привет. Вопрос: KafkaListenerEndpointRegistry, не могу понять разницу между методами start/stop и resume/pause? У меня задача читать из кафки при помощи KafkaListener в S...

А подскажите ещё, каким инструментом лучше просматривать файлы паркет? Я установил плагин для idea, но он тупит, иногда даже информация появляется что не хватает памяти

Можно ли в Кафке при подключение к ней вывести в лог максимально много информации о проверке сертификатов? например какие есть серты на кафке и информацию по ним

У меня в приложении включен ручной коммит и он по логике приложения происходит каждый час. Какие нужно в Кафке настроить параметры, чтобы Кафку устраивал такой период?