Всем привет! Имеется тестовый кластер из трёх нод, работающих в

докер-контейнерах. Так получилось, что пришлось остановить две ноды и зачистить там контейнеры. После восстановления топики подтянулись, но schema-registry пустая (соответственно, _schemas топик тоже пустой). Возможно ли его восстановить и где лежат данные для этого топика? В директории /broker/data этого топика нет

16 ответов

7 просмотров

это точно такой же топик как и остальные. Если у него RF был равен 1, и он находился на очищенных нодах - то ответ увы, будет очевиден.... p.s. под "зачищенными - я понял что были вычищенны и данные тоже"

Василий-Калугин Автор вопроса
Сергей Голод
это точно такой же топик как и остальные. Если у н...

нет, rf = 3 был. топики всё таки хранятся в /kafka/broker/kafka-logs или /kafka/broker/data? в первой директории есть _schemas, во второй нет

это точно такой же топик, как и обычные. вот пример с одной из нод у меня: ... __consumer_offsets-47/ __consumer_offsets-48/ __consumer_offsets-49/ __consumer_offsets-5/ __consumer_offsets-6/ __consumer_offsets-7/ __consumer_offsets-8/ __consumer_offsets-9/ _schemas-0/ bootstrap.checkpoint cleaner-offset-checkpoint elasticsearch.log-events-1/ elasticsearch.log-events-2/ 5ый снизу

Василий-Калугин Автор вопроса
Сергей Голод
это точно такой же топик, как и обычные. вот прим...

пробую скопировать. но ощущение, что этот топик мог уже перетереться неправильными с зачищенных машин

Василий Калугин
нет, rf = 3 был. топики всё таки хранятся в /kafka...

Дык кафка должна сама восстановить с одного брокера на остальные, разве нет? Я бы не стал руками лезть и копировать. В логах что пишут брокеры пишут?

Василий-Калугин Автор вопроса
alexander rainchik
Дык кафка должна сама восстановить с одного брокер...

в этом и прикол, что не восстановила. в логах никаких ошибок

С 1 реплики 2 не восстановятся почти никогда

Василий-Калугин Автор вопроса
Старый Хрыч
С 1 реплики 2 не восстановятся почти никогда

Почему-то все топики восстановились, кроме _schemas

Василий Калугин
Почему-то все топики восстановились, кроме _schema...

И он был самый нагружённый? Кафка на рафте иди зукипере?

Василий-Калугин Автор вопроса
Василий Калугин
зукипер. нет, не самый нагруженный

Тогда видимо именно этому топику не повезло, irs что стоит?

Василий Калугин
имеете ввиду min replica sync? 2

Да, ну тогда странно, у вас docker compose?

Василий-Калугин Автор вопроса
Василий Калугин
да. от канфлюент версия

А скиньте в личку, конфиг его, какие вы правки конфигурации делали

Василий-Калугин Автор вопроса
Старый Хрыч
А скиньте в личку, конфиг его, какие вы правки кон...

Вроде разобрались, восстановив из бэкапа. Теперь вопрос, который требуется решить - как-то ограничить размер топиков. Возможно ли это стандартными средствами? Чтобы один топик не выжирал всё дисковое пространство

Похожие вопросы

Обсуждают сегодня

А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Напомните пожалуйста, v1.1 работает на PHP 8.2?
Ross
7
А что насчет FluentValidation? тоже ведь есть альтернатива у МС.
devman
13
Ребят, всем привет) Кто юзал/юзает Postgres? Я на MySQL сделал простенький сайт для диплома, но я внезапно обнаружил условие что надо было на Postgres) Проблема в том, что я н...
Dororo Steeeve
4
Спасибо. Начну с клиент-сервер. Там разберусь И еще вопрос - можно ли как то джобы отправлять на определенные клиенты? Например есть vdi и linux машина. Можно ли задачу оправ...
Sergey Ivanov
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Всем привет! подскажите, кто-то использовал vault + гео-распределенный etcd-кластер (мемберы в разных цодах)? какие есть подводные камни? и стоит ли вообще такое делать?
Василиса Васильева
4
Тут кто-то шарит в мед оборудовании?
Benz
10
Диски перестали работать почему-то в Нидерландах тогда. 0кб в сек Никто как я понял не сможет посоветовать vds в Нидерландах ?
Stargrapefruit
16
Карта сайта