52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
OctoberCMS OctoberCMS
ru_gitlab ru_gitlab
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
Software Design/Architect... Software Design/Architect...
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
.NET Group .NET Group
Google Cloud Platform_ru Google Cloud Platform_ru
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
pro.kafka pro.kafka
Chuck U.-Farley

Коллеги, привет По невыясненной пока причине в кафку ушли сообщения с

timestamp в будущем. Причем в будущем настолько, что я не доживу - 14.11.2280
Причины мы выясним, сейчас вопрос в том, как эти сообщения из кафки убрать? Потому что они блокируют удаление старых записей и топик растет не очищаясь
Про удаление всех сообщений из топика знаю, но может есть какой-то иной щадящий способ?

#kafka #russian #software
0

8 ответов

40 просмотров
Вячеслав-

kafka-delete-records, Там можно указать оффсет до которого удаляем всё

0
23.11.2023
Chuck U.-Farley Автор вопроса
Вячеслав
kafka-delete-records, Там можно указать оффсет до ...

Вижу только как удалить от начала до определенного оффсета возможно ли задать from-to ?

0
23.11.2023
Вячеслав-
Chuck U. Farley
Вижу только как удалить от начала до определенного...

Нет, это физически невозможно в кафке. Только от начала до оффсета.

0
23.11.2023
Maxiw-

мы отдельные лог сегменты удаляли кривые, прям сами файлы и ребутали понодно

0
23.11.2023
Maxiw-
Maxiw
мы отдельные лог сегменты удаляли кривые, прям сам...

учитывая, что консьюмером они уже вычитались, проблема только в обработке лог клинером, поэтому старше ретеншена все лог сегменты в партициях грохнули. кстати интересно было то, что все равно пришлось перезагружать службу кафки, т.к. лог клинер не хотел включаться, будто он у себя где-то запоминает, что таймстемп далеко в будущем, поэтому проверку запускать не надо и сам не включался, хз, так и не поняли.

0
23.11.2023
Chuck U.-Farley Автор вопроса
Maxiw
учитывая, что консьюмером они уже вычитались, проб...

Это важное замечание, спасибо

0
23.11.2023
Nick-

помимо удаления по времени можно по размеру настроить через log.retention.bytes, можно конечно лишнее удалить, но как встроенный вариант должно подойти

0
23.11.2023

Похожие вопросы

pro.kafka pro.kafka / Сергей
Подписаться

Всем привет Есть у кого опыт использования MirrorMaker2 с переливом оффетов? Я делаю сейчас на своих кластерах и он чушь какую-то переливает.

#kafka #russian #software
21.07.2023
0
40 ответов
pro.kafka pro.kafka / alexander rainchik
Подписаться

Ребята, я тут уже обгуглился) может кто решал подобную задачу (кажется типичной) и сможет подсказать. Дано - aws msk, уже вовсю пару лет в продакшене, нет ни авторизации, ни ...

#kafka #russian #software
03.08.2023
0
21 ответов
pro.kafka pro.kafka / Aliaksei
Подписаться

Привет, у меня вопрос к экспертам :) Кафка старая 2.0.0 при добавлении нового сервера не меняли настройки для репликации __consumer_offsets топика (системного) но при апдейт...

#kafka #russian #software
16.11.2023
0
16 ответов
pro.kafka pro.kafka / 🦝 Katowski Kotovsky
Подписаться

А можно подробнее о платных фичах?

#kafka #russian #software
05.08.2023
0
33 ответов
pro.kafka pro.kafka / Nikolay Didenko
Подписаться

А при unclean.leader.election.enable=true если лидер пропал, то оставшиеся реплики (которые не insync) никак не смогут проголосовать и выбрать нового лидера самостоятельно? На...

#kafka #russian #software
20.11.2023
0
22 ответов
pro.kafka pro.kafka / David Smyr
Подписаться

ребят, можно сделать чтобы в кафке при получении данных она их валидировала?

#kafka #russian #software
22.08.2023
0
29 ответов
pro.kafka pro.kafka / Damian Stas
Подписаться

кто нибудь имел такую ошибку [2023-07-21 09:37:56,442] WARN [SocketServer listenerType=ZK_BROKER, nodeId=3] Unexpected error from /172.18.0.1; closing connection (org.apache.k...

#kafka #russian #software
21.07.2023
0
6 ответов
pro.kafka pro.kafka / Chnbvcb
Подписаться

Приветствую. Пускаю 3 KRaft брокера на localhost. config/kraft/server0.properties: node.id=1 controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097 liste...

#kafka #russian #software
17.10.2023
0
5 ответов
pro.kafka pro.kafka / Sergey V
Подписаться

Коллеги, приветствую. В кафке новичок, поэтому заранее прошу прощения за возможно глупые вопросы. Есть интеграционные тесты на питоне, при их запуске поднимается kafka(3.2.3-d...

#kafka #russian #software
03.11.2023
0
2 ответов
pro.kafka pro.kafka / S P
Подписаться

получается, что если у меня в кластере будет два брокера, то это можно считать отказоустойчивостью? (на верхнем уровне) И если у меня первый брокер выходит из строя, то остав...

#kafka #russian #software
17.11.2023
0
16 ответов
Смотреть еще
pro.kafka pro.kafka
Подписаться
Вопросов 5405
Ответов 10778
Участников 3493
Telegram @proKafka

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Коллеги, может знает кто, можно ли цвет бейджа счётчика в BackendMenu менять без бубнов?
Alex Blaze
3
Карта сайта