184 похожих чатов

Подскажите, делаем вставку в Distributed таблицу с рандомным ключом шардирования,

настройка insert_distributed_sync включена, но при этом данные появляются не сразу, приходится делать sleep минуту. Надо что-то ещё подкрутить чтобы не надеяться на sleep? Увеличение insert_distributed_timeout может помочь?

7 ответов

10 просмотров

А зачем вам ждать?

Konstantin Ilchenko- Автор вопроса
Dmitry [Altinity] Titov
А зачем вам ждать?

перед тем как начать читать, данные появляются только частично, если подождать немного то данные полностью появляются

Konstantin Ilchenko
перед тем как начать читать, данные появляются тол...

Вам нужно прочитать только что вставленные данные зачем? 1. Убедиться, что они вставились. 2. Вернуть какую то посчитанную метрику

Konstantin Ilchenko- Автор вопроса
Dmitry [Altinity] Titov
Вам нужно прочитать только что вставленные данные ...

проверяем что данные валидные чтобы дальше перелить в следующую таблицу.

Konstantin Ilchenko
проверяем что данные валидные чтобы дальше перелит...

Репликация асинхронная, вполне возможно что ваши данные до второй реплики не доехали. а Distributed запрос пришел на вторую реплику. https://clickhouse.tech/docs/en/sql-reference/statements/system/#query_language-system-sync-replica https://clickhouse.tech/docs/en/operations/settings/settings/#settings-max_replica_delay_for_distributed_queries

Konstantin Ilchenko- Автор вопроса
Dmitry [Altinity] Titov
Репликация асинхронная, вполне возможно что ваши д...

а если усложнить кейс, пишем напрямую в шарды в tmp таблицы и по завершению записи делаем replace partition on cluster. Может ли реплейс пройти без синхронизации репликации? Раньше никаких проблем не было, но сейчас раз в неделю бывает что не хватает части данных

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
что насчет пагинга? на осдеве непонятно(
Vi Chapmann 🪙
26
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Народ, кто шарит в расширенных разделах (EBR/EPR) на дисках с разметками MBR? Везде пишут (в вики рус/англ) в частности + другие источники смотрел, что первый сектор расширенн...
Eugene Krasnikov (ᴊɪɴ x)
1
помогите решить вопрос ктото решал это?
Михаил Helper
9
Ребят, что лучше для реверса: гидра или ида?
En Vind Av Sorg
26
Делаю велосипед логгер. К сообщению хочу прикрутить некоторую информацию, типа, кем отправлено, какой уровень, и всякое такое. И тут подумалось мне, почему бы не хранить весь...
Serjone
24
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
Всем привет! Использую gitlab-ci. Настроил gitlab-agent для деплоя в куб. При деплое проекта в логах такая ошибка: Executing deploy plan failed to watch "ns:my-project/Ingress...
Konstantin Moiseev
4
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Карта сайта