184 похожих чатов

Ещё вопрос, как лучше организовать импорт данных из кафки в

КХ? Я читал в описании, что поддержка есть, но не читал о реализации. Как происходит десериализация из avro в native format?

10 ответов

36 просмотров

Есть кафка таблица, при должных усилиях люди получают из нее по 100к-200к сообщений в секунду.(на одну кафка таблицу)

=) если стартап то меняйте кафку на Pulsar или https://vectorized.io/redpanda/

K-S Автор вопроса
Slach [altinity]
=) если стартап то меняйте кафку на Pulsar или htt...

А пульсар ведь вроде файлы в облако закидывает

K S
А пульсар ведь вроде файлы в облако закидывает

redpanda точно не закидывает =) ну и еще какой нибудь https://materialize.com/ в качестве ETL ;)

K-S Автор вопроса
Slach [altinity]
redpanda точно не закидывает =) ну и еще какой ни...

добрый день, вы этим не пользовались materialize.com? просто тоже объединяем большие потоки данных во 10-30тб в час, и хотелось бы знать если был какой-то опыт или бенчмарки есть у вас? (сейчас самописное на локальных бинарных файлах)

【D】【J】
добрый день, вы этим не пользовались materialize.c...

нет, бенчмарков нет и рабочей эксплуатации нет тупо "скачал поставил убедился что работает"

【D】【J】
и как, работает?

ну quickstart я прошел слушайте, я похоже там выше хрень написал не знаю откуда это у меня в голове но я точно был уверен что materialize умеет готовить хорошо всякие JOIN большие чтобы их потом уже в clickhouse закинуть... и я даже вроде бы помнил что они какой то clickhouse sink писали сейчас пересмотрел сайт, а оно вообще не про это... очень странно...

Slach [altinity]
ну quickstart я прошел слушайте, я похоже там выш...

ну вроде про джоин стримов... но судя по тому что они оперируют объемами в "гига"байтах в своих текстах, это больше типа адхок аналитики для продакт аналитиков, а не полноценный джоин больших стримов данных... а то на сайте только красивые рисунки без конкретики о том как это делается, вот и хотелось понять, что же это за чёрная магия

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта