184 похожих чатов

Ещё вопрос, как лучше организовать импорт данных из кафки в

КХ? Я читал в описании, что поддержка есть, но не читал о реализации. Как происходит десериализация из avro в native format?

10 ответов

10 просмотров

Есть кафка таблица, при должных усилиях люди получают из нее по 100к-200к сообщений в секунду.(на одну кафка таблицу)

=) если стартап то меняйте кафку на Pulsar или https://vectorized.io/redpanda/

K-S Автор вопроса
Slach [altinity]
=) если стартап то меняйте кафку на Pulsar или htt...

А пульсар ведь вроде файлы в облако закидывает

K S
А пульсар ведь вроде файлы в облако закидывает

redpanda точно не закидывает =) ну и еще какой нибудь https://materialize.com/ в качестве ETL ;)

K-S Автор вопроса
Slach [altinity]
redpanda точно не закидывает =) ну и еще какой ни...

добрый день, вы этим не пользовались materialize.com? просто тоже объединяем большие потоки данных во 10-30тб в час, и хотелось бы знать если был какой-то опыт или бенчмарки есть у вас? (сейчас самописное на локальных бинарных файлах)

【D】【J】
добрый день, вы этим не пользовались materialize.c...

нет, бенчмарков нет и рабочей эксплуатации нет тупо "скачал поставил убедился что работает"

【D】【J】
и как, работает?

ну quickstart я прошел слушайте, я похоже там выше хрень написал не знаю откуда это у меня в голове но я точно был уверен что materialize умеет готовить хорошо всякие JOIN большие чтобы их потом уже в clickhouse закинуть... и я даже вроде бы помнил что они какой то clickhouse sink писали сейчас пересмотрел сайт, а оно вообще не про это... очень странно...

Slach [altinity]
ну quickstart я прошел слушайте, я похоже там выш...

ну вроде про джоин стримов... но судя по тому что они оперируют объемами в "гига"байтах в своих текстах, это больше типа адхок аналитики для продакт аналитиков, а не полноценный джоин больших стримов данных... а то на сайте только красивые рисунки без конкретики о том как это делается, вот и хотелось понять, что же это за чёрная магия

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
7
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Добрый день, чат. Мне в очередь из других RabbitMQ по shovel валятся метрики в формате текста для Prometheus. Помогите пожалуйста подружить RabbitMQ и Prometheus, чтобы он (...
Aleksey
4
Карта сайта