184 похожих чатов

Ещё вопрос, как лучше организовать импорт данных из кафки в

КХ? Я читал в описании, что поддержка есть, но не читал о реализации. Как происходит десериализация из avro в native format?

10 ответов

20 просмотров

Есть кафка таблица, при должных усилиях люди получают из нее по 100к-200к сообщений в секунду.(на одну кафка таблицу)

=) если стартап то меняйте кафку на Pulsar или https://vectorized.io/redpanda/

K-S Автор вопроса
Slach [altinity]
=) если стартап то меняйте кафку на Pulsar или htt...

А пульсар ведь вроде файлы в облако закидывает

K S
А пульсар ведь вроде файлы в облако закидывает

redpanda точно не закидывает =) ну и еще какой нибудь https://materialize.com/ в качестве ETL ;)

K-S Автор вопроса
Slach [altinity]
redpanda точно не закидывает =) ну и еще какой ни...

добрый день, вы этим не пользовались materialize.com? просто тоже объединяем большие потоки данных во 10-30тб в час, и хотелось бы знать если был какой-то опыт или бенчмарки есть у вас? (сейчас самописное на локальных бинарных файлах)

【D】【J】
добрый день, вы этим не пользовались materialize.c...

нет, бенчмарков нет и рабочей эксплуатации нет тупо "скачал поставил убедился что работает"

【D】【J】
и как, работает?

ну quickstart я прошел слушайте, я похоже там выше хрень написал не знаю откуда это у меня в голове но я точно был уверен что materialize умеет готовить хорошо всякие JOIN большие чтобы их потом уже в clickhouse закинуть... и я даже вроде бы помнил что они какой то clickhouse sink писали сейчас пересмотрел сайт, а оно вообще не про это... очень странно...

Slach [altinity]
ну quickstart я прошел слушайте, я похоже там выш...

ну вроде про джоин стримов... но судя по тому что они оперируют объемами в "гига"байтах в своих текстах, это больше типа адхок аналитики для продакт аналитиков, а не полноценный джоин больших стримов данных... а то на сайте только красивые рисунки без конкретики о том как это делается, вот и хотелось понять, что же это за чёрная магия

Похожие вопросы

Обсуждают сегодня

Ребят в СИ можно реализовать ООП?
Николай
32
Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
~ 2m21s  nix shell github:nixos/nixpkgs#stack ~  stack ghc -- --version error: … while calling the 'derivationStrict' builtin at /builtin/derivation.nix:...
Rebuild your mind.
6
Всем доброго вечера. Разрабатываю 32 раз. приложение в Delphi. Столкнулся с тем, что стандартный  TFilestream  не работает с большим файлом > 2 ГБайт (после вызова функции see...
Vadim Gl
14
добрый день. Подскажите, есть сайт на 1.4.7 и я хочу обновиться, особо ничего не меняя. мне выбирать версию 1.4.35 или третью ветку? и можно ли обновлять "как есть", или нужно...
Digital Cat
12
народ, плиз хелп, всю голову сломал себе уже... разве может быть так, что GetProcAddress( GetModuleHandle( "kernel32.dll" ), "SetThreadDescription" ) вернёт ненулевое значение...
Iluha Companets
12
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Кстати, что за тип булеана, который в памяти как 00 для фолса и 01 для тру отображается? Однобайтовый
Serjone
8
ребят подскажите почему матрица не транспонируется? #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <math.h> #include <locale.h> #define N 7 int main() { int...
† C E †
1
Карта сайта