184 похожих чатов

День добрый, коллеги. Хочется собрать приложение на Google Cloud Function,

которое будет принимать реквесты и кидать в их Pub/Sub сервис, с которого второе GCF будет брать мессаджи и распихивать в нужные таблицы Click House. Но есть нюанс, что GCF воркер срабатывает на каждое сообщение Pub/Sub сервиса и нет возможности читать батчами, т.е. ничего не остается как писать в CH по одной записи. Я полистал историю чата, но не понял до конца чем это чревато, кроме падения производительности самого CH. Растолкуйте кто-то пожалуйста?

3 ответов

11 просмотров

Обычно подобное делают через кафку - туда все пишется, а в КХ батчами перекладывается.

Можете попробовать kittenhouse, но его нужно тоже где-то будет развернуть, но его настраивать (как мне кажется) проще, чем кафку :).

это бред, если у вас GFS будет срабатывать на каждый месадж и каждый обрабатывать по одному у вас счет будет вагон денег и тормозить будет просто ужасно.

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
7
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Добрый день, чат. Мне в очередь из других RabbitMQ по shovel валятся метрики в формате текста для Prometheus. Помогите пожалуйста подружить RabbitMQ и Prometheus, чтобы он (...
Aleksey
4
@ahndmn @ayaw0_0 здарова, на чем пишете?
Aiwan \ (•◡•) / _bot
7
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Карта сайта