52 похожих чатов

Битрикс для разработчиков Битрикс для разработчиков
Чат экстремального погром... Чат экстремального погром...
Qt Qt
symfony symfony
Ansible Ansible
Unity Engine: вопрос - от... Unity Engine: вопрос - от...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
Боты на Telegraf Боты на Telegraf
Data Science Chat Data Science Chat
Android Architecture Android Architecture
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
Unreal Engine Unreal Engine
☁️ AWS_RU ☁️ AWS_RU
Blender_ru: вопрос-ответ. Blender_ru: вопрос-ответ.
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
Git Git
Big Data Science :: AI / ... Big Data Science :: AI / ...
pro.kafka pro.kafka
3ds Max 3ds Max
DevsHelper DevsHelper
1C 1C
Вокруг да около Zigbee Вокруг да около Zigbee
Android Declarative Android Declarative
freebsd_ru freebsd_ru
Atlassian Community - Rus... Atlassian Community - Rus...
Чат про Fusion 360 и 3D Чат про Fusion 360 и 3D
ru_gitlab ru_gitlab
OctoberCMS OctoberCMS
Godot Engine (Russian) Godot Engine (Russian)
MySQL MySQL
Yii Framework 2 Yii Framework 2
Data Engineers Data Engineers
Чат Tableau Чат Tableau
Cinema 4D Cinema 4D
Software Design/Architect... Software Design/Architect...
Evolution CMS Evolution CMS
Odoo talks & fun Odoo talks & fun
pro.buildsystems pro.buildsystems
Webpack — русскоговорящее... Webpack — русскоговорящее...
Yii Framework 3 Yii Framework 3
QA juniors QA juniors
RUSCADASEC community: Киб... RUSCADASEC community: Киб...
ru_hashicorp ru_hashicorp
Grafana Loki Grafana Loki
VictoriaMetrics_ru VictoriaMetrics_ru
Google Cloud Platform_ru Google Cloud Platform_ru
.NET Group .NET Group
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
Netbeans [RU] Netbeans [RU]
pro.kafka pro.kafka
Eduard-V

Привет всем Есть нужда писать большим throughput в географически удаленную кафку. Правильно

ли я понимаю, что есть 2 варианта:
1) увеличивать буферы и batch.size на продьюсере и message.max.bytes на брокере
2) увеличить max.in.flight.requests.per.connection и буферы?

#kafka #russian #software
0

6 ответов

10 просмотров
Юра-Ходырев

Привет. max.in.flight.requests.per.connection не думаю что поможет. Повышать batch.size и на продьюсере увеличивать размер сообщения. Но не стоит забывать, о том, что размер сообщения будет для всех увеличен. Может сказаться на производтельности

0
13.01.2022
Eduard-V Автор вопроса
Юра Ходырев
Привет. max.in.flight.requests.per.connection не д...

вот как раз и хочу попробовать увеличить количество запросов одновременных, так как запас по сети есть а продьюсер просто сидит и ждет пока брокер пришлет ack на дефолтные 5 одновременных message по мегабайту каждое :)

0
13.01.2022
Юра-Ходырев
Eduard V
вот как раз и хочу попробовать увеличить количеств...

из твоего прошлого сообщения понял, что тебе нужно слать сообщения большого объема, а не просто большую скорость на запись сделать))

0
13.01.2022
Eduard-V Автор вопроса
Юра Ходырев
в этом кейсе да, должно помочь

стало лучше, но все равно в 2 раза медленнее чем в локальную кафку писать похоже пора расчехлять отладчик

0
13.01.2022
Юра-Ходырев
Eduard V
стало лучше, но все равно в 2 раза медленнее чем в...

А остальные настройки у продюсера подтюнены? Был хороший ролик от Кошелева Григория. По разгону продюсера

0
13.01.2022

Похожие вопросы

pro.kafka pro.kafka / Сергей
Подписаться

Всем привет Есть у кого опыт использования MirrorMaker2 с переливом оффетов? Я делаю сейчас на своих кластерах и он чушь какую-то переливает.

#kafka #russian #software
21.07.2023
0
40 ответов
pro.kafka pro.kafka / Aliaksei
Подписаться

Привет, у меня вопрос к экспертам :) Кафка старая 2.0.0 при добавлении нового сервера не меняли настройки для репликации __consumer_offsets топика (системного) но при апдейт...

#kafka #russian #software
16.11.2023
0
16 ответов
pro.kafka pro.kafka / Nikolay Didenko
Подписаться

А при unclean.leader.election.enable=true если лидер пропал, то оставшиеся реплики (которые не insync) никак не смогут проголосовать и выбрать нового лидера самостоятельно? На...

#kafka #russian #software
20.11.2023
0
22 ответов
pro.kafka pro.kafka / alexander rainchik
Подписаться

Ребята, я тут уже обгуглился) может кто решал подобную задачу (кажется типичной) и сможет подсказать. Дано - aws msk, уже вовсю пару лет в продакшене, нет ни авторизации, ни ...

#kafka #russian #software
03.08.2023
0
21 ответов
pro.kafka pro.kafka / Marek Kotovsky
Подписаться

А можно подробнее о платных фичах?

#kafka #russian #software
05.08.2023
0
33 ответов
pro.kafka pro.kafka / David Smyr
Подписаться

ребят, можно сделать чтобы в кафке при получении данных она их валидировала?

#kafka #russian #software
22.08.2023
0
29 ответов
pro.kafka pro.kafka / Chnbvcb
Подписаться

Приветствую. Пускаю 3 KRaft брокера на localhost. config/kraft/server0.properties: node.id=1 controller.quorum.voters=1@localhost:9093,2@localhost:9095,3@localhost:9097 liste...

#kafka #russian #software
17.10.2023
0
5 ответов
pro.kafka pro.kafka / S P
Подписаться

получается, что если у меня в кластере будет два брокера, то это можно считать отказоустойчивостью? (на верхнем уровне) И если у меня первый брокер выходит из строя, то остав...

#kafka #russian #software
17.11.2023
0
16 ответов
pro.kafka pro.kafka / Sergey V
Подписаться

Коллеги, приветствую. В кафке новичок, поэтому заранее прошу прощения за возможно глупые вопросы. Есть интеграционные тесты на питоне, при их запуске поднимается kafka(3.2.3-d...

#kafka #russian #software
03.11.2023
0
2 ответов
pro.kafka pro.kafka / Damian Stas
Подписаться

кто нибудь имел такую ошибку [2023-07-21 09:37:56,442] WARN [SocketServer listenerType=ZK_BROKER, nodeId=3] Unexpected error from /172.18.0.1; closing connection (org.apache.k...

#kafka #russian #software
21.07.2023
0
6 ответов
Смотреть еще
pro.kafka pro.kafka
Подписаться
Вопросов 5405
Ответов 10778
Участников 3493
Telegram @proKafka

Обсуждают сегодня

Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Добрый день, не подскажите, если в OC-V3 поменять страндартную директорию /storage/ на /storage2/ - не будет сильно много проблем ?
Max Dubovsky
32
Всем привет. Нужна платная консультация от тех, кто сталкивался с октябрём в кластере или шарит оч хорошо в цмс. Проблема следующая: после переноса в кластер октябрь начал ...
wl
8
Каким то образом можно определить ширину экрана пользователя перед загрузкой partial-а? Надо рассчитать ширину кадров слайдера для ресайза картинок для container-fluid.
Point 111
22
а я честно сказать не понимаю - нахуя идти учиться на вышку или еще куда-либо и при этом нихуя не делать, типа зачем ? просто корку получить, а нахуй она нужна тогда ?
Eugene Неелов
7
А сколько часов мак держит зарядку в рабочем режиме? Например мой Redmi Mac (просто наклейка от айфона осталась, налепил) по началу держал часов 5 с парой открытых штормов и ...
Ross
8
Ребят, а вот такой вопрос: если я владелец бота анонимного чата, в котором, например, имеются подписки, используя какую-нибудь ЮКассу (или тому подобное, в общем с налогами, в...
Eugene Неелов
8
зараз якщо створити файл core/custom/define.php з текстом <?php const NO_SESSION = true; можна позбутися сесійних кукі (що зручно, щоб не показувати людям банери про збір та в...
Artur Kyryliuk
1
Ребят, было ли у вас так, что переменные в WebApp —tg-viewport-height, —tg-viewport-stable-height после метода expand не обновляются, а остаются в размерах, как было до expand...
Black
3
Карта сайта