Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Привет. У меня 20 воркеров, которые делают одну и ту же
работу в одних и тех же условиях, но почему-то у одних воркеров LAG большой, а у других маленький. Есть какие-то очевидные причины почему так может быть?
7 ответов
а колво сообщений в партициях одинаковое примерно?
data locality?
Dmytro
Striletskyi
Автор вопроса
а колво сообщений в партициях одинаковое примерно?
Да. Даже те воркеры, у которых LAG меньше, заасайнены в партишены, у которых сообщений больше.
Да. Даже те воркеры, у которых LAG меньше, заасайн...
а насколько больше лаг?
Dmytro
Striletskyi
Автор вопроса
а насколько больше лаг?
В 5-20 раз разница (по-разному), в основном это где-то 30% самый большой, 30% средний, и 30% совсем маленький. Например, 7 воркеров по 10К, 7 по 3К, 7 по 180.
В 5-20 раз разница (по-разному), в основном это гд...
может такое быть что флуктуация в логике обработки сообщений? БД тормозит, разные мощности у машин, разная логика для разных сообщений?
Сначала проверь распределение данных по партициям, хеширование несовершенно и вполне может быть, что у тебя одни партиции переполнены, в то время как другие пустуют. Если не это, то проверь байтрейт на все участвующие машины, если сетевая проблема, что случается часто, особенно на облаках, то некоторые воркеры просто физически не получают свои данные с той же скоростью, с которой их получают остальные. И только потом можно грешить на 1) виртуализацию, 2) рантайм и конфигурацию приложения и 3) железо в том порядке, в котором я озвучил. Это из моего личного опыта с такими проблемами.
Похожие вопросы
Обсуждают сегодня