Всем привет! подскажите толковые статьи с лучшими практиками по управлению ресурсами

табло)
ну или поделитесь опытом, как грамотно ограничивать разработчиков в части экстрактов? (кроме разъяснительных бесед😊)
зачастую возникает большая очередь из джобов и нагрузка на диск..

Привет! Большую очередь мы решали увеличением количества backgrounder процессов (в этом случае увеличивается кол-во одновременно выполняемых экстрактов), но это только в случае, если ресурсы CPU позволяют. При этом деградации по скорости выполнения экстракта не наблюдали. По диску — ничего не могу сказать, кроме того, что возможно лучше поставить SSD, если сейчас HDD. Еще можно вынести экстракты на отдельную ноду, если у вас multi-node server

спасибо) у какие-то строгие ограничения на время выполнения джоба не приходилось ставить? на сколько вообще это нормальная практика интересно)

сильно зависит от архитектуры. Я видел экстракты которые по 3 часа делали.

я скоро тоже такие буду видеть походу) понятно, что можно бесконечно расширяться и каждому по серверу табло выдать) просто интересно, есть ли какие-то рабочие инструменты управления, чтобы один разработчик на себя все одеяло не перетягивал

может есть какая-то архитектура подходящая для больших объемов?

Очереди и лимиты на сайты. Или отдельный процесс выкладки специально обученным человеком.

вам уже выше сказали - добавляете ноды с бэкграудндерами

Нужно отслеживать, что 1. Экстракт создан оптимально 2. Экстракт используется. Иначе можно бесконечно расширять ресурсы без явной необходимости. Наш недавний кейс - разработчик создал экстракт, который обновляется около 40 минут, поставил его на полное ежечасное обновление. Нагрузка на сервер высокая, при этом практически постоянная. Как выяснилось, можно было сделать инкрементальное обновление, которое занимает 1 минуту.

есть дефолтное ограничение в 7200 секунд на выполнение экстракта, мы его увеличивали, потому что джобы по таймауту падали

мы делали так - мониторинг экстрактов и job-ов по времени и оптимизация слотов (сессия внутри команды и ревью расписаний). Сделали отчет который "рекомендовал" слот на основе 5 последних ранов - часовые джобы и в часы пик - проходили ревью по шкале "критичности" для бизнеса - отключение того, что не используется больше 90 дней (в дашборды не смотрят если встроенные и подключений к источнику нет если опубликованный) - подкручивали такую настройку set backgrounder.sort_jobs_by_run_time_history_observable_hours но ее увы уже нет - снимали 7200 и делали 1800 - все были довольны) было правило - генерить экракт в течение 30 мин - на время динамически перконфигурировали процессы, чтобы ночью все успели

круто! спасибо)

ну а вообще, мне каж, это классическая производственная задача как максимизировать выпуск деталей на конвеерах :)

у меня есть экстракт на часов 6

ну-ну, этот экстракт собирается строго в ночь на воскресенье