Приветствую, есть задача (возможно тривиальная), звучит примерно так: по тикеру

Question

Приветствую, есть задача (возможно тривиальная), звучит примерно так: по тикеру

необходимо смотреть накопленные задачи (которые копятся постоянно) и выполнять их в бэкграунде. В нынешнем исполнении запуск горутин в сервисе ничем не контролируется, просто запускается столько, сколько нужно, будет 1000 задач - запустится 1000 горутин, ну и я так понимаю под должной нагрузкой это быстренько всё схлопнется. Судя по прочтённым мною статейкам в гуглах, разруливают это всё запуском N-ого кол-ва "воркеров", которые будут читать буферизированный канал в который будут прилетать задачки. Вопрос: как оценивать емкость канала, кол-во воркеров и как эти параметры должны изменяться? Или может быть это хардкод какой-то "золотой середины" константой, как взрослые люди решают такие вопросы?

#backend #go #programming #russian

0

12.07.2021

13 ответов

17 просмотров

Mansur Автор вопроса

Руслан Бикчентаев
А зачем тикать? Буферизований канал все решит.

Тикает бизнес логика, условно, раз в 5 секунд необходимо проверять задачи, фетчить и отдавать воркерам делать их в бэкграунде. Но вопрос был не в этом.

0

12.07.2021

Mansur Автор вопроса

Руслан Бикчентаев
А зачем тикать? Буферизований канал все решит.

Поправил вопрос, чтобы никого не запутывало "тикание"

0

12.07.2021

🦄

кажется в том числе для этого взрослые изобрели кубернетис ) но вообще я бы дал тестовую нагрузку и посмотрел бы где и по каким параметрам проседание, оттуда бы уже стало понятней что и как тюнить

0

12.07.2021

Mansur Автор вопроса

🦄
кажется в том числе для этого взрослые изобрели ку...

Ну до кубернетиса как-то решали же подобные проблемы?) Ну в общем, я правильно Вас понял, что тут метод тыка и наблюдений - единственный инструмент?

0

12.07.2021

🦄

Mansur
Ну до кубернетиса как-то решали же подобные пробле...

ну я не совсем сеньор-архитект, но в целом без конкретики задача звучит как "оптимизируй это" и ее сиквел "масштабируй это" )

0

12.07.2021

Mansur Автор вопроса

🦄
ну я не совсем сеньор-архитект, но в целом без кон...

Понял, и еще попутный вопрос, в тех же статейках пишут о "воркерах" как о статических сущностях, мол они созданы однажды и работают, т.е. всегда активны N-ое кол-во горутин вне зависимости от нагрузки (я понимаю, что в статейках задача обычно передать суть, а детали реализации уже дело каждого). Вопрос: кажется ли Вам, что нужно как-то менеджить подобные моменты или это экономия на спичках?

0

12.07.2021

Руслан Бикчентаев

Возвращаясь. Задачи копятся— где? Чисто технически удобнее сразу класть их в буферизованный канал. Воркеры будут его читать сразу по необходимости и не нужно ничего тикать та sleep-ить

0

12.07.2021

Mansur Автор вопроса

Руслан Бикчентаев
Возвращаясь. Задачи копятся— где? Чисто техническ...

Вы зачем-то пытаетесь изменить задачу или переформулировать мой вопрос, ну и про sleep я не упоминал :) Задаем его проще, сколько воркеров нужно и какого размера нужен буферизированный канал? Какими критериями и способами найти нужные размеры и кол-во? Что будет если нагрузка изменится, каждый раз бегать тюнить?

0

12.07.2021

Zver

Mansur
Вы зачем-то пытаетесь изменить задачу или переформ...

Ответа на этот вопрос нет.

0

12.07.2021

Руслан Бикчентаев

Mansur
Вы зачем-то пытаетесь изменить задачу или переформ...

Решал кое шо схоже. Дайте часу - знайду

0

12.07.2021