Пытаюсь понять gen_stage. Может кто-нибудь ткнуть на какую-нибудь статью или подсказать

Question

Пытаюсь понять gen_stage. Может кто-нибудь ткнуть на какую-нибудь статью или подсказать

как лучше организовать:
есть список каких-то абстрактных объектов. Продюсер и консюмер я запускаю при старте приложения.
Хочу этот список объектов толкнуть в продюсер вручную, чтобы он делал какую-то работу по каждому объекту и дальше отдавал в консьюмер результат.

Как это лучше сделать? )

#elixir #programming #russian

0

01.09.2023

13 ответов

8 просмотров

Maxim Автор вопроса

Fried Zucchini
емнип ген стейдж немного про другое — это не "толк...

отработало и приложение завершило работу? И если надо еще обработать данные, опять запускать его?

0

8 месяцев назад

Ilya Borovitinov

Не считая дополнительной бизнес-логики, вот пример такого продьюсера в нашей кодовой базе. Буквально позволяет класть объекты в себя, делает доп работу, и отправляет по мере запросов в консумер. Разница только в том что хранит в ETS и не удаляет сразу после отправки, а ждёт "acknowledgement" от консумера https://github.com/electric-sql/electric/blob/main/components/electric/lib/electric/replication/satellite_collector_producer.ex

0

8 месяцев назад

heathen

посмотри, кстати, на Broadway. более высокоуровневая штука поверх gen_stage с кучей плюшек. свой producer написать туда несложно. много статей в гугле есть на эту тему. вот какая-то относительная свежая статья, только что нашёл в гугле, подробно не читал, но после поверхностного взгляда явной лажи схожу не увидел (это не значит, что её там нет): https://softwaremill.com/constructing-effective-data-processing-workflows-using-elixir-and-broadway/

0

8 месяцев назад

john conor 

heathen
посмотри, кстати, на Broadway. более высокоуровнев...

сколько раз пытался применить -у меня все просто в пул воркеров вырождалось, может я неправильно мыслил?

0

8 месяцев назад

Źmićer Rubinštejn

john conor 
сколько раз пытался применить -у меня все просто в...

А почему это плохо?

0

8 месяцев назад

john conor 

Źmićer Rubinštejn
А почему это плохо?

хотелось хоть гдето применить

0

8 месяцев назад

heathen

john conor 
сколько раз пытался применить -у меня все просто в...

может, задачи не те были для broadway? если можно, раскройте чуть подробнее задачу и почему в пул воркеров всё превращается?

0

8 месяцев назад

Lama Lover

heathen
посмотри, кстати, на Broadway. более высокоуровнев...

Никому не советую использовать Broadway. Там нет и половины заявленного функционала. Из Broadway можно использовать только адаптеры к очередям, и всё

0

8 месяцев назад

Źmićer Rubinštejn

Lama Lover
Никому не советую использовать Broadway. Там нет и...

А чего именно нету и почему никто на спаунфесте еще не допилил?

0

8 месяцев назад

Lama Lover

Źmićer Rubinštejn
А чего именно нету и почему никто на спаунфесте ещ...

Потому что не нужно. Нет параллельных процессоров, и нет многоэтапности. То есть Бродвей может просто батчить сообщения из продюсеров, и процессить их в одном степе и всё

0

8 месяцев назад

heathen

Lama Lover
Никому не советую использовать Broadway. Там нет и...

Прекрасно использую Бродвей без родных адаптеров, потому что источник данных другой. ЧЯДНТ? 🤷🏼‍♂️

0

8 месяцев назад

Lama Lover

heathen
Прекрасно использую Бродвей без родных адаптеров, ...

Как ты его используешь?

0

8 месяцев назад