169 похожих чатов

Господа, нубский вопрос по эликсиру, но чето не могу нагуглить.

Я для образовательных целей делаю на нем простецкий краулер - зафетчить html, найти ссылки, повторить.

Хочу сделать нескольким процессам-воркерам общую fifo очередь, чтобы они оттуда получали новые урлы, которые бы обрабатвали и обратно в очередь клали ссылки, которые нашли

Кажется, что есть какой-то более элегантный способ, чем подключать fifo библиотеку. Тем более, что есть встроенный хороший способ передавать сообщения в процесс и сделать луп вокруг получения сообщения. Но не могу понять, как его заженить в свою задачу. Сделать мастер процесс, в который все будут присылать найденные ссылки, а мастер процесс через сообщения выдавать задачи?

7 ответов

16 просмотров

Ну да, всё так. Вообще, вариантов несколько и выбор зависит от деталей. Если нужен back-pressure и урлы обрабатываются в пайплайне, то можно через GenStage Если просто нужно как-то плюс-минус равномерно между N кравлерами делить урлы, то достаточно каких-нибудь групп процессов типа pg Если нужно как-то определять какому процессу выделять ссылку, то я бы использовал NimblePool (потому что он умеет в чекаут) и процесс-роутер к нему

да процесс, либо Agent https://hexdocs.pm/elixir/1.13.4/Agent.html - больше подходит под задачу

Anatoly- Автор вопроса
Lama Lover
Ну да, всё так. Вообще, вариантов несколько и выбо...

У меня конкретики никакой нет - сам себе придумал задачку, чтобы разобраться с языком не только в read-only режиме Про GenStage не знал - очень красиво выглядит! Пока что-то очень простое - функция берет ссылку, достает ссылки из ответа и выходит (но, скорее бесконечный цикл) Спасибо за подробный ответ!

Anatoly- Автор вопроса

Я делал кравлера, достаточно мощный получился, очень легко пишется на Broadway, и функционал очень богатый выходит, лучше чем на GenStage. update: там и rate limit и batcher есть, и другие ништяки. Два пейлода будет 1 с http реквестами -> 2 с html парсером, и дальше уже выгружаешь куда нужно результат, и обратно на реквесты новые страницы. Еще отдельно стейт на GenServer создай, чтобы он ссылки по несколько раз не посещал которые уже посещались. В качестве очереди RabbitMQ, хорошо работает.

Anatoly- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
14
#include <stdio.h> #include <stdlib.h> #include <time.h> void mass_first_generate(int mass[5][7]) {     for (int N = 0; N < 5; N++) {         for (int A = 0; A < 7; A++) {   ...
Чувак
6
Всем привет! Решаю 99 OCaml Problems и столкнулся со следующей проблемой (прошу палками не забивать, я OCaml практически не трогал до этого момента): open OUnit2 let create_...
К|/|pи/\/\ 6е3yглbIи
2
Ну вот просто даже давайте вот как. Какой нибудь конкретный кейс, можете в пример привести, где бч работает и приносит прикладную пользу, а не просто что бы было? Не крипту.
Alexander Andreev
22
https://www.linkedin.com/posts/ugama-benedicta-kelechi-codergirl-103041300_mobiledevelopment-fluttertraining-handsonlearning-activity-7263445699227254784-IdHB?utm_source=share...
CoderGirl
16
возможно ли как-то передать в электрон или таури медиа поток с рендера 2д движка? двиг запускается как dll, а дальше надо как-то отправлять рендер кодировать не подходит, зр...
Kyle Nekto
7
Помогите пожалуйста. Делаю систему плагинов. Проблема сейчас в такая: плагины загружаются в основном потоке. FLibHandle := SafeLoadLibrary(FFileName) Но нужно еще выполнить фу...
Илья 🤣
10
Точно, оно. У тебя там имена потоков выставляются?
Александр (Rouse_) Багель
11
объясните пожалуйста, почему функция не работает должным образом? вроде должно брать активное окно сравнивать его размер с размером экрана, и если есть совпадение = true прове...
JF
12
Карта сайта