Я для образовательных целей делаю на нем простецкий краулер - зафетчить html, найти ссылки, повторить.
Хочу сделать нескольким процессам-воркерам общую fifo очередь, чтобы они оттуда получали новые урлы, которые бы обрабатвали и обратно в очередь клали ссылки, которые нашли
Кажется, что есть какой-то более элегантный способ, чем подключать fifo библиотеку. Тем более, что есть встроенный хороший способ передавать сообщения в процесс и сделать луп вокруг получения сообщения. Но не могу понять, как его заженить в свою задачу. Сделать мастер процесс, в который все будут присылать найденные ссылки, а мастер процесс через сообщения выдавать задачи?
Ну да, всё так. Вообще, вариантов несколько и выбор зависит от деталей. Если нужен back-pressure и урлы обрабатываются в пайплайне, то можно через GenStage Если просто нужно как-то плюс-минус равномерно между N кравлерами делить урлы, то достаточно каких-нибудь групп процессов типа pg Если нужно как-то определять какому процессу выделять ссылку, то я бы использовал NimblePool (потому что он умеет в чекаут) и процесс-роутер к нему
да процесс, либо Agent https://hexdocs.pm/elixir/1.13.4/Agent.html - больше подходит под задачу
У меня конкретики никакой нет - сам себе придумал задачку, чтобы разобраться с языком не только в read-only режиме Про GenStage не знал - очень красиво выглядит! Пока что-то очень простое - функция берет ссылку, достает ссылки из ответа и выходит (но, скорее бесконечный цикл) Спасибо за подробный ответ!
Спасибо за ссылку! Разберусь
Я делал кравлера, достаточно мощный получился, очень легко пишется на Broadway, и функционал очень богатый выходит, лучше чем на GenStage. update: там и rate limit и batcher есть, и другие ништяки. Два пейлода будет 1 с http реквестами -> 2 с html парсером, и дальше уже выгружаешь куда нужно результат, и обратно на реквесты новые страницы. Еще отдельно стейт на GenServer создай, чтобы он ссылки по несколько раз не посещал которые уже посещались. В качестве очереди RabbitMQ, хорошо работает.
тогда уж стейт и в бд можно класть
Ооо, прекрасно! Спасибо
Обсуждают сегодня