Добрый день. Есть одна задача, опросить примерно 1500-2000 клиентов по

Question

Добрый день. Есть одна задача, опросить примерно 1500-2000 клиентов по

телнету, выполнив определенные команды и сохранив результат в едином месте после выполнения. (Пусть будет жсон)

На голанге я решил это так, одновременно запустив несколько сотен горутин на каждый клиент по одной и сохраняется результат через канал в массив. После завершения опроса, массив преобразовывается в жсон и пишется в файл.
Итог две-три минуты, 30-35 мб памяти и все клиенты опрошены, но сейчас похожая задача и ее надо выполнить на ноде.

А именно интересует:

* Запустив асинхронно пару сотен заданий, как можно сохранить все в json?
* Каждая асинхронная функция будет открывать этот файл и писать результат в нее? Не лучше ли это делать синхронно?
* Можно ли как то это обойти, например, сохранив все в один массив и потом его уже записать в файл? Имеет ли это смысл?
* Запускать опрос сразу всех клиентов, как мне кажется глупо, так что надо запускать частями, как можно отследить выполнение всех запущенных асинхронных функций?
* Возможно ли вообще сохранить вывод всех асинхронных функций в одном массиве?

Спасибо.

#backend #javascript #node.js #programming #russian

0

15.07.2021

10 ответов

24 просмотра

Sergey 🧻🤲

Какой интересный вопрос. Почему в ноде глупо делать запрос сразу ко всем клиентам, а в го - не глупо?

0

15.07.2021

Vladimir Автор вопроса

В го тоже считаю глупо, так как я запускал в 250 горутин, памяти занято было, 30мб примерно, запускал 400 горутин, уже занимало 100-120мб памяти, тысячу не запускал.

0

15.07.2021

✙ Nikita 🇺🇦🇵🇱🇱🇻🇱🇹🇪🇪🇺🇸🇬🇧🇨🇿🇫🇷🇩🇪🇮🇹🇧🇬🇹🇼🇯🇵🇰🇷🇹🇷🇪🇸🇬🇷

а нельзя запустить 100 горутин и сделать их воркерами, чтобы хавали каждого клиента через каналы. или в задаче нужно чем быстре сделать?

0

15.07.2021

Alhimik [frozen]

Создаёшь очередь. Туда складываешь все задачи. Потом запускаешь пачку асинхронных функций, например 10. И внутри каждой функции берёшь задачу из очереди, обрабатываешь и результат складываешь в другую очередь. Когда одна очередь опустеет, а вторая заполнится, сохранишь весь результат.

0

15.07.2021

Vladimir Автор вопроса

Можно, да и уже не нужно, оно сделано, сдано и работает уже примерно год. Сейчас на ноде надо сделать. :)

0

15.07.2021

Vladimir Автор вопроса

Спасибо, попробую.

0

15.07.2021

Vladimir Автор вопроса

Ограничений по времени, конечно нету, но это будет довольно долго, если одно подключение будет выполняться, например 20 секунд, пока выполнятся все необходимые команды. В 10 асинхронных функций, за 20 секунд будет опрошено 10 адресов, значит 1000 будет за 2000 секунд, в идеальном мире. Почему такое ограничение в 10 функций? Если запустить в 100, например, может быть съедено много памяти?

0

15.07.2021

Alhimik [frozen]

Нет, это было для примера. Сколько нужно столько и делай. Лишь бы сервис не заблокировал за большое количество подключений.

0

15.07.2021

Vladimir Автор вопроса

А понял. :)

0

15.07.2021

Алексей Попов · Accepted Answer

Алексей Попов

Лучше сформировать json в памяти и записывать его только когда чсе данные получены

0

15.07.2021

170 похожих чатов

Добрый день. Есть одна задача, опросить примерно 1500-2000 клиентов по

10 ответов

Похожие вопросы