Всем привет! Стоит задача написать сервис для генерации .pdf документов на

ноде
Понятно что это типично не нодовская задача - один процесс и он надолго будет занят задачей генерации документа.
Как можно улучшить данную ситуацию?
При такой организации на нагруженном сервисе придется плодить сотни инстансов сервисов для генерированию .pdf для клиентов

Наверняка кто-то сталкивался с такой задачей.
Поделитесь советом пожалуйста

Не сталкивался, но в голову сразу лезет вариант с отдельными воркерами для генерации по количеству ядер в системе, и очередь на генерацию в мастер-процессе

в контейнерных средах обычно принято выделять на сервис не более 1 процессора потянет ли такая конфигурация множество воркеров?

Отдельный сервис, который сидит в отдельном процессе, получает задачи в очередь и разгребает её

это понятно ) вопрос в производительности - один поток много не нагенерит а юзеров дохрена и всем нужно )

Масштабируйте по количеству потоков =) Для стабильной работы нужно минимум 2 потока - один на сервер, и 1 на генератор pdf. Ну и соответственно добавлять ядра по необходимости, если очередь на генерацию будет слишком большая. Как вариант присмотреть сервера на ARM, вам важнее количество ядер, а не их производительность

А точно не нагенерит? Ну и важно насколько приемлемо заставлять пользователей ждать. На самом деле может быть так, что одного процесса хватит

а можно вернуться к вопросу о процессах - сколько их можно параллельно обслуживать на 1м ядре или параллельность тут все же за счет переключения основного процесса между попроцессами реализована?

Запускать больше 1 процесса на 1 ядре плохая затея. Вы только потеряете в производительности на переключениях контекста ядра. Тут вопрос в том, какое вам нужно время ответа от сервера и время генерации.

Это откуда такая информация?

ага, значит я правильно понял что "параллельные" процессы в ноде на 1м ядре будут псевдопараллельными ) для реальной параллельности нужно несколько ядер

Для вашей задачи есть куча инструментов в виде Airflow или Camel

От спецификации процессоров. Если впихнуть невпихуемое на одно ядро - просто будет постоянное состояние гонки. Особенно если эти процессы асинхронные

блин, ну это еще один костыль в инфраструктуру ( хотелось бы своими силами решить а не тянуть чужие решения которые нужно изучать настраивать и поддерживать

Ну вы любое приложение откройте, посмотрите сколько оно делает форков и проведите корреляцию между числом ядер, так-то в облаках реальные ядра очень редко дают, обычно они там виртуальные

Это не костыль, а Enterprise решение

я наверное резко выразился - для нас сейчас это проблематично - мы еще не дошли до стадии entrerprise

Можете реализовать простое OLTP, будет прекрасно запихнуть создание pdf в serverless, тогда избежите проблемы с будущим масштабированием

для серверлесс нужна инфраструктура, а мы хостимся у себя)