CURL-запроса. И Symfony Process в 10 минут не успевал. Я, конечно, могу увеличить до 15-20, что будет уже край, но это не решение проблемы.
Данные уже готовые, готовыми приходят ещё с морды. Раз в 10 минут просто по выборке запускаются потоки.
Я понимаю, что PHP не даст нормальную многопоточность. Если писать микросервис - как бы вы это сделали? Если считать, что есть полная выборка задач, все данные и код, грубо говоря, дочернего процесса. И какой язык без особых затрат (под затратами имею ввиду, например, что-то вроде пунктуальности и особой структуры у java, в которую очень не хочется лезть) для этого подойдёт?
я для поисковика брал пул самых дешевых серверов и распуливал им пачку урлов а они уже в одну базу складывали что нужно. пауки работали на пхп.
есть swoole и workerman для такого
Обсуждают сегодня