MQ на наличие месседжа с URL. Как только от MQ приходит месседж, демон лезет по урлу, парсит и сохраняет что тебе надо куда тебе надо.
2) Плодишь несколько штук таких демонов.
3) Пишешь еще один скрипт, который лазает по сайту, сохраняет только URL и пихает их в MQ. Например, урлы товаров в категории. Ну а дальше см п.1
4) ???
5) Многопоточность!
сначало была такая задумка, но какой в этом профит собственно
... не делать это на пхп)
а такой подход впринципе не только в пхп применим?
Обсуждают сегодня