Правильно ли я понимаю что у них есть свой краулер, который парсит весь интернет и они хранят всю эту огромную базу? И из неё уже вытаскивают ссылки? И периодически обходят базу обновляя данные?
Но это же сотни тысяч гигабайт?
БД весят гораздо меньше фильмачков
Всеравно дофига выходит, если просто даже хранить список url
Обсуждают сегодня