то ее ограничить можно только в robots.txt или еще каким то другим образом? заранее спасибо.
в инструментах вэбмастеров ещё можно (по крайней мере у яндекса было)
Можно по юзер агенту побанить их нафиг =)
Ещё можно фильтровать запросы по User Agent и по IP :)
Обсуждают сегодня