тоже в robots.txt? Есть стандартный robots.txt. Там прописаны disallow для User-agent: *. Они берут это и копируют 2 раза: для яндекса и для гугла. Что блд за прикол? :) Уже не первый раз это фигню замечаю.
Host для Яндекса только
host
Обсуждают сегодня