dev использовалась для тестов, разработки. Сейчас при поиске “test” в Яндексе выходят оба сайта. Мы добавили на сайте dev.test.ru в robots.txt запрет индексации всего сайта.
Но ведь он все равно будет выходить в поиске? Но просто будет написано:
«Владелец сайта предпочел скрыть описание страницы»
Вопрос: как вообще удалить сайт из поиска ? Чтобы вообще в выдаче он не выходил
Если уже закрыл, выпили в вебматере и GSC специальными инструментами
Ну я прячу чтоб сайт открывался только с моего ip или показать только авторизованному
Авторизацию на дэве сделайте по логину и паролю. Краулеры не будут попадать туда. А чтобы почистить все уже попавшее в индекс, на сервере юзер агентам поисковиков можно 404 отдавать на все страницы.
Обсуждают сегодня