админки, если в корне сайта не создан свой robots то данные робота берутся из данных настроек, где можно отключить этот стандартный роботс админки? Так чтобы при обращении к /robots.txt выдавалось 404? или я вообще хочу сделать перенаправление в том куске кода на другой файл роботс
это не настройка, это и есть файл удалить его и не жать в админке создать
странно но у меня даже если не создал, то все равно открывается пустой файл, после того как я даже удалил его.
в картах также проверить, чтобы не было опции добавления карты в robots
настройки хостинга могут быть если какой таймвеб, то там ничего не сделать с этим
В файле .htaccess наверное есть что-то наподобие RewriteCond %{REQUEST_FILENAME} robots.txt # если запрашивается роботс RewriteCond %{DOCUMENT_ROOT}/robots.php -f # если файл php существует RewriteRule ^(.*)$ /robots.php [L] Можно закомментировать эти строки и будет 404
возможно nginx закешировал файлик, попробуй добавить ?v1 после txt. если не выдаст, то значит кеш
добавил, роботс все равно открывается
Обсуждают сегодня