7 мин чтения
2026-02-08
Robots.txt — текстовый файл в корне сайта, который указывает поисковым роботам, какие страницы можно сканировать, а какие нельзя. Файл располагается по адресу `example.com/robots.txt`.
| Директива | Описание |
|---|---|
| User-agent | Для какого робота правило |
| Disallow | Запрет сканирования пути |
| Allow | Разрешение (приоритетнее Disallow) |
| Sitemap | Ссылка на карту сайта |
| Crawl-delay | Задержка между запросами |
Запретить всем роботам весь сайт: `Disallow: /`
Запретить только админку: `Disallow: /admin/`
Разрешить всё: оставить `Disallow:` пустым
Выберите, каким роботам задать правила
Укажите запрещённые и разрешённые пути
Добавьте ссылку на Sitemap
Скопируйте готовый файл и загрузите в корень сайта
Robots.txt — это рекомендация, а не запрет. Злонамеренные боты могут игнорировать его
Не используйте для скрытия конфиденциальных данных
Google может индексировать URL даже при Disallow, если на него ведут ссылки
Смотрите также: Sitemap генератор, Генератор мета-тегов, Проверка заголовков