5 советов по настройке robots.txt

5 советов по robots.txt

1. Не блокируйте CSS и JS файлы

Googlebot должен видеть стили и скрипты для правильного рендеринга страниц. Блокировка ресурсов ухудшает ранжирование.

2. Всегда указывайте Sitemap

Директива `Sitemap: https://example.com/sitemap.xml` помогает роботам найти все страницы сайта.

3. Закройте служебные разделы

Заблокируйте технические страницы: /admin/, /api/, /tmp/, страницы поиска и фильтрации.

4. Проверяйте через Google Search Console

Инструмент проверки robots.txt в Search Console покажет, какие URL заблокированы.

5. Используйте подстановочные знаки осторожно

Символ `*` блокирует все совпадающие пути. `Disallow: /*.pdf$` заблокирует все PDF, включая полезные.

Типичные ошибки

Смотрите также: Sitemap генератор, Плотность ключевых слов