Robots.txt: сценарии применения для разных сайтов

Сценарии настройки robots.txt

1. Интернет-магазин

Закройте страницы корзины, оформления заказа, личного кабинета и результатов фильтрации.

2. Блог на WordPress

Заблокируйте /wp-admin/, /wp-includes/, страницы авторов и тегов (если дублируют категории).

3. SPA-приложение

Убедитесь, что Google может сканировать пререндеренные страницы. Не блокируйте JS-бандлы.

4. Staging-среда

Полностью заблокируйте тестовую версию сайта: `Disallow: /` для всех User-agent.

5. Многоязычный сайт

Разрешите сканирование всех языковых версий и укажите Sitemap для каждой.

6. API-документация

Заблокируйте внутренние эндпоинты, но разрешите публичную документацию.

Создайте robots.txt в Robots.txt генераторе.

Смотрите также: Sitemap генератор, Open Graph Preview, Генератор мета-тегов