# robots.txt для БОЕВОГО домена orlink.ru — сайт открыт для индексации.
#
# Выложен на orlink.ru 15.10.2026 (новый сервер, ядро WordPress в /wp/ — пути ниже с /wp/).
# Порядок запуска: заменить robots.txt этим файлом И пересобрать сайт без noindex
# (ORLINK_PROD=1 bash work/make_deploy.sh). Одного robots мало: пока он закрыт,
# робот не может прочитать даже noindex со страницы.
#
# Группы повторяются для каждого робота осознанно: робот выполняет ТОЛЬКО
# адресованную ему группу и общий «User-agent: *» при этом не читает. Поэтому
# правила продублированы, а не вынесены в общий блок.
#
# CSS, JS, шрифты и картинки НЕ закрываем: Google и Яндекс рендерят страницу
# целиком, и без стилей она будет оценена как сломанная.

# ---------- Все прочие роботы ----------
User-agent: *
Allow: /
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /wp/wp-login.php
Disallow: /wp/xmlrpc.php
Disallow: /*?s=
Disallow: /*?replytocom=

# ---------- Google ----------
User-agent: Googlebot
Allow: /
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /wp/wp-login.php
Disallow: /wp/xmlrpc.php
Disallow: /*?s=
Disallow: /*?replytocom=

# Отдельной группы для Googlebot-Image здесь НЕТ намеренно: при её появлении
# бот картинок читал бы только её и перестал видеть запреты на /wp-admin/ и
# wp-login.php. Без своей группы он наследует правила Googlebot — это и нужно.

# ---------- Яндекс ----------
# Clean-param убирает из индекса дубли одной страницы с рекламными метками:
# /uslugi/?utm_source=direct и /uslugi/ склеиваются в один адрес.
# Директива только для Яндекса; Google и Bing решают это через canonical,
# который проставлен на каждой странице.
# Host и Crawl-delay не указываем: Яндекс их не поддерживает с 2018 года.
User-agent: Yandex
Allow: /
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /wp/wp-login.php
Disallow: /wp/xmlrpc.php
Disallow: /*?s=
Disallow: /*?replytocom=
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_referrer /
Clean-param: yclid&ymclid&_openstat&gclid&fbclid&from&roistat /

# ---------- Bing ----------
# Crawl-delay Bing поддерживает — на shared-хостинге держим темп обхода в узде.
User-agent: Bingbot
Allow: /
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /wp/wp-login.php
Disallow: /wp/xmlrpc.php
Disallow: /*?s=
Disallow: /*?replytocom=
Crawl-delay: 1

# ---------- Сканеры-паразиты ----------
# Ни к какому поиску отношения не имеют, трафик и нагрузку на shared-хостинг
# создают исправно. Ahrefs и Semrush НЕ закрыты намеренно: ими проверяют
# собственный сайт при SEO-аудите. Закрыть при жалобах на нагрузку.
User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

# ---------- ИИ-краулеры: решение владельца ----------
# По умолчанию РАЗРЕШЕНЫ: запрет убирает сайт из ответов ИИ-поиска, а это
# сегодня заметный источник переходов. Если решите закрыть обучение на своих
# текстах и фото — снимите «# » с блока ниже.
#
# User-agent: GPTBot
# Disallow: /
#
# User-agent: Google-Extended
# Disallow: /
#
# User-agent: ClaudeBot
# Disallow: /
#
# User-agent: PerplexityBot
# Disallow: /
#
# User-agent: CCBot
# Disallow: /

Sitemap: https://orlink.ru/sitemap.xml