Доступность сайта для ботов нейросетей: что проверить в robots, защите от ботов и рендеринге

Раньше SEO-специалист следил, чтобы сайт видели боты Яндекса и Google. Теперь к ним добавились боты нейросетей. Если вы случайно закрыли их в robots или защита от DDoS отбивает их как подозрительных, ваш контент для нейроответов просто не существует.

Невидимая страница не проигрывает в нейровыдаче. Она в ней просто не участвует.

Что проверить в robots.txt

robots.txt — это файл, где сайт говорит ботам, что можно читать, а что нельзя. Многие сайты по шаблону закрывают всех «неизвестных» ботов. Решите осознанно, каких ботов пускать: если цель — видимость в нейроответах, не закрывайте их в нужных разделах. Служебные разделы по-прежнему закрывайте.

Защита от ботов и CDN

Сервисы защиты от DDoS и накрутки могут показывать капчу или блокировать краулеры. Проверьте настройки: полезные боты поисковиков и нейросетей должны проходить. Смотрите логи сервера — видно, кто приходит и с каким ответом.

Рендеринг: видит ли бот текст

Если контент подгружается JavaScript-ом уже после загрузки страницы, часть ботов увидит пустую страницу. Отдавайте готовый HTML — серверный рендеринг или пререндер.

Десять ситуаций сжато: что проверить и как исправить

• Интернет-магазин на React или Vue. Откройте исходный код карточки (Ctrl+U): есть ли там название, цена и описание? Если нет — серверный рендеринг или пререндер.
• Медицинский центр за защитой от DDoS. Смотрим логи на ответы 403 и капчу для ботов. Добавьте полезных краулеров в исключения.
• Блог SaaS-сервиса. Нет ли в robots.txt запрета для GPTBot, ClaudeBot, PerplexityBot на разделе /blog/? Блог и справку откройте, личный кабинет оставьте закрытым.
• Юридическая фирма на шаблонной CMS. Нет ли правила, закрывающего всех ботов, кроме Яндекса и Google? Перепишите robots.txt по разделам.
• Новостное издание. Решите по разделам: анонсы и бесплатные материалы откройте, платные — закройте. Это компромисс между защитой контента и шансом стать источником.
• Строительная компания на конструкторе. Цены и состав проектов должны быть текстом, а не в картинках и виджетах: бот их не прочитает, и нейросеть возьмёт данные у конкурента.
• Агрегатор объявлений. Жёсткие лимиты частоты запросов в CDN обрезают обход. Поднимите лимит для проверенных краулеров, оставив защиту от парсеров.
• Производитель оборудования с PDF-каталогом. Вынесите ключевые характеристики в текст страницы, PDF оставьте как дополнение.
• Сеть клиник или салонов. Страницы филиалов должны быть в sitemap.xml, адрес и часы работы — текстом.
• Сайт на тяжёлых скриптах. Медленный или падающий сервер краулер воспринимает как недоступный сайт: проверьте время ответа и ошибки 5xx.

Чек-лист

• Нужные разделы открыты в robots.txt
• Защита от ботов не блокирует полезных краулеров (проверено по логам)
• Текст виден в исходном коде страницы без JavaScript
• Сервер отвечает быстро и без ошибок
• Страницы есть в sitemap.xml

Типичные ошибки

• Оставить шаблонное «закрыть всех неизвестных» и забыть.
• Не смотреть логи сервера.
• Держать цены и характеристики только в картинках, виджетах или PDF.
• Считать проверку разовой: после правок снова посмотрите логи через неделю.

А как же файл llms.txt? По наблюдениям практиков, боты нейросетей его не запрашивают. Важнее открытый robots, доступный HTML и качественный контент.

Не украдут ли нейросети ваш контент? Это компромисс: закрываете ботов — защищаете контент, но теряете шанс быть источником ответа. Решение принимайте по разделам, а не оптом.

Что это значит для заказчика

Попросите подрядчика показать вам выдержку из robots.txt и логов, а ещё проверку исходного кода ключевых страниц. Материалы по теме: конкуренты в нейровыдаче, как попасть в нейроответы, технический SEO-аудит, паразитное SEO и нейровыдача.