Генератор robots.txt
Генерирует базовый robots.txt для сайта: правила для всех роботов, закрытые технические разделы, crawl-delay и ссылка на Sitemap.
Что делает robots.txt
robots.txt подсказывает поисковым роботам, какие разделы сайта можно обходить, а какие лучше не сканировать. Он не является защитой приватных данных: закрытые страницы все равно должны быть защищены авторизацией.
Что обычно закрывают
Админку, корзину, личный кабинет, параметры фильтров, внутренние API и технические страницы. Публичные посадочные страницы, карточки товаров и полезные материалы обычно оставляют открытыми.
Sitemap
Ссылка на Sitemap помогает поисковику быстрее находить важные URL. Обычно файл лежит по адресу /sitemap.xml и указывается в конце robots.txt.
Частые вопросы
robots.txt удаляет страницу из индекса?
Не всегда. Чтобы удалить страницу из индекса, используйте noindex или удаление URL. robots.txt только ограничивает обход.
Можно ли закрыть админку через robots.txt?
Можно добавить Disallow, но это не защита. Админка должна быть закрыта авторизацией и не полагаться на robots.txt.