Crawl-delay: директива

📖 2 мин

Стандарт исключений для роботов — стандарт ограничения доступа роботам к содержимому на http-сервере при помощи текстового файла robots.txt, находящегося в корне сайта (то есть имеющего путь относительно имени сайта /robots.txt). Действие файла не распространяется на сайты, расположенные на поддоменах.

Следование стандарту добровольно. Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления обходом сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны запрашиваться.

  • Рубрики
  • Шадрин Даниил

    В интрнет маркетенге с 2019 года. До этого 2 года разрабатывал сайты под управлением CMS WordPress. Делаю таргет в Facebook/Instagram. Основная работа SEO продвижение. Провожу БЕСПЛАТНЫЕ SEO консультации.

    Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *