Crawl-delay: директива

Стандарт исключений для роботов — стандарт ограничения доступа роботам к содержимому на http-сервере при помощи текстового файла robots.txt, находящегося в корне сайта (то есть имеющего путь относительно имени сайта /robots.txt). Действие файла не распространяется на сайты, расположенные на поддоменах.

Следование стандарту добровольно. Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления обходом сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны запрашиваться.

Шадрин Даниил

Первый раз прикоснулся к Digital Marketing в 2019 году. До этого 2 года работал Full Stack WordPress Developer. Одно из моих хобби - это анализ поведения людей.Провожу БЕСПЛАТНЫЕ SEO консультации.

Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *