« Все посты

Crawl-delay: директива

Аватар
SEO/WordPress
1 мин чтения

Стандарт исключений для роботов — стандарт ограничения доступа роботам к содержимому на http-сервере при помощи текстового файла robots.txt, находящегося в корне сайта (то есть имеющего путь относительно имени сайта /robots.txt). Действие файла не распространяется на сайты, расположенные на поддоменах.

Следование стандарту добровольно. Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления обходом сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны запрашиваться.

Шадрин Даниил

В интрнет маркетенге с 2020 года. До этого 2 года разрабатывал сайты под управлением CMS WordPress. Делаю таргет в Facebook/Instagram. Основная работа SEO продвижение. Провожу SEO консультации.

Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

Добавить комментарий

Ваш адрес email не будет опубликован.