Disallow: директива

Одна из директив которая используется для исключения для роботов в файле robots.txt.

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это либо User-agent, либо Disallow.

В директиве User-agent указываются роботы, которые должны следовать указанным инструкциям (например, User-agent: YandexUser-agent: YandexBotUser-agent: *).

Сравнение производится методом простого поиска подстроки. Например, запись

Disallow: /about

Шадрин Даниил

В интрнет маркетенге с 2019 года. До этого 2 года разрабатывал сайты под управлением CMS WordPress. Делаю таргет в Facebook/Instagram. Основная работа SEO продвижение. Провожу БЕСПЛАТНЫЕ SEO консультации.

Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *