Disallow: директива

📖 1 мин

Одна из директив которая используется для исключения для роботов в файле robots.txt.

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это либо User-agent, либо Disallow.

В директиве User-agent указываются роботы, которые должны следовать указанным инструкциям (например, User-agent: YandexUser-agent: YandexBotUser-agent: *).

Сравнение производится методом простого поиска подстроки. Например, запись

Disallow: /about

  • Рубрики
  • Шадрин Даниил

    В интрнет маркетенге с 2019 года. До этого 2 года разрабатывал сайты под управлением CMS WordPress. Делаю таргет в Facebook/Instagram. Основная работа SEO продвижение. Провожу БЕСПЛАТНЫЕ SEO консультации.

    Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *