Disallow: директива

Одна из директив которая используется для исключения для роботов в файле robots.txt.

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это либо User-agent, либо Disallow.

В директиве User-agent указываются роботы, которые должны следовать указанным инструкциям (например, User-agent: YandexUser-agent: YandexBotUser-agent: *).

Сравнение производится методом простого поиска подстроки. Например, запись

Disallow: /about

Шадрин Даниил

Первый раз прикоснулся к Digital Marketing в 2019 году. До этого 2 года работал Full Stack WordPress Developer. Одно из моих хобби - это анализ поведения людей.Провожу БЕСПЛАТНЫЕ SEO консультации.

Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *