52 сек чтения
Одна из директив которая используется для исключения для роботов в файле robots.txt.
<поле>:<необязательный пробел><значение><необязательный пробел>где поле — это либо User-agent, либо Disallow.
В директиве User-agent указываются роботы, которые должны следовать указанным инструкциям (например, User-agent: Yandex, User-agent: YandexBot, User-agent: *).
Сравнение производится методом простого поиска подстроки. Например, запись
Disallow: /about