Crawler

Crawler — программа поисковой системы («веб-пау́к», «веб-краулер» [wɛb-krɔːlə], бот ), основная задача которой индексация страниц сайта.

По принципу действия, паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, и отправляется по ссылкам на следующие страницы.

Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами информационного поиска.

В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Ограничить индексацию сайта можно с помощью файла robots.txt. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.

Шадрин Даниил

Первый раз прикоснулся к Digital Marketing в 2019 году. До этого 2 года работал Full Stack WordPress Developer. Одно из моих хобби - это анализ поведения людей.Провожу БЕСПЛАТНЫЕ SEO консультации.

Если Вам нужна помощь в SEO или может даже SEO аудит сайта — пишите мне.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *