После того, как вы перенесли сайт на хостинг и открыли к нему доступ, на ваш сайт начнут заходить поисковые роботы. Цель поисковых роботов – занесение информации о страницах сайта в базу данных поисковика. В первую очередь поисковые роботы ищут на сайте файл robots.txt.

Файл robots.txt служит для запрета от индексирования страниц, не предназначенных для пользователей. Таким образом, от индексирования можно закрыть технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы (дубликаты страниц, статистика посещаемости, поиск по сайту и др.). Для поисковых роботов файл robots.txt является инструкцией, в которой указаны параметры индексирования сайта. Поэтому, в первую очередь веб-мастеру нужно создать эту инструкцию для поисковых роботов.

Как создать robots.txt

Создать файл для поисковых роботов не сложно. Создайте в любом текстовом редакторе файл с названием «robots.txt», заполните его в соответствии с правилами и разместите в корневой папке сайта.

Для создания файл robots.txt в соответствии с правилами используются директивы и спецсимволы.

Чтобы вам было легче понять, что из себя представляет файл robots.txt, вначале хочу показать, как он выглядит. Так составлен файл robots.txt на данном сайте webadvisor.ru. Ниже описаны основные директивы, используемые для создания файла robots.txt. Хочу отметить, что в данном файле прописаны две инструкции: вверху - для всех поисковых роботов и ниже - для поискового робота Яндекс.

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /index.php?
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /images/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Sitemap: http://www.webadvisor.ru/index.php?option=com_xmap&sitemap=1&view=xml
Sitemap: http://www.webadvisor.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
Sitemap: http://www.webadvisor.ru

User-agent: Yandex
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /index.php?
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /images/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Host: www.webadvisor.ru

Sitemap: http://www.webadvisor.ru/index.php?option=com_xmap&sitemap=1&view=xml
Sitemap: http://www.webadvisor.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
Sitemap: http://www.webadvisor.ru

Директива User-agent

В файле robots.txt вы можете указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждого поисковика отдельно. Это можно сделать с помощью директивы User-agent. По правилам перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.

Например:

User-agent: * # для всех поисковиков

User-agent: Yandex # для робота Яндекса

Директивы Disallow и Allow

Директива Disallow используется для запрета к некоторым частям сайта. По правилам не допускается наличие пустых переводов между директивами User-agent и Disallow (Allow). Отсутствие у директив параметров трактуется таким образом: Disallow – то же, что и / Allow; Allow – то же, что / Disallow

Например:

User-agent: Yandex

Disallow: / # блокирует доступ ко всему сайту

Директива Sitemap

Вы можете указать путь к sitemaps.xml

Директива Host

Вы можете указать главное зеркало сайта (сайт с www или без).

Директива должна располагаться сразу после директив Disallow (Allow) и должна состоять из одного корректного имени хоста.

При написании robots.txt помните, что файл не должен превышать 32 Кб. Слишком большой robots.txt воспринимается поисковым роботом, как полностью разрешающий и рассматривается им аналогично следующей записи:

User-agent: Yandex

Disallow:

После создания файла рекомендую проверить, правильно ли вы его составили. Проверить правильность файла robots.txt вы можете в панели веб-мастера или специальным on-line анализатором: http://webmaster.yandex.ru/robots.xml