Каждый веб-мастер, создавая сайт, рассчитывает на высокую посещаемость своего ресурса. Высокие показатели посещаемости страниц сайта говорят не только о качестве веб-ресурса, но и о качественной оптимизации. Вы создали сайт, теперь вам нужно позаботиться о том, чтобы страницы сайта были проиндексированы. И не все страницы, а только те, которые несут полезную информацию. Все технические страницы сайта должны быть закрыты от индексации. Для этих целей у вас существует такой инструмент, как файл robots . Что же такое индексация и для чего она нужна?

Индексирование – процесс добавления сведений о сайте поисковым роботом в базу данных поисковой системы. Эти сведения впоследствии используются для поиска информации на проиндексированном сайте. Если сайта нет в индексе, естественно, он не отражается в результатах поиска.  Чтобы помочь поисковым роботам получить сведения о страницах сайта, нужно создать файл Sitemap.

Sitemap – HML-файл, предназначен для поисковиков, с информацией о местонахождении, обновлении страниц сайта, а также о важности страниц относительно других страниц сайта.

Какие требования предъявляются к файлу Sitemap и где он должен быть расположен?

• В файле Sitemap должно быть не более 50000 URL, размер каждого из этих файлов не должен превышать 10 МБ
• Если у вас более 50000 URL, следует создать несколько файлов Sitemap и перечислить каждый из этих файлов в файле индекса (Sitemap index)
• В файле Sitemap должна использоваться кодировка UTF-8
• Рекомендуется располагать файл Sitemap в корневой директории сервера, чтобы ссылка выглядела примерно так: http://ваш сайт/sitemap.xml

После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении Sitemap поисковым системам, поддерживающим этот протокол. Это можно сделать, указав местоположение файла Sitemap в файле robots.txt. Добавьте в файле robots.txt следующую строчку:

Sitemap: http://ваш сайт

Эта информация вам нужна для того, чтобы иметь представление о файле Sitemap. Файл Sitemap вы можете создать с помощью Онлайн Sitemap Генератора. Для создания файла Sitemap пройдите по этому адресу:www.xml-sitemaps.com, введите имя вашего сайта и нажмите на кнопку «Start».

На рис. вы видите пример создания sitemap.xml для www.webadvisor.ru

После сканирования и создания файла Sitemap, вам будет предложено скачать файл

Хотелось бы отметить, что Онлайн Sitemap Генератор, при создании файла Sitemap, учитывает директивы файла robots.txt. Прежде чем поместить файл Sitemap в корневую папку сайта, обязательно просмотрите его. Если вы обнаружите в файле сведения о страницах с технической информацией, значит эти страницы открыты для индексирования. В таком случае, закройте технические страницы от индексирования с помощью файла robots.txt и создайте новый файл Sitemap.