Файл Sitemap или карта сайта: используем корректно

Поисковое продвижение – процесс ресурсоемкий и затратный, и речь здесь идет не столько о финансах, сколько о времени. Однако есть инструменты, которые позволяют улучшить ранжирование сайта, но до сих пор остаются непонятными, «непризнанными» и окруженными множеством заблуждений. Например, файл Sitemap.

Самое большое заблуждение гласит, что одно только наличие Sitemap обеспечит лучшую индексацию страниц в Гугле. Стоит помнить, что поисковые алгоритмы не реагируют на просьбы пользователей, зато отлично реагирует в двух случаях – если страница видна для индексации и если она наполнена качественным контентом.

Файл sitemap.xml для Гугл – это подсказка, упоминание о том, что именно эти страницы вы считаете самыми качественными, целевыми, о том, что указанные урлы можно демонстрировать пользователю, что они важны для продвижения. Для того, чтобы эта подсказка сработала как нужно, важно соблюдать основные правила использования sitemap.xml.

На что нужно обращать внимание при работе

Избегайте самых распространенных ошибок при работе с sitemap.xml, следуя довольно простым правилам:

1. Соблюдайте последовательность: не стоит включать страницу в sitemap.xml, если вы собираете закрыть ее от индексации в файле robots.txt или использовать индекс «noindex, follow».
2. Разделите страницы на служебные, закрытые от поиска, и посадочные, доступные для пользователя, с ключевыми запросами, по которым ваш сайт будут находить в поиске. Все служебные страницы блокируются и не указываются в карте сайта.
3. Помните, что Гугл при индексации оценивает качество сайта в целом. Однако вам следует дополнительно указать, что среди всех страниц сайта вы считаете действительно отличным, «целевым» контентом, а что не имеет к нему ни малейшего отношения. Соответственно, поисковый робот станет анализировать только те страницы, которые вы выделили как «хорошие». Даже если он и найдет в них недочеты, то скорее отметит сайт как «привлекательный для пользователей». Если же робот будет оценивать все страницы, то «служебные» могут проиндексироваться как «некачественный контент», а значит, и общие показатели привлекательности сайта тоже снизятся.
4. Скройте все ненужные страницы. Если вы упомянули все привлекательные страницы в sitemap.xml, то это еще не является гарантией отсутствия индексации других, неупомянутых страниц. Вам следует тщательно проверить, откуда поступают сигналы для поисковых роботов и закрыть ненужные. Воспользуйтесь командой «site:». Она позволит вам увидеть все проиндексированные страницы. Как правило, самые последние указанные в списке урлы – самые некачественные по содержанию с точки зрения поисковых роботов.

Что использовать для скрытия страниц — noindex или robots.txt?

Для предотвращения индексации страницы используется либо метатег robots, либо файл robots.txt. Однако учитывайте, что блокировка страницы в robots.txt как бы «обнуляет» ее, а вот метатег robots «noindex,follow» позволяет оставить ссылки и передавать ссылочный вес. Например, отслеживающие скрипты можно заблокировать полностью и ничего не потерять, а вот ссылки на страницы из главного меню следует оставить. Также следует блокировать индексацию служебных страниц через robots.txt, если у вас их слишком много, иначе Googlebot будет тратить слишком много времени на сканирование ненужного. Кроме того, такой подход позволит управлять бюджетом сканирования, если окажется, что он ограничен.

Действительно, краулинговый бюджет нелогично расходовать на индексацию служебных страниц, которая не принесет вам обозримой пользы в виде привлечения новых клиентов через поисковый трафик. Гораздо лучше регулярно индексировать постоянно меняющиеся страницы вроде «блога», «новостей», «каталога» и так далее. Поэтому все такие страницы вносят в файл XML Sitemap, чтобы подсказать Гуглу, каким страницам вы отдаете предпочтение среди всех, что не закрыты от индексации.

Не забывайте, что файл XML Sitemap можно создавать отдельно для разных категорий страниц на сайте. Это позволит выделить группы с проблемами в индексации. Причем карта сайта не должна быть статичной. Ее можно динамически изменять в соответствии с изменениями, происходящими в контенте. Только настройте правила, в соответствии с которыми эти изменения будут происходить.

Итак, будьте последовательными, используйте XML Sitemap как подсказку для поисковых роботов Гугла и не забывайте, что возможно создание динамической версии карты сайта.