favicon

Фаворитная иконка (favicon.ico, фавикон, favorite icon) (16×16/32×32/48x48px)

Файл .htaccess

Файл .htaccess (hypertext access, гипертекстовый доступ) – файл дополнительной конфигурации веб-сервера Apache (самый распространённый HTTP-сервер), а также подобных ему серверов. Как правило данный конфигурационный файл находится в корневой директории веб-ресурса.

Позволяет

  • перенаправление на основное зеркало сайта (с www или без www);
  • настроить 301 редирект на главную страницу со страниц /index.php, /index.html;

Sitemap.xml

Файл sitemap.xml – файл в формате XML, в котором перечислен список URL-адресов на внутренние страницы сайта вместе с дополнительными мета-данными о каждом URL-адресе. С помощью файла sitemap.xml можно сообщить поисковой системе об актуальной структуре сайта, указав специальную директиву в robots.txt или добавив в панель Вебмастера, а также сообщить когда страница была обновлена, насколько часто она обновляется, насколько важна по сравнению с другими страницами на сайте и существуют ли ее версии на других языках.

Требования к файлу

  • Кодировка UTF-8
  • Максимальное количество ссылок — 50 000. Вы можете разделить Sitemap на несколько отдельных файлов и указать их в файле индекса Sitemap
  • Максимальный размер файла в несжатом виде — 50 МБ.
  • Указывайте ссылки на страницы только того домена, на котором будет расположен файл.
  • Разместите файл на том же домене, что и сайт, для которого он составлен.
  • При обращении к файлу сервер должен возвращать HTTP-код 200.

Определения XML-тегов

Атрибут   Описание
<urlset> обязательный Инкапсулирует этот файл и указывает стандарт текущего протокола.
<url> обязательный Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.
<loc> обязательный URL-адрес страницы. Этот URL-адрес должен начинаться с префикса (например, HTTP) и заканчиваться косой чертой, если Ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов.
<lastmod> необязательный Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД.
Обратите внимание, что этот тег не имеет отношения к заголовку «If-Modified-Since (304)», который может вернуть сервер, поэтому поисковые системы могут по-разному использовать информацию из этих двух источников.
<changefreq> необязательный
<priority> необязательный

В файл sitemap.xml:

не должны быть указаны страницы закрытые от индексирования в robots.txt
не должны быть указаны страницы, которые определены как неканонические

Инструменты проверки

Яндекс: Анализ файлов Sitemap
Google: Добавление и проверка файла Sitemap

Справочная документация

Официальный сайт (на русском языке)
Официальный сайт (на английском языке)

Яндекс:
Яндекс.Помощь • Вебмастер – «Использование файла Sitemap»

Яндекс.Помощь • Вебмастер – «Файлы Sitemap»

Google:
Справочный центр Google • Search Console – «Настройте файлы Sitemap»

1С-Битрикс: Рабочий стол > Маркетинг > Поисковая оптимизация > Настройка sitemap.xml
URL-путь: /bitrix/admin/seo_sitemap.php

Robots.txt

Файл robots.txt – текстовый файл в формате .txt, который находится в корневой директории сайта, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования (ограничить доступ к содержимому) своего интернет-ресурса как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Протокол исключений для роботов (Robots Exclusion Protocol) был принят консорциумом W3C 30 января 1994 года, и который добровольно использует большинство поисковых систем.

Управляйте роботами поисковых систем. Запрещайте для индексирования не предназначенные для пользователей страницы:

Ограничивайте индексирование служебной информации (данные страницы могут тратить ресурсы робота и мешать индексированию основного содержимого сайта). Такие страницы не имеют ценности
для поисковой системы, так как пользователям в выдаче они не предоставляют какой-то уникальной информации:

  • Страница «Версия для печати»
  • Страница с результатами поиска по сайту
  • Изображения CAPTCHA и другие автоматически сгенерированные картинки (баннеры, графики, счетчики, графические информеры и т.п.)

Директивы

User-agent – указывает для каких роботов действуют правила.
Disallow – устанавливает запрет к индексации.
Allow – устанавливает разрешение к индексации.
Crawl delay – директива, позволяющая указывать роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта (помогает снизить нагрузку на сервер).
Clean param – для указания поисковым роботам, какие cgi-параметры в адресе страницы следует считать незначащими.

Требования к файлу

  • Размер файла не должен превышать 32КБ;
  • Использование кириллицы запрещено (используйте Punycode);
  • При обращении к файлу сервер должен возвращать HTTP-код 200.

Инструменты проверки

Яндекс. Анализ robots.txt
Google. Инструмент проверки файла robots.txt

Справочная документация

Официальный сайт (на английском языке)

Яндекс:
Яндекс.Помощь • Вебмастер – «Использование файла robots.txt»

Google:
Справочный центр Google • Search Console – «Общие сведения о файлах robots.txt»

1С-Битрикс: Рабочий стол > Маркетинг > Поисковая оптимизация > Настройка robots.txt
URL-путь: /bitrix/admin/seo_robots.php