Robots.txt, карта сайта, 301 редирект

В данной статье рассмотрим:

• Robots.txt
  • Описание файла robots.txt
  • Как настроить robots.txt
  • Как правильно заполнить и проверить robots.txt
  • Закрытие дублей от индексации
  • Директива Sitemap в robots.txt
• Карта сайта (Sitemap)
  • Формирование карт сайта
  • Регистрация Sitemap в поисковых системах
• 301 редирект
  • В каких случаях нужен 301 редирект
  • Где находится настройка 301 редиректа
  • Как добавить/редактировать/удалить 301 редирект
  • Пример 1. У Вас есть статья, товар или категория, которая изменила свой URL
  • Пример 2. Переадресация с "www" на "без www" или наоборот
  • Пример 3. У Вас есть синоним домена и нужно перенаправить пользователя на "основной домен"
  • Пример 4. Редирект на кириллический домен
  • Пример 5. Переадресация с "http" на "https"
  • Для чего нужна необязательная колонка "Артикул товара"
  • Массовая загрузка 301 редиректа
    • Формат файла
    • Импорт
    • Экспорт
    • Примечание

 

Описание файла robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле владелец сайта может указать параметры индексирования своего сайта (как страницы включать в индекс поисковых систем, а какие - нет) как для всех поисковых систем сразу, так и для каждой поисковой системы в отдельности.

Файл robots.txt уже изначально есть в административной части вашего интернет-магазина. В нем указаны стандартные настройки robots.txt интернет-магазина для поисковой системы Яндекс (отдельно) и для всех остальных поисковых систем. Вы можете самостоятельно вносить в него изменения в соответствии с вашими индивидуальными требованиями к индексированию сайта.

 

Как настроить файл robots.txt на платформе AdvantShop

Чтобы перейти к редактированию файла robots.txt, перейдите в административную часть вашего магазина. В меню выберите "Настройки" - "SEO и счётчики" (рис. 1), а затем перейдите на вкладку "Robots.txt". Вы увидите поле, в котором можно редактировать текст файла (рис. 2).

Рисунок 1.

Рисунок 2.

После внесения изменений, нажмите кнопку "Сохранить".

 

Как правильно заполнить и проверить robots.txt

Правила настройки файла robots.txt для поисковых систем прописаны на страницах помощи соответствующих поисковых систем:
Яндекс - Использование robots.txt
Google - Спецификации файла robots.txt

Внимание

В большинстве случаев стандартный текст файла robots.txt, уже заданный платформой AdvantShop, является достаточным и не требует внесения каких-либо изменений. Во избежание каких-либо ошибок, мы рекомендуем вам обратиться к SEO-специалисту для внесения каких-либо правок в данный файл.

Также, обратите внимание на регистр букв, к примеру, директивы

Disallow: /registration.aspx
и
Disallow: /Registration.aspx

обрабатываются поисковыми системами как разные страницы.

Корректность файла robots.txt для поисковой системы Яндекс Вы можете проверить в панели Вебмастер Yandex (в сервисе необходимо авторизоваться под своим логином и паролем). Для других поисковых систем используйте соответствующие панели (также с предварительной авторизацией), к примеру, Google Webmaster Tools и Bing Webmaster.
 

 

Закрытие дублей от индексации

Дубли страниц в каталоге, которые могут появиться при фильтрации или постраничном просмотре (пагинации), по-умолчанию уже закрыты от индексации следующими директивами:
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=

Пример файла robots.txt для полного закрытия сайта от индексации:

User-agent: *
Disallow: /

Внимание

Мы настоятельно не рекомендуем Вам закрывать сайт от индексации без консультации SEO-специалиста, так как это может очень негативно сказаться на индексации сайта и его позициях в поисковых системах.

 

Директива Sitemap в robots.txt

Директива Sitemap служит для указания адреса карты сайта в формате xml для поисковых роботов. При её указании необходимо прописать полный адрес карты сайта xml, с указанием протокола http (или https). Данная директива должна располагаться после всех директив в файле robots.txt, с отступом в одну строку. Пример:

…
Disallow: /preorder

Sitemap: http://site.ru/sitemap.xml

Пример файла robots.txt для обычной работы интернет-магазина на платформе AdvantShop:

User-agent: Yandex
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=*
Disallow: *from=*
Disallow: /newscategory$
Disallow: /myaccount
Disallow: /search
Disallow: /BotDetectCaptcha.ashx*
Clean-param: forcedDesktop /
Clean-param: forcedMobile /
Clean-param: mobilePreview /

User-agent: *
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
Disallow: /fogotpassword
Disallow: /compare
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
Disallow: /tools/
Disallow: /login
Disallow: /preorder
Disallow: /BotDetectCaptcha.ashx*

Sitemap: http://{имя домена}/sitemap.xml

Обратите внимание

Запись вида {имя домена} необходимо заменить (вместе с фигурными скобками) на адрес вашего магазина.

Например:

• "Sitemap: http://{имя домена}/sitemap.xml", после замены получится вот так "Sitemap: http://mysite5.ru/sitemap.xml"

 

Карта сайта (Sitemap)

• Формирование карт сайта
• Регистрация Sitemap в поисковых системах

Карта сайта (sitemap) – это файл, который необходим для корректной и своевременной индексации сайта в поисковых системах. С помощью карты сайта Вы можете сообщить поисковой системе, какие страницы Вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

В магазине карта сайта автоматически формируется в формате HTML и в формате XML.

В формате HTML карта сайта создается для посетителей, чтобы облегчить им поиск необходимой информации. В формате XML карта сайта создается для поисковых роботов, чтобы поисковый робот увидел ссылки на все страницы, которые есть на сайте.

Рассмотрим, как сгенерировать в магазине карту сайта в формате HTML и XML, и как сообщить поисковым системам о наличии карты сайта в интернет магазине

 

Формирование карт сайта

Чтобы сгенерировать карты сайта, необходимо перейти в панель администрирования, пункт меню "Настройки" - "Системные настройки" (рис. 3).

Рисунок 3.

На открывшейся странице необходимо выбрать вкладку "Карта сайта" и нажать на кнопку "Обновить карты" (рис. 4, п. 2), Ваши карты сайта будут обновлены.

Рисунок 4.

Для перехода к сгенерированным картам сайта в строках "Адрес карты XML" и "Адрес карты HTML" нажмите ссылку карты (рис. 4, п.3 и 4).

Обновление карт сайта XML и HTML происходит раз в сутки в автоматическом режиме.

 

Регистрация Sitemap в поисковых системах

После формирования карты сайта, необходимо сообщить поисковым системам о наличии файла sitemap. Для этого нужно совершить следующие действия:

• Добавить директиву sitemap в файл robots.txt. Данная директива имеет вид Sitemap: http://site.ru/sitemap.xml (где site.ru – адрес вашего веб-сайта) и прописывается (предпочтительно) в конце документа с новой строки.

• Указать URL файла sitemap в Yandex.Вебмастере и Google.Вебмастере.

Чтобы перейти к редактированию файла robots.txt, необходимо в панели администрирования выбрать пункт меню "Настройки" - "SEO и счетчики". Затем перейти на вкладку Robots.txt.

Вставьте в файл robots.txt, предпочтительно в конце, строку, указывающую на местоположение файла Sitemap (рис. 5):

Sitemap: http://site.ru/sitemap.xml.

Рисунок 5.

После внесения изменений, нажмите кнопку "Сохранить" в правом верхнем углу.

Чтобы указать URL карты сайта для поисковых систем, совершите следующие действия:

• Для ПС Яндекс – Зайдите в раздел "Индексирование" - "Файлы Sitemap" сервиса Яндекс.Вебмастер, после чего укажите ссылку на ваш файл Sitemap в строку и нажмите кнопку "Добавить".

Рисунок 6.

• Для ПС Google – Зайдите в раздел "Индекс"- "Файлы Sitemap" сервиса Google Search Console. Впишите адрес файла sitemap.xml, после чего нажмите на кнопку "Отправить".

Рисунок 7.

Готово, мы рассмотрели, как настроить карты сайта.

 

301 редирект

Суть "301-го" редиректа (перенаправления с кодом ответа 301) в том, чтобы сообщить пользователю или поисковому роботу информацию о том, что страница, которую он открывает по определённому URL-адресу, перемещена на другой URL-адрес. На практике это выглядит так: пользователь вводит URL-адрес, для которого настроен 301 редирект, и попадает на другой URL-адрес (необходимый Вам).

• В каких случаях нужен 301 редирект?
• Где находится настройка 301 редиректа?
• Как добавить/редактировать/удалить 301 редирект?
• Пример 1. У Вас есть статья, товар или категория, которая изменила свой URL
• Пример 2. Переадресация с "www" на "без www" или наоборот
• Пример 3. У Вас есть синоним домена и нужно перенаправить пользователя на "основной домен"
• Пример 4. У вас кириллический домен. Как в этом случае настроить редирект?
• Пример 5. Переадресация с "http" на "https"
• Для чего нужна необязательная колонка "Артикул товара" ?
• Массовая загрузка 301 редиректа

В каких случаях нужен 301 редирект

Зачастую происходит следующая ситуация: сайт существовал по определённому URL, и все ссылки на его страницы хорошо проиндексировались поисковыми системами; пользователи находили через поиск страницы сайт и переходили на них. Однако однажды владелец решил изменить свой сайт и переехал на новую CMS, которая формирует ссылки на статьи, товары и категории по новому алгоритму.

Если, к примеру, раньше условная статья об условном продукте "Продукт 1" была вида:

mysite.com/category111/product222/product1/

то на новом, условном, сайте новая ссылка условно стала:

mysite.com/product/superduperproduct1/

Получается, что в поисковой системе сохранилась старая ссылка, и при переходе по ней пользователь видит страницу 404 (не найдена).

В таком случае, как и в ряде других, нужна переадресация с одной ссылки на другую, или, как это называется,  "301 редирект".

 

Итак, переадресация с кодом 301 обычно нужна в следующих случаях:

1) У Вас есть статья, товар или категория, которая изменила свой URL

2) Хотите настроить переадресацию с "www" на "без www" или наоборот

3) У Вас есть ещё один домен, и вы хотите, чтобы посетители с него перенаправлялись на "основной домен" (важно для SEO)

4) Любой из пунктов 1-3, но при этом у вас ещё и кириллический домен (мойсуперсайт.рф или подобный)

 

Где находится настройка 301 редиректа

Настройки редиректов находятся в панели администрирования - пунт меню "Настройки - SEO и счётчики", вкладка "301 редирект" (рис. 8).

Рисунок 8.

В магазине на базе AdvantShop 301 редирект представлен в виде таблицы, с колонкой "Откуда" и колонкой "Куда". Указываем старый URL, указываем новый URL, после чего перенаправление работает.

В таблице также представлена ещё третья, необязательная, колонка "Артикул товара (необязательно)". О ней расскажем отдельно ниже. 

Важно

Чтобы включить работу редиректов, поставьте галочку "Активность 301 редиректа" (рис. 9).

Рисунок 9.

 

Как добавить/редактировать/удалить 301 редирект

Для добавления нажимаем кнопку "Добавить 301 редирект". Возникает всплывающее окно. Вносим данные (поле "Артикул" можно оставить пустым), нажимаем на кнопку "Сохранить" - всё готово.

Рисунок 10.

Для редактирования записи кликните на неё один раз. Строчка превратится в поля для редактирования. Внесите изменения и кликните на любом пустом месте страницы, чтобы сохранить изменения.

Чтобы удалить запись, нажмите на кнопку крестика и подтвердите удаление.

Далее рассмотрим несколько примеров. 

Пример 1. У Вас есть статья, товар или категория, которая изменила свой URL

Например, мы сменили CMS интернет-магазина, и теперь нужно как-то направить пользователей со старых ссылок на новые. Со старой ссылки настроим редирект на новую. 

У нас есть ссылка:

http://site5.ru/staraya-ssilka

Нужно направить на:

http://site5.ru/novaya-ssilka

Так и добавим данные в таблицу (рис. 11).

Рисунок 11.

Готово.

Если мы работаем в рамках одного сайта, мы можем использовать относительные ссылки (рис. 12).

Мы можем не писать адрес сайта, а указать сразу фрагмент ссылки, которая идет за адресом. 

В поле "откуда" вместо "http://site5.ru/staraya-ssilka" мы можем написать лишь "staraya-ssilka".

В поле "куда" вместо "http://site5.ru/novaya-ssilka" мы можем написать лишь "novaya-ssilka".

Внимание

Знак "/" в начале указывать не нужно. Вариант "/novaya-ssilka" неверный, вариант "novaya-ssilka" - верный.

Рисунок 12.

Готово.

В обоих случаях при переходе по старой ссылке http://site5.ru/staraya-ssilka нас "перебросит" на новую ссылку.

Обратите внимание, что одна запись работает для одной ссылки, и если нужно перенаправить ссылки для 10 товаров, нужно добавить 10 записей, аналогично той, которую мы добавили выше.

 

Пример 2. Переадресация с "www" на "без www" или наоборот

Если допустить, чтобы сайт открывался и по www.site5.ru, и по (просто) site5.ru, поисковые системы увидят в этом дубликат сайта, т.к. для поисковой машины адрес без www и с www - это два разных сайта с одинаковым содержимым. 

Для решения этой проблемы Вам нужно определить, какой адрес будет главным, и со второстепенного настроить 301 редирект на основной.

Если мы решили, что www.site5.ru будет главным, то настраиваем запись так:

с http://site5.ru*   на   http://www.site5.ru  (с сайта без WWW переходить на сайт с WWW)

Рисунок 13.

Если решили, что site5.ru (без WWW) будет главный, то настраиваем запись так:

с http://www.site5.ru*  на  http://site5.ru (с записи с WWW переходить на сайт без WWW)

Рисунок 14.

Готово. 

Знак звездочки " * " в конце домена означает, что все URL, которые начинаются с домена, будут перенаправлены на новый домен. 

 

Пример 3. У Вас есть синоним домена и нужно перенаправить пользователя на "основной домен"

Бывают ситуации, когда у Вас есть 2 разных доменных имени, которые подключены к одному и тому же сайту. Т.е. по обоим доменам открывается один и тот же магазин. Такое бывает, когда владельцы сайта докупают домен, к примеру, с тире в названии (например, moysait.ru и moy-sait.ru), чтобы пользователи, набравшие адрес с тире, также попали на Ваш сайт.

Либо бывают ситуации, когда один домен зарегистрирован в зоне *.ru, а другой - в зоне *.com. 

Для поискового продвижения важно, чтобы сайт был доступен по "основному домену", и с остальных доменов был настроен 301 редирект. 

Итак, мы определились, что условный адрес "http://site5.ru" (без www) будет нашим главным доменом, и будем ссылаться на него.

 

Чтобы настроить редирект вида http://site5.com на http://site5.ru , Вам необходимо сделать следующее:

1) В поле "откуда" написать адрес сайта с  http:// и добавить знак звездочки " * " в конце. 

Чтобы получилось: http://site5.com*

2) В поле "куда" написать адрес сайта, куда направлять, также с http://, но без звездочки.

Чтобы получилось http://site5.ru

Выглядит это так:

Рисунок 15.

Такой же вариант подходит, если нужно сделать пренаправление с http://site-5.ru на http://site5.ru (с домена "с тире" на домен "без тире").

Рисунок 16.

 

Пример 4. Редирект для кириллического домена

В случае если в имени домена встречаются кириллические или другие нелатинские символы, то необходимо добавление 301 редиректа в пуникоде. Для получения адреса в пуникоде нужно зайти на сайт https://www.nic.ru/whois/ , ввести в текстовое поле русский адрес, нажать "Показать". Внизу серым крупным шрифтом выведется (в скобках) адрес русского сайта символами (в пуникоде):

Рисунок 17.

Нужно скопировать содержимое из скобок и вставить в поле "откуда". Впереди символов указывается "http://", в конце также пишется " * " (звездочка), если редирект нужен для всех страниц сайта(рис. 19).

Кириллическая ссылка выглядеть будет так:

http://XN--80AAIRFBUBOC.XN--P1AI

Ссылка на страницу соответственно:

http://XN--80AAIRFBUBOC.XN--P1AI/pages/page1

Т.е. все настройки производятся так же, как и с обычным доменом, но вместо кириллицы указывается определённый набор символов.

Рисунок 18.

 

Пример 5. Переадресация с "http" на "https"

В ситуации, когда на Вашем сайте установлен SSL сертификат, т.е. на сайте есть https-соединение, достаточно создать три записи редиректа.

1) Первое правило:

- В поле "откуда" написать адрес сайта с http:// и добавить знак звездочки " * " в конце. Чтобы получилось: http://site.ru*

- В поле "куда" написать адрес сайта,  для которого установлен SSL сертификат. Если это домен без www, то нужно написать https://, но без звездочки, чтобы получилось https://site.ru

2) Второе правило. Аналогично создаем вторую запись, уже с http://www.домен на https:

- В поле "откуда" написать адрес сайта с http:// и добавить знак звездочки " * " в конце. Чтобы получилось: http://www.site.ru*

- В поле "куда" написать адрес сайта, для которого установлен SSL сертификат. Если это домен без www, то нужно написать https://, но без звездочки, чтобы получилось https://site.ru

3) Третье правило. Большинство новых сертификатов поддерживают как просто "https://site.ru" так и вариант "https://www.site.ru" (с www), то получится, что для поисковых машин у нас есть 2 одинаковых сайта. Чтобы избежать дублирования, добавим ещё одно правило.

- В поле "откуда" написать адрес сайта с https:// и добавить знак звездочки " * " в конце. Чтобы получилось: https://www.site.ru*

- В поле "куда" написать адрес сайта, для которого установлен SSL сертификат. Если это домен без www, то нужно написать https://, но без звездочки, чтобы получилось https://site.ru

Рисунок 19.

Внимание

Если Вы приобретаете SSL-сертификат только для платёжных систем или для работы в соц. сетях, настраивать подобный редирект в большинстве случаев нет необходимости.

Заметка

После перехода сайта на https и настройке 301 редиректа с http на https позиции сайта в поисковых системах понижаются на некоторый период времени. К сожалению, это неизбежный эффект, который зависит от работы самих поисковых систем.

 

Для чего нужна необязательная колонка "Артикул товара"

Дополнительная третья колонка добавлена для замены, в некоторых случаях, колонки "куда". 

Пример: 

Если на Вашем новом сайте у товара сменится URL (по сравнению с URL на старом сайте), то, чтобы регулярно не "следить" за новыми ссылками на товар и корректировать их в таблице 301-го редиректа, можно использовать колонку "Артикул товара".

В ней достаточно указать артикул товара, и старая ссылка всегда будет ссылаться на актуальный текущий URL товара.

Настройка выглядит так:

Рисунок 20.

Первая запись - Относительная ссылка (без домена)

Вторая запись - Полная ссылка (с доменом и http:// )

Третья запись - Полная ссылка с кириллическим доменом. 

Все три ссылки работают по принципу "направить нашу ссылку на URL товара, при условии, что мы знаем только артикул товара".

 

Массовая загрузка 301 редиректа

Рассмотрим, как можно осуществить экспорт или импорт 301 редиректа в интернет-магазине.

Наша задача - показать, как можно массово изменить или загрузить 301 редирект на сайт.

• Формат файла
• Импорт
• Экспорт
• Примечание

 

Формат файла

Файл в формате CSV представлен на рисунке ниже (рис.22).

Рисунок 21.

В файле 3 столбца, которые дублируют 3 колонки в панели администрирования:

RedirectFrom – столбец "Откуда", т.е. ссылка, которую требуется заменить, переадресовать.

RedirectTo – столбец "Куда", актуальная ссылка, на которую требуется сделать редирект (перенаправление страницы).

ProductArtNo – артикул товара, добавлена для замены, в некоторых случаях, колонки "куда".

 

Импорт

Вы можете создать файл CSV (разделители - точка с запятой) формата, описанного выше, заполнить столбцы необходимыми ссылками и импортировать на сайт.

Для того чтобы осуществить импорт файла, перейдите в панель администрирования, пункт меню "Настройки - SEO и счётчики", вкладка "301 редирект" , и нажмите на кнопку "Добавить файл".

Рисунок 22.

Рисунок 23.

В открывшемся окне выберите файл для импорта, нажмите "Открыть", и данные из файла автоматически появляются в списке 301 редиректа (рис. 24).

Рисунок 24.

 

Экспорт

С сайта можно экспортировать файл с 301 редиректом, внести в файл изменения и вновь загрузить на сайт. Для этого перейдите в панель администрирования, пункт меню "Настройки - SEO и счётчики", вкладка "301 редирект", и нажмите на кнопку "Экспорт".

Рисунок 25.

Файл скачивается на Ваш компьютер в формате, описанном выше.

 

Примечание

Обновление данных или добавление новых строк из файла происходит по столбцу "RedirectFrom" ("Откуда").

При загрузке файла на сайт происходит проверка: если ссылка из RedirectFrom уже присутствует на сайте в столбце "Откуда", то она обновляется теми данными, которые пришли в новом файле; если ссылки из RedirectFrom нет на сайте в столбце "Откуда", то строка с данными из файла добавляется в качестве новой строки со значениями на сайт.

Готово. Мы рассмотрели основные настройки файла Robots. карты сайта и 301 -ого редиректа.