И так, в этом уроке мы сами установим robots.txt. С помощью него мы можем показывать поисковым системам, какие части сайта индексировать, а какие закрыть. То есть внутренние части сайта, которые мы не видим как пользователи, но их важно указать поисковым системам. Тут есть просто небольшой стандарт.
Нужно сделать все по инструкции и на достаточно долгое время забыть, как это делается? Что вам понадобится и где это необходимо настраивает? Все также делать через плагин.
Мы заходим в «SEO», в «инструменты», в «редактор файлов»
И вот этот robots.txt, который нам нужно заполнить. Я специально вам подготовила вкладку. Вам понадобится robots.txt . Это пример роботса на моем сайте. Специально вам дала ссылочку, потому что, если какие-то изменения будут, то они сразу будут уже относиться актуально в этот файл. Он у вас всегда будет свежий. Вы берете и копируете полностью и вставляете себе вот в «SEO», в «инструменты», и программа «редактор файлов». Вставляете сюда и нам нужно немного его настроить:
Первое. Вот, к примеру, мы копируем адрес сайта и нам нужно правильно указать директиву Host. Вот, в данный момент, у нас есть два варианта. Если ваш сайт базовый, т.е. начинается с http, то Вам нужно в такой ситуации убрать полностью все, что слева и справа от него, то есть у вас должен быть только домен (адрес вашего сайта) и доменная зона. Все! Больше ничего. Ни каких черточек ни в начале, ни в конце. Host, пробел и доменное имя вашего сайта.
Но вдруг у вас есть https соединение, (это специально защищённый такой протокол), тогда в такой ситуации вам нужно указывать полный адрес сайта с https ссылочкой.
И плюс нужно указать sitemap под Хостом. Помните, где у нас находится sitemap? Мы заходим в «общее» находим «возможности», затем «xml карта сайта» и «посмотреть xml карты сайта». Копируем адрес страницы.
Возвращаемся в наш роботс и меняем вот наш адрес сайта на Ваш актуальный. Наш сайтмэп выглядет так https://нашсайт/sitemap_index.xml.
Теперь я объясню Вам, что это за буковки и что они вообще значит? Мы специально двум поисковым системам показывает что нужно индексировать, а что нет. Первое это Google. Яндекс более щепетильный, поэтому мы отдельно для него указываем директивы.
Что это вообще за указание? Что это значат эти все записи? Мы говорим поисковым системам: «вот эти вкладки не индексируй (disallow), не обращай на них внимания, а вот важная информация и ты обрати внимание». Аllow — это мы разрешаем ему внутренности сайта смотреть.
Тоже самое мы дублируем для яндекса. И потом ещё отдельно указываем Google и Яндекс ботам смотреть наши картинки.
И финальным аккордом вам необходимо нажать «сохранить изменения» в robots.txt.
Теперь самый главный вопрос: как проверить, правильно ли вы все сделали? Вы заходите на ваш сайт и дописываете к адресу сайта robots.txt. Нажимаете Enter.
И вот тут будет ваш роботс. В нём Вам необходимо проверить, чтобы у вас был правильно указан хвост.
Вот и правильно указана карта сайта. Вы можете скопировать адрес карты сайта и открыть его в новой вкладке. Таким образом, Вы проверите, правильно ли все.
Все! В данный момент, у вас есть связь с поисковыми системами.
Переходите к следующему уроку: Установка плагина социальных кнопок