баннер

Правильный robots.txt для wordpress или как закрыть от индексации ненужные страницы и избежать дублей и санкций

Здравствуйте, начинающие веб. мастера. Сегодня мы поговорим о том, как настроить файл robots.txt и .htaccess на своем блоге. Давайте начнем с robots.txt, но для начала разберемся для чего он вообще нужен.

pravilnii-pobots

А нужен он для того, чтобы давать роботам поисковых систем указания на то, какие разделы сайта индексировать, а какие не индексировать. Это определение очень упрощенное и на самом деле у robots.txt имеется огромное число функций.

В данной статье я Вам расскажу, какие основные настройки должны быть сделаны в robots.txt перед самым запуском вашего блога. А если вам нужна более полная информация, советую посетить сайт http://robotstxt.org.ru/

Вот как раз там я нашла видеоролик о процессе создания файла. На этом же сайте вы узнаете как «роботс» должен работать по стандарту, а на страницах Яндекс. Вебмастер, вы узнаете как этот файл работает для Яндекса.

Поисковые системы Гугл и Яндекс ведут себя по разному. Каждый из них поддерживает свои настройки и директивы, однако оба в той или иной степени следуют данному стандарту.

В robots.txt нам необходимо закрыть папки блога wordpress от индексации такие как: папку с административными файлами, папку со служебными библиотеками, папку с плагинами, папку с кэшем, папку с темами и различные url адреса, которые могут приводить к образованию дублей.

Именно такие настройки прописаны у меня.

 

Вы можете скопировать данные моего файла robots.txt, вставив предварительно адрес — http://lessons-business.ru/robots.txt и заменить мое доменное имя на свое.

Настройка файл .htaccess

Файл .htaccess необходим для того, чтобы управлять веб. сервером, который установлен на вашем хостинге. В частности, директивы, которые располагаются в .htaccess, влияют на работу веб-сервера Apache.

Существует огромное количество настроек и функциональных возможностей, которыми можно управлять через этот файл и заниматься этим должен профессиональный системный администратор.

Сегодня я вам расскажу о наборе директив, которые необходимо вставить перед запуском вашего блога.

Скопируйте директивы из этого файла.

Дальше подключитесь по ftp к удаленному серверу и откройте файл .htaccess для редактирования. Сразу после «RewriteBase /» вставьте скопированный код так, как показано у меня на скриншоте.

feed

Что означают данные директивы? Они обозначают то, что при переходе пользователя или поисковой системы по url, которые заканчиваются на feed, comments и т.д., он будет автоматически переводить на страницу без данного окончания.

Как это работает?

Переход по ссылке до установки директив:

feedurl

Переход по тому же адресу после установки директив:

s-direktivoi

Зачем мы это сделали?

Давно замечено и доказано, что WordPress генерирует много разных мусорных страниц и все эти мусорные страницы попадают в индекс поисковых систем. При этом образуются технические дубли. Мы задали эти директивы, чтобы не было таких мусорных страниц.

В .htaccess мы перечислили основные виды страниц, которые генерирует WordPress. Это страницы фидов, это страницы постраничной навигации комментариев, всем известные реплайтукомы и т.д.

Сегодня мы научились настраивать файл robots.txt и .htaccess. Я вам дала ценную информацию, о которой сама узнала из платного курса.

Не забывайте подписываться на обновления и оставлять комментарии. До встречи. Наталья Краснова.

 

Анекдот.
robot-vorovВ Японии изобрели умного робота. Он умеет ловить воров.
— В Японии за 10 минут поймали 200 воров.
— В Америке за 10 минут поймали 400 воров.
— В России за 10 минут украли самого робота.

Понравилась статья? Поделиться с друзьями:
Комментариев: 13
  1. Сергей Стеклов

    Наталья, я не рекомендую вам закрывать страницы с фидом в файле .htaccess. Так читатели не смогут подписаться на ваши новые посты и комментарии по rss-ленте. И в роботсе лучше все открыть. А все ненужные страницы лучше закрывать внутри через мета роботс. Как правило, это noindex, follow. У меня по крайней мере дублей от этого еще не было.

    1. Наталья Краснова (автор)

      Noindex, follow? А я пишу в своей статье «Как надежно закрыть ссылки от индексации на wordpress?», что noindex, follow — это дедушкин способ, который уже не работает.

      1. Сергей Стеклов

        Вы меня не так поняли.
        Я имею ввиду закрытие самой страницы через мета роботс. Прописывается это правило внутри страницы (в самом исходном коде).
        meta name=»robots» content=»noindex,follow»
        Обычно делается это через сео-плагины.
        Также канонические урлы помогают. Они то же должны быть в исходном коде:
        link rel=»canonical» href=урл страницы
        Про закрытие ссылок тут речь не идет.

        1. Наталья Краснова (автор)

          Возможно вы и правы, но я буду делать так, как меня научили в школе блогеров.

          1. Сергей Петриков

            Наталья, у вас тоже если честно роботс не совсем правильный, там прописаны во первых не все директивы, плюс там нет директив для робота Яндекса а для робота Яндекса нужно прописывать всё отдельно. Вот например то, как это описывается в уроках Яндекса edu.expert.yandex.ru/Webmaster/3/25/

          2. Евгений

            Школа блоггеров? Вы серьезно? Школа блоггеров это хуже чем метод тыка. Вам за деньги продали то что давно в пабликах и то, что всем вокруг известно. Мне за вас стыдно. Вы же взрослая женщина.

          3. Наталья Краснова (автор)

            Похоже, у вас есть хорошие результаты! Похвалитесь?

          4. Наталья Краснова (автор)

            Я посмотрела на ваш сайт и хочу сказать, к сожалению, что он обречен. Очень скоро он обрастет дублями, а это приведет к спаду посещаемости. sad Стадию вашего уровня развития по ведению блога я уже давно прошла. Мои слова вы еще вспомните и тогда вам станет стыдно за себя, а не за меня. smile

          5. Евгений

            Хочу вас огорчить. Я не потратил ни копейки на курсы школы блоггеров, они мне достались бесплатно и то, что я там нашел — так это публичные темы и лишь приблизительные понятия о самой СЕО оптимизации. К величайшему сожалению вам меня не понять, просто знайте, что не зарастет дублями, уж конкретно вашей методикой я пользоваться не буду smile Я же не зря нашел ваш блог в яндексе по запросу.

          6. Наталья Краснова (автор)

            Я также как и вы создала однажды блог, в надежде что я умнее всех, а через 6 месяцев попала под АГС. Не надо агрессии, почитайте лучше информацию про дубли страниц replytocom wordpress и скажите мне спасибо за своевременную информацию.

          7. Наталья Краснова (автор)

            А вы вообще про какую школу говорите? Явно не о той, в которой учусь я. У меня уникальный шаблон и блог настроен по все требованиям. И именно у меня на блоге вы найдете необходимую информацию для начинающего блогера.

        2. Сергей Петриков

          Работал недавно с одним сайтом, он был под фильтром АГС, всё что нужно было закрыть, было закрыто именно плагином, дубли тем не менее были и причем в довольно большом количестве, закрыл всё в роботс — нормально

  2. Stankopil.ru

    Есть ли аналог этой директории для Гугла и других поисковиков? и если нет, то как поступать с зеркалами в их отношении??

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: