Здравствуйте, начинающие веб. мастера. Сегодня мы поговорим о том, как настроить файл robots.txt и .htaccess на своем блоге. Давайте начнем с robots.txt, но для начала разберемся для чего он вообще нужен.
А нужен он для того, чтобы давать роботам поисковых систем указания на то, какие разделы сайта индексировать, а какие не индексировать. Это определение очень упрощенное и на самом деле у robots.txt имеется огромное число функций.
В данной статье я Вам расскажу, какие основные настройки должны быть сделаны в robots.txt перед самым запуском вашего блога. А если вам нужна более полная информация, советую посетить сайт http://robotstxt.org.ru/
Вот как раз там я нашла видеоролик о процессе создания файла. На этом же сайте вы узнаете как «роботс» должен работать по стандарту, а на страницах Яндекс. Вебмастер, вы узнаете как этот файл работает для Яндекса.
Поисковые системы Гугл и Яндекс ведут себя по разному. Каждый из них поддерживает свои настройки и директивы, однако оба в той или иной степени следуют данному стандарту.
В robots.txt нам необходимо закрыть папки блога wordpress от индексации такие как: папку с административными файлами, папку со служебными библиотеками, папку с плагинами, папку с кэшем, папку с темами и различные url адреса, которые могут приводить к образованию дублей.
Именно такие настройки прописаны у меня.
Вы можете скопировать данные моего файла robots.txt, вставив предварительно адрес — http://lessons-business.ru/robots.txt и заменить мое доменное имя на свое.
Настройка файл .htaccess
Файл .htaccess необходим для того, чтобы управлять веб. сервером, который установлен на вашем хостинге. В частности, директивы, которые располагаются в .htaccess, влияют на работу веб-сервера Apache.
Существует огромное количество настроек и функциональных возможностей, которыми можно управлять через этот файл и заниматься этим должен профессиональный системный администратор.
Сегодня я вам расскажу о наборе директив, которые необходимо вставить перед запуском вашего блога.
Скопируйте директивы из этого файла.
Дальше подключитесь по ftp к удаленному серверу и откройте файл .htaccess для редактирования. Сразу после «RewriteBase /» вставьте скопированный код так, как показано у меня на скриншоте.
Что означают данные директивы? Они обозначают то, что при переходе пользователя или поисковой системы по url, которые заканчиваются на feed, comments и т.д., он будет автоматически переводить на страницу без данного окончания.
Как это работает?
Переход по ссылке до установки директив:
Переход по тому же адресу после установки директив:
Зачем мы это сделали?
Давно замечено и доказано, что WordPress генерирует много разных мусорных страниц и все эти мусорные страницы попадают в индекс поисковых систем. При этом образуются технические дубли. Мы задали эти директивы, чтобы не было таких мусорных страниц.
В .htaccess мы перечислили основные виды страниц, которые генерирует WordPress. Это страницы фидов, это страницы постраничной навигации комментариев, всем известные реплайтукомы и т.д.
Сегодня мы научились настраивать файл robots.txt и .htaccess. Я вам дала ценную информацию, о которой сама узнала из платного курса.
Не забывайте подписываться на обновления и оставлять комментарии. До встречи. Наталья Краснова.
Анекдот.
В Японии изобрели умного робота. Он умеет ловить воров.
— В Японии за 10 минут поймали 200 воров.
— В Америке за 10 минут поймали 400 воров.
— В России за 10 минут украли самого робота.
Наталья, я не рекомендую вам закрывать страницы с фидом в файле .htaccess. Так читатели не смогут подписаться на ваши новые посты и комментарии по rss-ленте. И в роботсе лучше все открыть. А все ненужные страницы лучше закрывать внутри через мета роботс. Как правило, это noindex, follow. У меня по крайней мере дублей от этого еще не было.
Noindex, follow? А я пишу в своей статье «Как надежно закрыть ссылки от индексации на wordpress?», что noindex, follow — это дедушкин способ, который уже не работает.
Вы меня не так поняли.
Я имею ввиду закрытие самой страницы через мета роботс. Прописывается это правило внутри страницы (в самом исходном коде).
meta name=»robots» content=»noindex,follow»
Обычно делается это через сео-плагины.
Также канонические урлы помогают. Они то же должны быть в исходном коде:
link rel=»canonical» href=урл страницы
Про закрытие ссылок тут речь не идет.
Возможно вы и правы, но я буду делать так, как меня научили в школе блогеров.
Наталья, у вас тоже если честно роботс не совсем правильный, там прописаны во первых не все директивы, плюс там нет директив для робота Яндекса а для робота Яндекса нужно прописывать всё отдельно. Вот например то, как это описывается в уроках Яндекса edu.expert.yandex.ru/Webmaster/3/25/
Школа блоггеров? Вы серьезно? Школа блоггеров это хуже чем метод тыка. Вам за деньги продали то что давно в пабликах и то, что всем вокруг известно. Мне за вас стыдно. Вы же взрослая женщина.
Похоже, у вас есть хорошие результаты! Похвалитесь?
Я посмотрела на ваш сайт и хочу сказать, к сожалению, что он обречен. Очень скоро он обрастет дублями, а это приведет к спаду посещаемости.
Стадию вашего уровня развития по ведению блога я уже давно прошла. Мои слова вы еще вспомните и тогда вам станет стыдно за себя, а не за меня. 
Хочу вас огорчить. Я не потратил ни копейки на курсы школы блоггеров, они мне достались бесплатно и то, что я там нашел — так это публичные темы и лишь приблизительные понятия о самой СЕО оптимизации. К величайшему сожалению вам меня не понять, просто знайте, что не зарастет дублями, уж конкретно вашей методикой я пользоваться не буду
Я же не зря нашел ваш блог в яндексе по запросу.
Я также как и вы создала однажды блог, в надежде что я умнее всех, а через 6 месяцев попала под АГС. Не надо агрессии, почитайте лучше информацию про дубли страниц replytocom wordpress и скажите мне спасибо за своевременную информацию.
А вы вообще про какую школу говорите? Явно не о той, в которой учусь я. У меня уникальный шаблон и блог настроен по все требованиям. И именно у меня на блоге вы найдете необходимую информацию для начинающего блогера.
Работал недавно с одним сайтом, он был под фильтром АГС, всё что нужно было закрыть, было закрыто именно плагином, дубли тем не менее были и причем в довольно большом количестве, закрыл всё в роботс — нормально
Есть ли аналог этой директории для Гугла и других поисковиков? и если нет, то как поступать с зеркалами в их отношении??