баннер

Здравствуйте, начинающие веб. мастера. Сегодня мы поговорим о том, как настроить файл robots.txt и .htaccess на своем блоге. Давайте начнем с robots.txt, но для начала разберемся для чего он вообще нужен.

pravilnii-pobots

А нужен он для того, чтобы давать роботам поисковых систем указания на то, какие разделы сайта индексировать, а какие не индексировать. Это определение очень упрощенное и на самом деле у robots.txt имеется огромное число функций.

В данной статье я Вам расскажу, какие основные настройки должны быть сделаны в robots.txt перед самым запуском вашего блога. А если вам нужна более полная информация, советую посетить сайт http://robotstxt.org.ru/

Вот как раз там я нашла видеоролик о процессе создания файла. На этом же сайте вы узнаете как «роботс» должен работать по стандарту, а на страницах Яндекс. Вебмастер, вы узнаете как этот файл работает для Яндекса.

Поисковые системы Гугл и Яндекс ведут себя по разному. Каждый из них поддерживает свои настройки и директивы, однако оба в той или иной степени следуют данному стандарту.

В robots.txt нам необходимо закрыть папки блога wordpress от индексации такие как: папку с административными файлами, папку со служебными библиотеками, папку с плагинами, папку с кэшем, папку с темами и различные url адреса, которые могут приводить к образованию дублей.

Именно такие настройки прописаны у меня.

 

Вы можете скопировать данные моего файла robots.txt, вставив предварительно адрес — http://lessons-business.ru/robots.txt и заменить мое доменное имя на свое.

Настройка файл .htaccess

Файл .htaccess необходим для того, чтобы управлять веб. сервером, который установлен на вашем хостинге. В частности, директивы, которые располагаются в .htaccess, влияют на работу веб-сервера Apache.

Существует огромное количество настроек и функциональных возможностей, которыми можно управлять через этот файл и заниматься этим должен профессиональный системный администратор.

баннер

Сегодня я вам расскажу о наборе директив, которые необходимо вставить перед запуском вашего блога.

Скопируйте директивы из этого файла.

Дальше подключитесь по ftp к удаленному серверу и откройте файл .htaccess для редактирования. Сразу после «RewriteBase /» вставьте скопированный код так, как показано у меня на скриншоте.

feed

Что означают данные директивы? Они обозначают то, что при переходе пользователя или поисковой системы по url, которые заканчиваются на feed, comments и т.д., он будет автоматически переводить на страницу без данного окончания.

Как это работает?

Переход по ссылке до установки директив:

feedurl

Переход по тому же адресу после установки директив:

s-direktivoi

Зачем мы это сделали?

Давно замечено и доказано, что WordPress генерирует много разных мусорных страниц и все эти мусорные страницы попадают в индекс поисковых систем. При этом образуются технические дубли. Мы задали эти директивы, чтобы не было таких мусорных страниц.

В .htaccess мы перечислили основные виды страниц, которые генерирует WordPress. Это страницы фидов, это страницы постраничной навигации комментариев, всем известные реплайтукомы и т.д.

Сегодня мы научились настраивать файл robots.txt и .htaccess. Я вам дала ценную информацию, о которой сама узнала из платного курса.

Не забывайте подписываться на обновления и оставлять комментарии. До встречи. Наталья Краснова.

 

Анекдот.
robot-vorovВ Японии изобрели умного робота. Он умеет ловить воров.
— В Японии за 10 минут поймали 200 воров.
— В Америке за 10 минут поймали 400 воров.
— В России за 10 минут украли самого робота.

Добавлено:
Автор Наталья Краснова