Как создать robots txt. Составить правильный robots txt
Rate this post

Привет, дорогие друзья!!! Здесь в этой статье сегодня я хочу вам рассказать о том, как создать robots txt для своего блога правильно. Ведь правильный robots txt залог успешного продвижения вашего детища в поисковых системах, таких как Гугл и Яндекс.

Для чего нужен вообще этот файл? Ну объяснение начнем наверное с поисковых систем. Поисковики гуляют по просторам интернета и собирают основную информацию о контенте находящийся на всех сайтах интернета, дабы найти для человека, который ищет что-то в поиске, максимально релевантный и уникальный контент.

Именно уникальный контент является важнейшим фактором, на который поисковик обращает внимание. Конечно уникальность текста на вашем сайте не является единственным критерием, по которым вы можете попасть в ТОП. Однако поисковые системы при ранжировании сайтов в поисковой выдачи уникальность считают как одну из важнейших факторов ценности информации находящейся на том или ином сайте. Уникальность контента — это важно!

Однако, некоторые сайты и блоги грешат тем, что создают дублированный контент на своем блоге. Первые понятия дублированного контента и примеры составления файла robots txt я писал в этой статье. Если не хотите париться и разбираться как работает этот файл, просто пройдите по ссылке, прочитайте инструкцию, скачайте этот файл и установите его на свой сайт.

В ранее написанной статье я предлагаю почти универсальный  файл robots txt, который подойдет для всех блогов. Однако я тогда не объяснил его принцип работы, как его настраивать. Сегодня это мы как раз и сделаем, раздеремся в технической стороне его составления.

Правильный robots txt

Правильный файл robots txt это тот файл, который закрывает от индексации все дубли страниц, которые бывают обычно на всех блогах.

Объясню на примере: Вы написали уникальную статью в блог, однако при не правильном составлении нашего файла написанная статья становиться вовсе не уникальной по следующим причинам.

После публикации постов, обзоры статей начинают отображаться  в рубриках, архивах блога, в RSS-ленте и т.д. Вот именно этот фактор делает Ваши статьи не уникальными уже с первого опубликования. Это происходит потому, что поисковики каждую страницу воспринимают как отдельный элемент, а не как весь блог  целом. Так вот, чтобы таких казусов не возникало нужно правильно составить robots txt, то есть прописать те разделы блога или сайта, которые создают дублированный контент.

Как составить (создать) robots txt самому?

Вообще, robots txt это обычный текстовый файл в котором написаны коды запрета индексации и все. И все же, как с оставлять robots txt для блога, чтобы он оказался правильным?

Просто нужно знать какие команды следует прописывать в этом текстовом документе.

Текстовая команда User-agent означает поисковую систему которой вы запрещаете индексировать раздел своего блога или сайта.

К примеру, если вы хотите чтобы Вас не индексировал ГУГЛ, то нужно будет прописать в начале документа вот такую команду: User-agent: Google.

А чтобы прописать команду запрет индексации для всех поисковых систем, команда прописывается User-agent:*

И после этой записи перечисляем разделы блога, которые вы запрещаете к индексации. Хотелось бы отметить только то, что команды на запрет индексации для Яндекс желательно прописать отдельно ниже в файле.

Команда для запрета индексации разделов блога прописывается словом Disallow:

Что это значит, и как это выглядит?

К примеру вы задаете Яндексу запрет на индексацию раздела, скажем системного раздела wp-login.php. 

Так вот, команда для этого будет выглядеть следующим образом:

User-agent: Yandex

Disallow: /wp-login.php

Теперь рассмотрим те разделы блога (для блогов WordPress) которые следует запретить от индексирования поисковыми системами.

В первую очередь, это все служебные и системные разделы блога: wp-login.php, wp-register.php, wp-content, wp-admin,  wp-include. 

Во вторую очередь, нужно закрывать все разделы создающие дублирующий контент.

category/*/* — команда на закрытие дублей в категориях (разделах) блога.

*?* — дубли страниц находящихся в результатах поиска.

comments — закрытие индексации комментариев

Теперь я думаю Вы разобрались в том, как составить правильный robots txt.

Вот как выглядит правильно составленный файл robots txt:

Хочу добавить, что ниже в этом же файле следует прописать аналогичные команды и для Яндекса. Как это делать я указал немного Выше.

Кроме того, если у Вас имеется дополнительные файлы, которые следует закрыть от индексации смело включайте его в список. Просто пропишите в строке команды расположение файла.

Дорогие друзья, сегодня я надеюсь подробно рассказал о том, что такое правильный robots txt и для чего он служит.

Здесь нет ничего замудренного, все просто и понятно главное было бы желание разбираться в этом!

Если Вы хотели бы дополнить или уточнить, милости прошу пишите все в комментариях Все обсудим вместе!

Скоро я напишу статью, о том как нужно правильно выходить в топ поисковых систем. Так что подписывайтесь на обновления блога, чтобы не пропустить интересное.

Ну а я с Вами не прощаюсь, дорогие друзья-читатели! До новых встреч в новых статьях о блоггинге!

 С уважением,  Сергей Иванов

 

47 Replies to “Как создать robots txt. Составить правильный robots txt”

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *