Как создать robots txt для блога. Составить правильный robots txt

Как создать robots txt для блога. Составить правильный robots txt

Привет, дорогие друзья!!! Здесь в этой статье сегодня я хочу вам рассказать о том, как создать robots txt для своего блога правильно. Ведь правильный robots txt залог успешного продвижения вашего детища в поисковых системах, таких как Гугл и Яндекс.

Для чего нужен вообще этот файл? Ну объяснение начнем наверное с поисковых систем. Поисковики гуляют по просторам интернета и собирают основную информацию о контенте находящийся на всех сайтах интернета, дабы найти для человека, который ищет что-то в поиске, максимально релевантный и уникальный контент.

Именно уникальный контент является важнейшим фактором, на который поисковик обращает внимание. Конечно уникальность текста на вашем сайте не является единственным критерием, по которым вы можете попасть в ТОП. Однако поисковые системы при ранжировании сайтов в поисковой выдачи уникальность считают как одну из важнейших факторов ценности информации находящейся на том или ином сайте. Уникальность контента — это важно!

Однако, некоторые сайты и блоги грешат тем, что создают дублированный контент на своем блоге. Первые понятия дублированного контента и примеры составления файла robots txt я писал в этой статье. Если не хотите париться и разбираться как работает этот файл, просто пройдите по ссылке, прочитайте инструкцию, скачайте этот файл и установите его на свой сайт.

В ранее написанной статье я предлагаю почти универсальный  файл robots txt, который подойдет для всех блогов. Однако я тогда не объяснил его принцип работы, как его настраивать. Сегодня это мы как раз и сделаем, раздеремся в технической стороне его составления.

Правильный robots txt

Правильный файл robots txt это тот файл, который закрывает от индексации все дубли страниц, которые бывают обычно на всех блогах.

Объясню на примере: Вы написали уникальную статью в блог, однако при не правильном составлении нашего файла написанная статья становиться вовсе не уникальной по следующим причинам.

После публикации постов, обзоры статей начинают отображаться  в рубриках, архивах блога, в RSS-ленте и т.д. Вот именно этот фактор делает Ваши статьи не уникальными уже с первого опубликования. Это происходит потому, что поисковики каждую страницу воспринимают как отдельный элемент, а не как весь блог  целом. Так вот, чтобы таких казусов не возникало нужно правильно составить robots txt, то есть прописать те разделы блога или сайта, которые создают дублированный контент.

Как составить (создать) robots txt самому?

Вообще, robots txt это обычный текстовый файл в котором написаны коды запрета индексации и все. И все же, как составлять robots txt для блога, чтобы он оказался правильным?

как создать robots txt, правильный  robots txt, как составить robots txt

Просто нужно знать какие команды следует прописывать в этом текстовом документе.

Текстовая команда User-agent означает поисковую систему которой вы запрещаете индексировать раздел своего блога или сайта.

К примеру, если вы хотите чтобы Вас не индексировал ГУГЛ, то нужно будет прописать в начале документа вот такую команду: User-agent: Google.

А чтобы прописать команду запрет индексации для всех поисковых систем, команда прописывается User-agent:*

И после этой записи перечисляем разделы блога, которые вы запрещаете к индексации. Хотелось бы отметить только то, что команды на запрет индексации для Яндекс желательно прописать отдельно ниже в файле.

Команда для запрета индексации разделов блога прописывается словом Disallow:

Что это значит, и как это выглядит?

К примеру вы задаете Яндексу запрет на индексацию раздела, скажем системного раздела wp-login.php. 

Так вот, команда для этого будет выглядеть следующим образом:

User-agent: Yandex

Disallow: /wp-login.php

Теперь рассмотрим те разделы блога (для блогов WordPress) которые следует запретить от индексирования поисковыми системами.

В первую очередь, это все служебные и системные разделы блога: wp-login.php, wp-register.php, wp-content, wp-admin,  wp-include. 

Во вторую очередь, нужно закрывать все разделы создающие дублирующий контент.

category/*/* — команда на закрытие дублей в категориях (разделах) блога.

*?* — дубли страниц находящихся в результатах поиска.

comments — закрытие индексации комментариев

Теперь я думаю Вы разобрались в том, как составить правильный robots txt.

Вот как выглядит правильно составленный файл robots txt:

правильный robots txt, как составить robots txt, как создать robots txt

Хочу добавить, что ниже в этом же файле следует прописать аналогичные команды и для Яндекса. Как это делать я указал немного Выше.

Кроме того, если у Вас имеется дополнительные файлы, которые следует закрыть от индексации смело включайте его в список. Просто пропишите в строке команды расположение файла.

Дорогие друзья, сегодня я надеюсь подробно рассказал о том, что такое правильный robots txt и для чего он служит.

Здесь нет ничего замудренного, все просто и понятно главное было бы желание разбираться в этом!

Если Вы хотели бы дополнить или уточнить, милости прошу пишите все в комментариях Все обсудим вместе!

Скоро я напишу статью, о том как нужно правильно выходить в топ поисковых систем. Так что подписывайтесь на обновления блога, чтобы не пропустить интересное.

Ну а я с Вами не прощаюсь, дорогие друзья-читатели! До новых встреч в новых статьях о блоггинге!

 С уважением, Андрей Мартынов

 

  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
(0 голосов, в среднем: 0 из 5)



Хочу получать другие статьи
любимого блога!

   
Дата:Автор:

Комментарии: 51 коммент.

  1. Ольга Журбенко говорит:

    Необязательно для Яндекса делать отдельные команды. В том примере, что на картинке указан алгоритм для всех поисковиков

    Ответить
    • Андрей Мартынов говорит:

      Как правило для Яндекса нужно прописывать отдельно. Иногда при проверке Яндекс выводит ошибку чтения файла к вашему Оля сведению

      Ответить
      • Ольга Журбенко говорит:

        У меня не выводит никаких ошибок. Никаких отдельных директорий я не прописывала. У меня вообще очень простой файл. Когда то настраивала его по подробному руководству, которое нашла на одном сайте. Правда после этого меняла тему. Надо бы проверить, все литам правильно. Только сейчас об этом подумала (:
        А вот если что то конкретное для Яши хотите прописать, тогда и стоит сделать отдельную дерективу

        Ответить
        • Андрей Мартынов говорит:

          Прежде чем спорить почитайте правила яндекса help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#what-is-robots-txt

          Ответить
        • Anton говорит:

          Ольга, лучше бы почитали рекомендации Яндекса по robots.txt, чем сидеть здесь и спорить. Там все русским по белому написано и про отдельные команды и про конкретику. И я бы Вам советовал прекратить писать чушь, наподобии того, что «у меня ошибок не выдает»… если у Вас ошибок не выдает, еще не означает, что Вы все правильно объявляете. Я Вам открою страшную тайну, но, у всех сайтов robots.txt разный и если Вы сперли содержимое (даже по мега-разжеванному руководству), то, я более, чем уверен, что структура у Вашего блога уже неправильная.
          robots.txt необходимо составлять самостоятельно, четко контролируя список страниц и варианты доступа к ним. Руководства даны лишь для того, чтобы разобравшись с командами, написать свой вариант. Но, судя по многочисленным комментам в Рунете, так умеют немногие.

          Ответить
          • Андрей Мартынов говорит:

            Антон, я с тобой совершенно согласен!

          • Ольга Журбенко говорит:

            Антон, не понимаю Вашего такого сарказма и явно недоброжелательного отношения. Именно так я и поступала когда то. Просматривала конкретно свою тему и закрывала то, что нужно было закрыть.

          • Андрей Мартынов говорит:

            Оля Вы так и не прочитали правила составления файла для Яндекса? Расскажу: Яндекс принимает команды, которые адресованы именно ему, поэтому * для него работать не будет. Я так отреагировал, потому что Вы всегда так яро спорите о том, в чем Вы далеко не ас. Если что извини. Но тоже не приятно, когда ты изучаешь по несколько дней одну тему и еще включаешь весь накопленный опыт за все время, а тут тебе «ха не правильно!!!» Думаю Вы меня поняли…

          • Ольга Журбенко говорит:

            Андрей, я нисколько не обиделась :) На что? Читала я правила эти и не один раз.
            Выдержка из правил:
            «В самом robots.txt проверяется наличие записей, начинающихся с ‘User-agent:’, в них ищутся подстроки ‘Yandex’, либо ‘*’ (регистр значения не имеет), причем, если обнаружено ‘User-agent: Yandex’, директивы для ‘User-agent: *’ не учитываются.»

          • Мозгунова Ирина говорит:

            А ведь мы действительно,»спираем» (от слова «спёрли» 😀 , сказанного Антоном) содержимое этого файла robots txt, не понимая даже , что он у каждого должен быть прописан самостоятельно.
            Что делать, так учат на курсах, не углубляясь.
            Издержки обучения, однако… *UNKNOWN*

          • Ольга Журбенко говорит:

            Ирина, это смотря какие курсы проходили. Хотя основа у всех одна. И обычно стартовые курсы дают самые базовые знания. Основы, основ. А дальше приходится самообучаться.

  2. Anton говорит:

    Андрей, благодарю.
    По правде сказать, меня веселят подобные комменты. Зато сразу понятно, на какие блоги можно не заходить :)

    P.S: нашел RSS Вашего блога только через сниффер. А чего — напрямую подписаться никак, только по мылу? А если я не хочу?)

    Ответить
    • Андрей Мартынов говорит:

      Не Антон, синффер слишком опасен для безопасности моего блога! Если честно я блоггер и занимаюсь блоггингом, а не хак. К тому же, для меня это тема не слишком интересна. Если тебе действительно интересен мой блог то ты подпишешься и по почте ))))

      Ответить
  3. Anton говорит:

    Андрей, я уже подписался по RSS)) Удобнее ее читать.
    Ольга, а какого отношения Вы хотите, когда Вам два человека говорят, что Вы не правы, с точки зрения логики, а Вы все равно продолжаете спорить? Не имею ничего против личного опыта и работы над собственными ошибками, но, Вы, похоже, не совсем понимаете даже суть наших с Андреем ремарок.

    Ответить
    • Ольга Журбенко говорит:

      Я не спорю, а ищу информацию. Мне еще много чего надо изучить. Я этого не скрывала до этого, не скрываю сейчас. Каждый день в блоггерстве приносить новые сюрпризы, о которых «гуру», у которых я училась умалчивали.
      Антон, покажите мне фразу в правилах, где Яндекс четко говорит, что нужно обязательно прописать директиву именно для него.
      Или Андрей…. Кто-нибудь спасите блондинку. Может быть я на самом деле все делаю неправильно %)

      Ответить
  4. Елена говорит:

    Боже мой, я вообще не знала для чего нужен этот файл robots txt. И жила счастливо. А оказывается он вот какой важный…
    Надо бы посмотреть, у меня-то там что же такое написано…

    Ответить
    • Ольга Журбенко говорит:

      Ну Вы же не жили 3 года без этого файла? По моему это было самое первое, что рассказывали на курсах по созданию блога

      Ответить
      • Елена говорит:

        Конечно, файл этот на блоге есть и был, мне кажется, с самого начала. Но вот для чего он нужен и как должен выглядеть, я даже не задумывалась.

        Ответить
        • Ольга Журбенко говорит:

          Я задумалась тогда, когда мой блог под АГС попал. В тот момент о многом пришлось подумать 😀

          Ответить
          • Елена говорит:

            А вот этого не хотелось бы… Как вы с этим справились, Оля? =-O

          • Ольга Журбенко говорит:

            Сначала был шок. Хотелось все бросить. Потом взяла себя в руки и за работу. =) 5 месяцев было блогу, когда вывела из под фильтра Радости моей не было предела

          • Ольга говорит:

            А из-за чего вы под фильтр попали?

          • Ольга Журбенко говорит:

            Оль, не могу сказать. Я тогда еще была в самом начале пути была. Только только блог создала. Много не знала и не понимала.

          • Елена говорит:

            Оля, а сколько вы времени под фильтром долго? Долго это длилось?

          • Ольга Журбенко говорит:

            После того, как обнаружила 3 месяца мне понадобилось

          • Елена говорит:

            3 Месяца не очень большой срок, но лучше бы их не было вовсе. Хотя с другой стороны, это тоже опыт. Пусть отрицательный, но опыт…

          • Ольга Журбенко говорит:

            На тот момент для меня эти 3 месяца были вечностью 😉 особенно, когда ничего еще практически не знаешь и мало в чем разбираешься. Причем когда искала информацию по АГС многие советовали просто бросить этот блог и начать другой. Говорили, что так гораздо проще

  5. Ольга говорит:

    Мдааа, согласна с Еленой, столько нюансов еще предстоит изучить. Буду изучать это robots, спасибо за разъяснения.
    P.s. Зачем вы на Ольгу так набросились? :) Знать абсолютно все никто не может, тем более правила меняются постоянно…

    Ответить
    • Ольга Журбенко говорит:

      Оль, я на них совсем не в обиде 😉 Причем я повторюсь, что до сих пор (хоть уже полтора года веду блог) я считаю себя новичком. Мне даже интересно иногда участвовать в таких дискуссиях. Правда жду ответа на свой вопрос, который задала Антону.

      Ответить
      • Елена говорит:

        Мне тоже до профессионала еще пилить и пилить.

        Ответить
        • Ольга Журбенко говорит:

          Елена, все мы в вечном обучении *CRAZY*

          Ответить
          • Елена говорит:

            Что да, то да. Но мне нравится учиться… Особенно тому, что интересно.

  6. Оксана Адаменко говорит:

    А у меня всем этим занимается тех. поддержка, я высылала документ, а они все там вставляли и настраивали. Потом я просто проверила работает или нет. Спасибо большое ребятам. Но вашу статью я запомню, так как в новом блоге я буду все делать сама, поэтому мне это очень пригодится. Спасибо. Сейчас пока вопросов не возникает, но при работе уверенна возникнут.

    Ответить
    • Ольга Журбенко говорит:

      Оксана, я глянула Ваш файл. Если честно, я бы его подредактировала. У Вас закрыта от индексации только админка.
      User-agent: *
      Disallow: /wp-admin/
      Disallow: /wp-includes/

      Sitemap: http:// oxygen-dam.ru/sitemap.xml.gz

      Не мешало бы позакрывать архивы и все остальное, чтобы не было дублей

      Ответить
      • Ольга говорит:

        Оля, вы уже такой специалист! А на мой посмотрите, пожалуйста :)

        Ответить
        • Ольга Журбенко говорит:

          Оль, мне кажется что Вы немного скромничаете. У Вас же даже отдельные директории для Гугл адсенс прописаны.

          Ответить
          • Ольга говорит:

            Ха! Я даже понятия не имею, где его смотреть :) Это мне фрилансер помогает. Судя по вашему комментарию, деньги отрабатывает хорошо :)

          • Ольга Журбенко говорит:

            Посмотреть свой файл можно, если ввести в строку браузера : http://Ваш сайт/robots.txt
            Наверное, правильно, что у Вас техническими делами занимается фрилансер. каждый должен делать свою работу, ту которую умеет. Вы писать, он создавать блоги.
            Очень много времени уходит на изучение технических моментов в ведении сайтов. Я уже тоже пришла к решению и некоторые вещи отдаю фрилансерам. Это гораздо выгоднее получается, чем делать самой.
            Однако, основополагающие моменты нужно знать. Хотя бы в общих чертах.

      • Оксана Адаменко говорит:

        Ольга, а как это сделать подскажите… я это не знаю как что делать…

        Ответить
        • Андрей Мартынов говорит:

          В статье же все написано

          Ответить
        • Ольга Журбенко говорит:

          Оксана,что сделать? Закрыть ненужные директивы? Или что?

          Ответить
          • Оксана Адаменко говорит:

            Дело в том, что у меня нету админа, я не могу сама добавлять… этот блог создан от Центра Равновесия и все делает мне тех. поддержка от Центра Равновесия. Вот пока подробно хочу понять чтоб в новом блоге это все уметь делать.

          • Ольга Журбенко говорит:

            А в админпанели Вы сами ничего делать не можете?

          • Оксана Адаменко говорит:

            могу писать статьи, могу поставить плагины которые уже есть, но кнопки скачать нету, как вот у многих, тоестья пользуюсь тем что уже есть а чего нету я не могу сама делать.

          • Андрей Мартынов говорит:

            Что за кнопки?

          • Оксана Адаменко говорит:

            Кнопка например загрузить (скачать) новый плагин.

          • Андрей Мартынов говорит:

            ясно

  7. Kozak говорит:

    Имеет ли значение порядок команд?

    Ответить
  8. Kozak говорит:

    Что не запрещено, то разрешено?

    Ответить
  9. Арина говорит:

    Намучилась я в свое время, пока нормальный robots.txt установила. сказать, что сайтов 10 которые предлагали свои варианты у меня ничего не получилось.

    Ответить
    • Kozak говорит:

      Все таки лучше самому разобраться, что к чему.

      Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

как создать блог

узнать подробнее о medaindex.ru