Скачать robots txt пример. Robots txt проверка и настройка

Скачать robots txt пример. Robots txt проверка и настройка

Доброе Время суток друг, читатель или мимо проходящий посетитель! Сегодня в этой статье я хочу затронуть тему настройки файла robots txt, очень важного файла для каждого сайта и блога, который хочет выйти в ТОП поисковых систем. Что ждет Вас в статье? Здесь я Вам дам скачать пример robots.txt файла, расскажу в вкратце, что это за файл для чего он нужен, как настроить и проверить его работоспособность.

Начнем с разъяснений, для тех кто впервые столкнулся с этим термином, а именно с разъяснения некоторых понятий.  Собственно говоря, файл robots txt это путеводитель для поисковых систем по просторам вашего сайта или блога. Другими словами, robots txt — это файл находящийся в корне сайта, который показывает поисковым системам, что нужно индексировать, а что нет. То есть, при отсутствии этого файла, поисковик будет сканировать в вашем сайте все подряд. При этом, в первую очередь поисковик будет затрачивать много времени на индексацию Вашего сайта или блога, во вторую очередь поисковая система может проиндексировать дубли страниц вашего блога. А это ой как не хорошо…

robots txt, robots txt пример, скачать robots txt , robots txt проверка, robots txt для WordPress

Что значит дубли страниц? Дубли страниц возникают тогда, когда сайт или блог имеет погрешность дублировать контент в силу своей функцианальности. Например на определенных страницах блога индексируется анонсы статей, в архивах могут прятаться копии документов и в рубриках блога может быть подобная ситуация. Так вот, чтобы такие ситуации не возникали советую прописать в robots txt запрет на индексацию таких нехороших разделов. Я могу дать скачать пример robots txt своего сайта, чтобы вы могли его настроить для себя. Этот пример файла является почти универсальным, однако в отдельных случаях требует доработки. Об этом я напишу позже, так что следите за новостями блога.

Скачать robots txt пример

И так, в этой статье я выложил для Вас пример файла, который вы можете у меня на блоге скачать. Ссылка на скачивание файла robots.txt выложена в конце статьи.  распаковываем архив, заменяем в примере все записи http://creationsait.ru на адрес своего сайта. Пока больше в нем изменять ни чего не нужно. Теперь надо будет загрузить этот маленький файл в корень своего сайта. Для этого есть несколько способов, лучше всего воспользоваться плагином для вордпресс Fale Manager или закинуть его в корень своего блога через FTTP-клиент.

Robots txt проверка на работоспособность

Для проверки нужно воспользоваться сервисом Яндекса. Заходите на Яндекс Вебмастер,  в раздел проверка robots txt. Выйдет вот такое окно:

robots txt, robots txt пример, скачать robots txt , robots txt проверка, robots txt для WordPress

Если вы сделали все правильно, проверка как показана на картинке завершиться успехом  и выйдет вот такое сообщение. Вот и все файл robots.txt теперь установлен и готов к выполнению своих функций. Как говориться проверка прошла успешно.

»Скачать robots txt«

Дорогие друзья, посетители! В этой статье мы рассмотрели то, как быстро создать файл robots txt и проверить его работоспособность. А в статье «Как создать robots txt для блога. Составить правильный robots txt» Вы можете узнать об этом подробнее и самостоятельно настроить свой файл для своего блога! 

  С уважением, Андрей Мартынов

  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
(1 голос, в среднем: 5 из 5)



Хочу получать другие статьи
любимого блога!

   
Дата:Автор:

Комментарии: 20 коммент.

  1. Вениамин говорит:

    У тебя тоже хороший блог, интересный.

    Ответить
    • Андрей Мартынов говорит:

      Вениамин, благодарю…

      Ответить
  2. Мечислав говорит:

    Сенкс за инфу, почитал с интересом

    Ответить
  3. Людмила говорит:

    Здравствуйте Андрей если у меня файл сохраняется вот с так robots.txt.rtf
    он будет работать?
    комп мас нет винды

    Ответить
    • Андрей Мартынов говорит:

      Нет robots.txt должен сохраняться в формате txt. Скопируйте содержимое в файле который вы наверное скачали и вставьте в обычный текстовый документ у себя на компьютере и сохраните в формате txt.

      Ответить
  4. Татьяна говорит:

    Здравствуйте Андрей.Я долго мечтала о своем сайте.2 недели назад он у меня появился. Я увствую себя очень неуверено в море новых для меня понятий. Ваша статья помогла мне. Спасибо.

    Ответить
    • Андрей Мартынов говорит:

      Спасибо Татьяна, продолжайте изучать информацию на блоге. И я надеюсь что на страницах моего блога, Вы получите всю необходимую информацию чтобы раскрутить свой сайт!

      Ответить
  5. Ольга говорит:

    Файл robots.txt не может быть одинаков для всех подряд. Но как его настроить под свой блог, я тоже не знаю.

    Ответить
    • Андрей Мартынов говорит:

      Этот файл должен показывать роботу что нужно индексировать а что нет. Есть такое понятие склейка и дубли страниц которые получаются от одновременной индексации рубрик, архивов и страниц блога. Вот правильное прописывание запрета индексации решают эти проблемы
      В моем варианте файла все эти запреты проставлены

      Ответить
    • Ольга Журбенко говорит:

      Я в свое время нашла подробную статью с видео, где объясняли как настроить robots.txt . Делала по инструкции %) Но сейчас уже не вспомню

      Ответить
  6. Ольга говорит:

    Андрей, а его вот так один раз настроил и можно про него забыть, или нужно периодически что-то проверять и дописывать, доделывать, чистить?

    Ответить
    • Андрей Мартынов говорит:

      Этот файл прописывается и загружается в корень блога один раз. Однако, если вы по ходу ведения блога добавляете какие-либо папки и файлы в директории блога, то их необходимо включить в список файла Роботс тхт, если конечно не хотите их проиндексировать поисковиками.
      Основное назначение файла это закрытие дублирующих страниц блога и закрытие от индексации системных файлов
      Будут ее вопросы спрашивайте

      Ответить
      • Ольга говорит:

        А если я новые плагины устанавливаю, это значит, добавление системных файлов или это другое?

        Ответить
        • Андрей Мартынов говорит:

          Нет в примере файла этот раздел тоже закрыт. А устанавливаете или удаляете плагины уже не важно

          Ответить
  7. Оксана Адаменко говорит:

    А у меня всем этим занимается тех. поддержка, я высылала документ, а они все там вставляли и настраивали. Потом я просто проверила работает или нет. Спасибо большое ребятам. Но вашу статью я запомню, так как в новом блоге я буду все делать сама, поэтому мне это очень пригодится. Спасибо. Сейчас пока вопросов не возникает, но при работе уверенна возникнут.

    Ответить
  8. Мира говорит:

    я все думала как же яндекс ищет запрашиваемую информацию. А вот оно все как устроено!!! =-O

    Ответить
  9. Kozak говорит:

    Чтобы скачать нажимаю на кнопку — появляется узенькое окошко, в котором тяжело что-то прочитать.

    Ответить
  10. Kozak говорит:

    Андрей, вопрос.
    Надо ли закрывать комментарии в роботс?
    Встречал советы, что надо. Зачем?

    Ответить
    • Андрей Мартынов говорит:

      Комментарии закрывать в роботсе не нужно, однако по закрытию исходящих ссылок подумать стоит

      Ответить
      • Kozak говорит:

        Офигеть. Только что посмотрел. Оказывается, ссылки открытые. Спасибо.

        Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

как создать блог

узнать подробнее о medaindex.ru