Скачать robots txt пример, robots txt проверка и настройка
Rate this post

Доброе Время суток друг, читатель или мимо проходящий посетитель! Сегодня в этой статье я хочу затронуть тему настройки файла robots txt, очень важного файла для каждого сайта и блога, который хочет выйти в ТОП поисковых систем. Что ждет Вас в статье? Здесь я Вам дам скачать пример robots.txt файла, расскажу в вкратце, что это за файл для чего он нужен, как настроить и проверить его работоспособность.

Начнем с разъяснений, для тех кто впервые столкнулся с этим термином, а именно с разъяснения некоторых понятий.  Собственно говоря, файл robots txt это путеводитель для поисковых систем по просторам вашего сайта или блога. Другими словами, robots txt — это файл находящийся в корне сайта, который показывает поисковым системам, что нужно индексировать, а что нет. То есть, при отсутствии этого файла, поисковик будет сканировать в вашем сайте все подряд. При этом, в первую очередь поисковик будет затрачивать много времени на индексацию Вашего сайта или блога, во вторую очередь поисковая система может проиндексировать дубли страниц вашего блога. А это ой как не хорошо…

Что значит дубли страниц? Дубли страниц возникают тогда, когда сайт или блог имеет погрешность дублировать контент в силу своей функцианальности. Например на определенных страницах блога индексируется анонсы статей, в архивах могут прятаться копии документов и в рубриках блога может быть подобная ситуация. Так вот, чтобы такие ситуации не возникали советую прописать в robots txt запрет на индексацию таких нехороших разделов. Я могу дать скачать пример robots txt своего сайта, чтобы вы могли его настроить для себя. Этот пример файла является почти универсальным, однако в отдельных случаях требует доработки. Об этом я напишу позже, так что следите за новостями блога.

Скачать robots txt пример

И так, в этой статье я выложил для Вас пример файла, который вы можете у меня на блоге скачать. Ссылка на скачивание файла robots.txt выложена в конце статьи.  распаковываем архив, заменяем в примере все записи на адрес своего сайта. Пока больше в нем изменять ни чего не нужно. Теперь надо будет загрузить этот маленький файл в корень своего сайта. Для этого есть несколько способов, лучше всего воспользоваться плагином для вордпресс Fale Manager или закинуть его в корень своего блога через FTTP-клиент.

Robots txt проверка на работоспособность

Для проверки нужно воспользоваться сервисом Яндекса. Заходите на Яндекс Вебмастер,  в раздел проверка robots txt. Выйдет вот такое окно:

Если вы сделали все правильно, проверка как показана на картинке завершиться успехом  и выйдет вот такое сообщение. Вот и все файл robots.txt теперь установлен и готов к выполнению своих функций. Как говориться проверка прошла успешно.

»Скачать robots txt«

Дорогие друзья, посетители! В этой статье мы рассмотрели то, как быстро создать файл robots txt и проверить его работоспособность. А в статье «Как создать robots txt для блога. Составить правильный robots txt» Вы можете узнать об этом подробнее и самостоятельно настроить свой файл для своего блога! 

  С уважением, Сергей Иванов

20 Replies to “Скачать robots txt пример, robots txt проверка и настройка”

  1. Вениамин

    У тебя тоже хороший блог, интересный.

    Reply
    1. Сергей Иванов

      Вениамин, благодарю…

      Reply
  2. Мечислав

    Сенкс за инфу, почитал с интересом

    Reply
  3. Людмила

    Здравствуйте Андрей если у меня файл сохраняется вот с так robots.txt.rtf

    он будет работать?

    комп мас нет винды

    Reply
    1. Сергей Иванов

      Нет robots.txt должен сохраняться в формате txt. Скопируйте содержимое в файле который вы наверное скачали и вставьте в обычный текстовый документ у себя на компьютере и сохраните в формате txt.

      Reply
  4. Татьяна

    Здравствуйте Андрей.Я долго мечтала о своем сайте.2 недели назад он у меня появился. Я увствую себя очень неуверено в море новых для меня понятий. Ваша статья помогла мне. Спасибо.

    Reply
    1. Сергей Иванов

      Спасибо Татьяна, продолжайте изучать информацию на блоге. И я надеюсь что на страницах моего блога, Вы получите всю необходимую информацию чтобы раскрутить свой сайт!

      Reply
  5. Ольга

    Файл robots.txt не может быть одинаков для всех подряд. Но как его настроить под свой блог, я тоже не знаю.

    Reply
    1. Сергей Иванов

      Этот файл должен показывать роботу что нужно индексировать а что нет. Есть такое понятие склейка и дубли страниц которые получаются от одновременной индексации рубрик, архивов и страниц блога. Вот правильное прописывание запрета индексации решают эти проблемы

      В моем варианте файла все эти запреты проставлены

      Reply
    2. Ольга Журбенко

      Я в свое время нашла подробную статью с видео, где объясняли как настроить robots.txt . Делала по инструкции %) Но сейчас уже не вспомню

      Reply
  6. Ольга

    Андрей, а его вот так один раз настроил и можно про него забыть, или нужно периодически что-то проверять и дописывать, доделывать, чистить?

    Reply
    1. Сергей Иванов

      Этот файл прописывается и загружается в корень блога один раз. Однако, если вы по ходу ведения блога добавляете какие-либо папки и файлы в директории блога, то их необходимо включить в список файла Роботс тхт, если конечно не хотите их проиндексировать поисковиками.

      Основное назначение файла это закрытие дублирующих страниц блога и закрытие от индексации системных файлов

      Будут ее вопросы спрашивайте

      Reply
      1. Ольга

        А если я новые плагины устанавливаю, это значит, добавление системных файлов или это другое?

        Reply
        1. Сергей Иванов

          Нет в примере файла этот раздел тоже закрыт. А устанавливаете или удаляете плагины уже не важно

          Reply
  7. Оксана Адаменко

    А у меня всем этим занимается тех. поддержка, я высылала документ, а они все там вставляли и настраивали. Потом я просто проверила работает или нет. Спасибо большое ребятам. Но вашу статью я запомню, так как в новом блоге я буду все делать сама, поэтому мне это очень пригодится. Спасибо. Сейчас пока вопросов не возникает, но при работе уверенна возникнут.

    Reply
  8. Мира

    я все думала как же яндекс ищет запрашиваемую информацию. А вот оно все как устроено!!! =-O

    Reply
  9. Kozak

    Чтобы скачать нажимаю на кнопку — появляется узенькое окошко, в котором тяжело что-то прочитать.

    Reply
  10. Kozak

    Андрей, вопрос.

    Надо ли закрывать комментарии в роботс?

    Встречал советы, что надо. Зачем?

    Reply
    1. Сергей Иванов

      Комментарии закрывать в роботсе не нужно, однако по закрытию исходящих ссылок подумать стоит

      Reply
      1. Kozak

        Офигеть. Только что посмотрел. Оказывается, ссылки открытые. Спасибо.

        Reply

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *