By | 23.11.2018
Скачать robots txt пример. Robots txt проверка и настройка
Rate this post

Доброе Время суток друг, читатель или мимо проходящий посетитель! Сегодня в этой статье я хочу затронуть тему настройки файла robots txt, очень важного файла для каждого сайта и блога, который хочет выйти в ТОП поисковых систем. Что ждет Вас в статье?  Здесь я Вам дам скачать пример robots.txt файла, расскажу в вкратце, что это за файл для чего он нужен, как настроить и проверить его работоспособность.

Начнем с разъяснений, для тех кто впервые столкнулся с этим термином, а именно с разъяснения некоторых понятий.  Собственно говоря, файл robots txt это путеводитель для поисковых систем по просторам вашего сайта или блога. Другими словами, robots txt — это файл находящийся в корне сайта, который показывает поисковым системам, что нужно индексировать, а что нет. То есть, при отсутствии этого файла, поисковик будет сканировать в вашем сайте все подряд. При этом, в первую очередь поисковик будет затрачивать много времени на индексацию Вашего сайта или блога, во вторую очередь поисковая система может проиндексировать дубли страниц вашего блога. А это ой как не хорошо…

Что значит дубли страниц? Дубли страниц возникают тогда, когда сайт или блог имеет погрешность дублировать контент в силу своей функцианальности. Например на определенных страницах блога индексируется анонсы статей, в архивах могут прятаться копии документов и в рубриках блога может быть подобная ситуация. Так вот, чтобы такие ситуации не возникали советую прописать в robots txt запрет на индексацию таких нехороших разделов. Я могу дать скачать пример robots txt своего сайта, чтобы вы могли его настроить для себя. Этот пример файла является почти универсальным, однако в отдельных случаях требует доработки. Об этом я напишу позже, так что следите за новостями блога.

Скачать robots txt пример

И так, здесь я выложил для Вас пример файла, который вы можете у меня на блоге скачать. Скачиваем с моего сайта robots txt. Далее, распаковываем архив, заменяем в примере все записи http://creationsait.ru на адрес своего сайта. Пока больше в нем изменять ни чего не нужно. Теперь надо будет загрузить этот маленький файл в корень своего сайта. Для этого есть несколько способов, лучше всего воспользоваться плагином для вордпресс Fale Manager или закинуть его в корень своего блога через FTTP-клиент.

Robots txt проверка на работоспособность

Для проверки нужно воспользоваться сервисом Яндекса. Заходите на Яндекс Вебмастер,  в раздел проверка robots txt. Выйдет вот такое окно:

Если вы сделали все правильно, проверка как показана на картинке завершиться успехом  и выйдет вот такое сообщение. Вот и все файл robots.txt теперь установлен и готов к выполнению своих функций. Как говориться проверка прошла успешно.

Дорогие друзья, посетители! В этой статье мы рассмотрели то, как быстро создать файл robots txt и проверить его работоспособность. А в статье «Как создать robots txt для блога. Составить правильный robots txt» Вы можете узнать об этом подробнее и самостоятельно настроить свой файл для своего блога!

Следите за новыми публикациями, подписывайтесь на ленту новостей и будьте в курсе новых статей на моем сайте.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *