При создании сайта важным элементом служит файл robots.txt. От его правильного создания зависит успешность веб-сайта. Что же собой представляет этот файл?

Очень коротко о важном
Файл robots.txt располагается в корневом каталоге сайта. Он содержит информацию об индексации страниц в поисковых системах. Он также включает в себя директивы, описывающие разделы сайта. С его помощью можно создать специальные настройки доступа, которые предназначены для смартфонов и других гаджетов. С помощью этого файла можно задать метод сканирования дизайна страницы. Таким образом можно скрыть некоторые элементы, снизив нагрузку на сервер. robots.txt позволяет также скрыть изображения из результатов google, некоторые скрипты на сайте, значки и т.п. Не блокируйте элементы сайта, если это помешает сканированию поисковыми агентами.
Не поддавайтесь соблазну заблокировать страницу с помощью robots.txt. Причина в том, что другие ресурсы могут ссылаться на эту страницу. Таким образом желанное не будет достигнуто.

Автор: Юлия Мостовая