Совсем скоро вебмастера смогут воспользоваться в свой работе новым инструментом проверки robot.txt. Данный механизм должен появиться на сервисе Webmaster Tools в разделе Crawl. Создание и проверка правильного файла robot.txt иногда бывает несколько затруднительной. Для разрешения такой проблемной ситуации и был предложен обновленный инструмент Testing Tool.
При помощи обновленного функционала вебмастера смогут проверять все внесенные в файл инструкции изменения до момента его непосредственной загрузки. Также инструмент проверки поможет ознакомиться с более ранними вариантами robots.txt. Это необходимо для отслеживания проблемы доступа при невозможности произвести сканирование проверочным роботом. Помимо этого он предоставит возможность найти, в какой именно строке программного кода содержится страница сайта, которая закрыта от индексации.
Команда GWT советует вебмастерам дополнительно проверять robots.txt при помощи обновленного инструмента Fetch as Google, позволяющего просматривать важные страницы сайта. Если же были найдены блокированные URL, то тогда этот тестер найдет нужные директивы.
Если вы желаете как узнать позицию сайта в яндексе, тогда посетите наш интернет сайт Seranking! Мы предлагаем своим пользователям самую актуальную информацию, все возможности для трекинга позиций сайта, отчеты, полную автоматизацию просто и удобно! Только у нас демо — доступ!