Имеется один метод, который позволяет настроить индексацию страничек Вашего вебдетища для Гугле и Яндекса. Для этого в тэге «HEAD» нужной странички, прописывается МЕТА-тэг Robots. Этот тэг нужно прописывать для всех страничек, в которые Вы хотите использовать какое-либо правило индексации.
Для этого МЕТА-тэга имеются лишь две пары директив — это [no]index, а также [no]follow.
Index – говорит относительно индексации страницы;
Follow – говорит относительно разрешения (запрета) передачи веса со странички;
Стандартные значения – «follow» и «index». Имеется также укороченная версия написания с помощью «none» и «all». Это говорит об активности или нет всех директив.
У вебпроектов, которые создаются на основании той или CMS, есть много файлов, которые не несут в себе никакой информации.
Ежели не запрещать индексацию этого мусора, то время, которое ПС отводят своим роботам на индексации Вашего проекта будет впустую тратиться на просматривание файлов движка в поисках нужной информации, то есть содержимого, которое ПС никоим образом не нужно. При этом времени на полную индексацию проекта может и не хватить.
Помимо того, нужно стремиться к уникальности содержимого на собственном вебдетище и не нужно допускать дублирования информационного содержимого (контента). Дублирование может появиться в случае, если одинаковый материал будет находиться по различным URL (адресам). Поисковые системы Гугл и Яндекс, проводя индексацию веб-сайта обнаружат дубли и примут меры направленные на пессимизацию Вашего вебдетища. Это, понятное дело, когда таких файлов будет очень много.
Для запрета большого количества страниц нужно пользоваться файлом Robots. Txt. Для одной же страницы лучше использовать МЕТА-тэг Robots. Чтобы запретить индексацию внутри страницы имеется возможность применять тег NOINDEX, который поддерживается лишь ПС Яндекс.
p.s. ищете алюминиевые радиаторы иои биметаллические радиаторы для водяного отопления? Выбирайте Vivaldo Classic!