ВОПРОС

[BIG-BOSS]

что , обозначает пользователи боты . зарегестрированные пользователи это понятно, Админестраторы. модераторы . но боты , мне просто интерестно что эта за категория такая .

[BioLogIn]

BIG-BOSS
Это означает поисковые роботы

И да, эта тема явно из раздела "о сайте и форуме".

[Razdikrok]

Ограничить индексацию сайта можно с помощью файла robots.txt, однако некоторые недобросовестные боты могут игнорировать наличие этого файла. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.

А нафига ограничивать индексацию?

[BioLogIn]

Razdikrok
ну можно например не хотеть, чтобы какая-то инфа на твоем сайте находилась "через гугль". А можно "позаботиться" о поисковике и его пользователям и запретить боту индексацию слишком часто меняющейся страницы. Разные случаи бывают.

[BIG-BOSS]

ясно

[Razdikrok]

BioLogIn, ясно, спасибо.