robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Подробнее о файле robots.txt:
help.sitecraft.ru/step4_promo.htm#0351
http://help.yandex.ru/webmaster/?id=996567
Как разместить файл robots.txt на сайте, сделанном в Сайткрафте:
1) Для Сайткрафт-Студии версии 7.8.5 и выше:
На 4 шаге нажмите "Настройка сайта" - "Настройки для раскрутки" - "Редактировать robots.txt". В открывшееся окно введите содержимое файла robots.txt
2) Для Сайткрафт-Студии более старой версии:
а) Откройте Блокнот или другой простой редактор текста, напишите в него команды для поисковиков, и сохраните его на рабочем столе под именем robots.txt.
б) Откройте свой сайт в Сайткрафте на 3 шаге, откройте Лицевую страницу.
в) На лицевую страницу поставьте Заготовку: "Доп.инструменты" "Вставить заготовку".
г) Выделите заготовку, на пленке нажмите: "Доп.инструменты" "Открыть папку". Откроется обычная папка Windows.
д) В неё положите файл robots.txt.
е) Перейдите на 5 шаг и опубликуйте сайт в интернет.