В этой статье описан тот необходимый минимум, который нужно знать о индексации сайта поисковиками, а именно - robots.txt
Если у Вас есть сайт и Вы добавили его на индексацию в поисковики через специальные ссылки AddUrl (если Вы этого еще не сделали - Вам сюда), то в корень сайта необходимо добавить текстовый файл robots.txt, который можно (а даже нужно) создать в обычном стандартном приложении Блокнот.
Немного терминологии:
User-agent: - указывает, каким поисковикам можно будет индексировать сайт Allow: - указывает, какие директории сайта или страницы можно индексировать Disallow: - указывает, какие директории или страницы сайта запрещено индексировать Host: - указывает на основное зеркало сайта Sitemap: - указывает путь к карте сайта
Примеры оформления файлов robots.txt:
Разрешает индексировать все страницы сайта всем поисковикам:
User-agent: * Allow: /
Запрещает Яндексу индексировать сайт:
User-agent: Yandex Disallow: /
Разрешает Google индексировать сайт, основное зеркало сайта - fireiser.org, карта сайта находится по ссылке http://fireiser.org/sitemap.xml:
User-agent: GoogleBot Allow: / Host: fireiser.org Sitemap: http://fireiser.org/sitemap.xml
Разрешает Яндексу и Google индексировать директорию /images и запрещает директории /search и /groups
User-agent: Yandex, GoogleBot Allow: /images Disallow: /search Disallow: /groups
Конечно, я многое не описал, но необходимый минимум дал :) | 
