Как составить robots.txt

[goldyman]

всё верно отписали выше, но также стоит сказать, что закрытие в robots.txt некоторых разделов не панацея от индексации.
например гуглу чхать на роботс

Полностью согласен. Год с лишним я колдовал над роботсом к форуму SMF, даже на форуме поддержки этого движка был отдельный топик по этому поводу. Получилось так, что Яндекс все отображает корректно, т. е. без мусора, а Гугл выводит все подряд. Я даже по первости боролся с этим, удаляя страницы из индекса с помощью панели Вебмастера Гугл, но вылазили новые. Пришлось забить.