Как работать с robots.txt? Просто о сложном

Еще больше полезной информации на и Как и зачем необходимо создавать файл … про настройка битрикс.