Данный код делает разные файлы robots.txt для разных поддоменов на одном хостинге.
Например, при обращении к файлу http://one.domen.ru/robots.txt будет отображаться содержимое файла robots_one.txt, а при обращении к файлу на втором поддомене http://two.domen.ru/robots.txt будет отображаться содержимое другого файла robots_two.txt
В то же время, при обращении к файлу http://domen.ru/robots.txt на основном домене, будет отображаться содержимое файла robots.txt
RewriteCond %{HTTP_HOST} ^one.domen.ru$
RewriteRule ^robots.txt$ /robots_one.txt
RewriteCond %{HTTP_HOST} ^two.domen.ru$
RewriteRule ^robots.txt$ /robots_two.txt
Комментарии ()