Проблема при создании файла Robots.txt
  возникает рано или поздно перед каждым веб мастером. Разбираться в
синтаксисе и писать этот файл вручную , не очень простое занятие, тем
более что всегда можно ошибиться, что потом может привести к серьезным
последствиям (например, сайт может просто перестать индексироваться
поисковиком).

Поэтому возникает вполне нормальное желание как-то ускорить этот
процесс. В этой статье Вам предлагаются несколько генераторов файла Robots.txt.

Генератор от 4seo.biz

Один из сервисов сайта инструментария 4seo.biz. Помимо основной функции, поддерживает следующие опции:

• Crawl-delay (задержка индексирования в секундах);
• Запрет для картиночных ботов;
• Запреты программ скачивания сайтов;
• Указание главного сайта для Яндекса.

Ссылка на генератор.

Генератор от seochat.com

Крайне простой генератор с ограниченными возможностями:
разрешение к индексации только определенному поисковику, либо всем сразу
и исключение указанных URL.

Ссылка на генератор.

Генератор от mcanerin.com

Достойный генератор с возможностью настройки доступа индивидуально для
каждого из поисковых систем. Также можно настраивать и доступ для
поисковиков изображений. К сожалению, доступны лишь западные поисковики,
всеми любимого Яндекса там не бывает.

Ссылка на генератор.

Генератор от raskruty.ru

Организован довольно просто, но управление слегка нестандартно , при
выборе поисковика из списка, он немедленно вставляется в форму. Впрочем,
это можно стерпеть, учитывая, что этот генератор имеет поддержку
Яндекс.

Набор функций нищенский — доступны только опции запрета индексации.

Ссылка на генератор.

Заключение

К сожалению, идеального генератора robots.txt найти не удалось.
Больше всех понравился образец от mcanerin.com, но и он поддерживает не
все опции, которые хотелось бы. Прямо хоть садись и пиши свой.

Но всё же, даже эти сервисы способны значительно облегчить процесс
создания файла robots.txt и уберечь от ряда критических ошибок.