О чем должен в первую очередь подумать автор, получив заказ на написание статьи для сайта? Конечно, о том, кто ее будет читать – о целевой аудитории сайта и способах ее мотивации к приобретению товаров и услуг. Но, немалая часть проектов в сети имеет характер информационный, некоммерческий. Они ориентированы на обычных людей, таких как мы с вами, в чем-то специалистов, а в чем-то не разбирающихся, но интересующихся. Как писать для них?

Название самой популярной поисковой системы по русскоязычному Интернету, т.е. Яндекса, означает "Языковой index", а также имеет несколько других схожих трактовок, общий смысл которых выражается слоганом "Найдется все". Прогрессирующая конкуренция среди поисковых машин заставляет более предвзято относиться к подобным обещаниям, т.к. мало найти все, надо уметь найти самой главное. Однако поисковая система Яндекс довольно успешно с этим справляется, чем и оправдывает право называться сегодня самым посещаемым ресурсом Рунета.

Наверняка большинство из читающих мою заметку людей уже знают о существовании этого в общем-то незатейливого файла. Факт в том, что его незатейливость и простота может довольно корректно указать поисковой системе, что же всё-таки индексировать на вашем сайте, а что следует оставить "в тени".

Парадокс весь в том, что эта некоторая простота синтаксиса файла Robots.txt скрывает в себе большие проблемы, если его не приручить, т. е. не научиться его правильно составлять. Ведь любая ошибка может стоить вам многого. В этой статье я расскажу вам, как использовать подобный файл с умом и избежать возможных проблем.