Файл Robots.txt и Sitemap.xml

Как и хотел, решил написать о фалах: Robots.txt и Sitemap.xml. Что же они собой представляют?

Robots.txt

Robots.txt – это текстовый файл, который указывает поисковым системам те или иные инструкции. К примеру, здесь вы можете указать:

Какие страницы индексировать

Зеркала сайта

Указать путь к карте сайта

Заметьте, что когда поисковики заходят на сайт, они в первую очередь ищут Robots.txt, поэтому, где есть данный файл, индексация происходит быстрее.

Пример Robots.txt:
User-agent: *
Host: www.site.ru
Sitemap: http://site.ru/sitemap.xml
Если вы сделали Sitemap, то обязательно укажите это в Robots.

Sitemap.xml

Sitemap.xml – это обыкновенная карта сайта в формате .xml, которую вы можете сгенерировать через сервисы, к примеру, htmlweb.ru, кроме того, также она может быть создана автоматически через специальный плагин для WordPress: «Google-sitemap-generator«.
Я абсолютно всем рекомендую создать карту сайта, так как поисковикам будет намного легче найти новые страницы.
Если вы хотите довести индексацию сайта до 100%, то вам просто необходимы данные файлы.