Файл rotots.txt

Файл robots.txt – это системный файл, который представляет собой текстовый документ (.txt) и соответствует стандарту исключений для роботов поисковых систем
ФАЙЛ ROTOTS.TXT

Какие сервисы используют файл robots.txt?

ЗАЧЕМ НУЖен файл robots.txt?

Файл задает правила, которые запрещает или разрешает тому или иному поисковому роботу доступ к определенному url на вашем сайте


Помочь поисковым роботам быстро проиндексировать ваш сайт


Скрыть ненужные страницы их поиска


Почистить utl страниц для удобства аналитики


задать параметры индексирования для поисковых  роботов

Какие обязательные данные содержит файл robots.txt

User-agent* Обязательно

Указывает на робота, для которого действуют перечисленные в robots.txt правила.

Disallow

Запрещает индексирование разделов или отдельных страниц сайта

Allow

Разрешает индексирование разделов или отдельных страниц сайта

Clean-param

Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании

Sitemap

Указывает путь к файлу Sitemap, который размещен на сайте
Crawl-delay
Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей

Пример содержимого файла robots.txt

User-agent: * 
Clean-Param: utm_source&utm_medium&utm_campaign&utm_content&utm_term 
Clean-Param: filter_history 

User-agent: Googlebot 
User-agent: Googlebot-Image 

User-agent: TopvisorBot 
Crawl-Delay: 5 

Sitemap: https://cashruflo.ru/sitemap.xml 
Host: cashruflow.ru

Какие есть Требования к файлу robots.txt?

Для правильной работы нужно чтобы все параметры были заданы корректно. Если файл не соответствует требованиям, сайт считается открытым для индексирования


Размер файла не превышает 500 КБ.


Это TXT-файл с названием robots — robots.txt


Райл расположен в корневом каталоге сайта  


задать параметры индексирования для поисковых  роботов


Для указания имен доменов используется кодировка Punycode


Директивы не противоречат друг другу