Файл rotots.txt

Файл robots.txt – это системный файл, который представляет собой текстовый документ (.txt) и соответствует стандарту исключений для роботов поисковых систем
ФАЙЛ ROTOTS.TXT

Какие сервисы используют файл robots.txt?

ЗАЧЕМ НУЖен файл robots.txt?

Файл задает правила, которые запрещает или разрешает тому или иному поисковому роботу доступ к определенному url на вашем сайте


Помочь поисковым роботам быстро проиндексировать ваш сайт


Скрыть ненужные страницы их поиска


Почистить utl страниц для удобства аналитики


задать параметры индексирования для поисковых  роботов

Какие обязательные данные содержит файл robots.txt

User-agent* Обязательно

Указывает на робота, для которого действуют перечисленные в robots.txt правила.

Disallow

Запрещает индексирование разделов или отдельных страниц сайта

Allow

Разрешает индексирование разделов или отдельных страниц сайта

Clean-param

Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании

Sitemap

Указывает путь к файлу Sitemap, который размещен на сайте
Crawl-delay
Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей

Пример содержимого файла robots.txt

User-agent: * 
Clean-Param: utm_source&utm_medium&utm_campaign&utm_content&utm_term 
Clean-Param: filter_history 

User-agent: Googlebot 
User-agent: Googlebot-Image 

User-agent: TopvisorBot 
Crawl-Delay: 5 

Sitemap: https://cashruflo.ru/sitemap.xml 
Host: cashruflow.ru

Какие есть Требования к файлу robots.txt?

Для правильной работы нужно чтобы все параметры были заданы корректно. Если файл не соответствует требованиям, сайт считается открытым для индексирования


Размер файла не превышает 500 КБ.


Это TXT-файл с названием robots — robots.txt


Райл расположен в корневом каталоге сайта  


задать параметры индексирования для поисковых  роботов


Для указания имен доменов используется кодировка Punycode


Директивы не противоречат друг другу

Стоимость SEO-оптимизации сайт

Базовая SEO-оптимизация сайта

картинка Базовая SEO-оптимизация сайта в Digital CashFlow
картинка Базовая SEO-оптимизация сайта в Digital CashFlow
11 999.44 руб.
Количество
шт
Получайте на 20-700% больше заявок после базовой SEO-оптимизации сайта. Услуга включает в себя:
Количество сайтов (домен без поддомена): 1
Количество страниц сайта: 1-5
Количество блоков на каждой странице сайта: 3-8
Количество товаров в интернет-магазине: до 25 
Анализируемое количество сайтов конкурентов: 1-5
Сравнение по ключевым словам с 1-5 сайтами конкурентами и выявление слабых мест
Добавление кампании в Яндекс справочник и получение знака
Добавление компании в Google бизнес
Добавление сайта в Яндекс.Вебмастер
Добавление сайта в Google Search
Добавление сайта в Мэйл.Вебмастер
Добавление сайта в Bing.Вебмастер
Исправление заголовков H 1-6
Исправление Title
Исправление Description
Исправление Keywords
Исправление Canonical
Исправление Robots meta tag
Исправление meta тегов
Исправление noindex
Исправление nofollow
Исправление alt-подписи к основным фотографиям, логотипу
Добавление микроразметки данных компании
Создание проекта в Topvisor
Создание проекта в SE-Ranking
Проверка скорости загрузки сайта
Сжатие картинок для ускорения загрузки
Устранение технических ошибок по данным сканирования
Исправление файла Robots.txt
Очистка параметров в Google Search
Исправление файла sitemap.xml
Исправление описания в блоке Footer
Добавление кликабельности к номерам телефонов и email
Проверка битых ссылок
Отправка на индексацию всех страниц сайта
Включение индексации по счетчику Яндекс.Метрики
Проверка позиций сайта в Яндекс по топовым 10-20 ключевым запросам
Проверка позиций сайта в Гугл по топовым 10-20 ключевым запросам
Проверка позиций сайта в Мэйл по топовым 10-20 ключевым запросам

При оплате seo-оптимизации сайта через заказ в интернет-магазине вы получаете Бонусы: 
+ SEO-сопровождение в течение 3 месяцев
+ Ежемесячное отслеживание позиций сайта в Яндекс, Гугл, Мэйл по топовым 10-20 ключевым запросам и представление отчета
+ Сравнение позиций сайта с 1-5 сайтами конкурентов
+ Скидку 5% на следующий заказ 

*Оптимизация каждой дополнительной страницы сайта сверх количества, указанного в описании стоит +1000 руб.

Базовая SEO-оптимизация сайта
11 999.44 руб.