Как закачать файл Robots.txt к себе на хостинг?

Tweet

Есть готовые решения как создать сайт самостоятельно и о текстовом файле robots.txt нужно знать в самом начале создания сайта. Эта статья - напоминалка о возможных действиях админа по закачке на свой хостинг файла robots.txt .




Напомню, что текстовый файл robots.txt должен находиться на хостинге среди других файлов Вашего сайта и в этом текстовом файле указываются директивы - команды для поисковых систем с предписанием какие индексировать странички и файлы и какие странички и файлы исключить от индексирования.

Как закачать файл Robots.txt  к себе на хостинг?

ЗАХОДИМ НА ХОСТИНГ К СЕБЕ В ПАНЕЛЬ УПРАВЛЕНИЯ ->> ФАЙЛОВЫЙ МЕНЕДЖЕР ->> ЗАХОДИМ В ПАПКУ С САЙТОМ ( public.html ) ->> ФАЙЛ ->> ЗАКАЧАТЬ ->> В МЕНЮ ЗАКАЧКИ ФАЙЛА УКАЗЫВАЕМ ОТКУДА КАЧАТЬ ->> ПОСЛЕ ЗАКАЧКИ В ПАПКЕ public.html БУДЕТ НАХОДИТЬСЯ ВАШ файл robots.txt .

Не все админы знают о таком способе редактирования непосредственно на хостинге.

Текстовый файл robots.txt редактируется в МЕНЮ ФАЙЛ - >>РЕДАКТИРОВАТЬ. (ЗАХОДИМ К СЕБЕ В ПАНЕЛЬ УПРАВЛЕНИЯ ->> ФАЙЛОВЫЙ МЕНЕДЖЕР ->> ЗАХОДИМ В ПАПКУ С САЙТОМ ( public.html ) ->> ФАЙЛ ->> РЕДАКТИРОВАТЬ).

! НАПОМИНАЛКА

!О файле robots.txt можно узнать из видео инструкций и составить актуальные директивы и узнать как их правильно применить, как скачать готовый шаблон файла и отредактировать под свой сайт.

! По этой ссылке можно перейти и протестировать файл robots.txt и индексацию опубликованных страниц.


Добавьте к статье свой лайк в социальные сервисы:
Friend me:
Запись опубликована в рубрике БЛОГ в деталях с метками . Добавьте в закладки постоянную ссылку.

32 комментария: Как закачать файл Robots.txt к себе на хостинг?

  1. Anas говорит:

    Сергей приветствую Вас! Почитайте мою статью на блоге. Думаю вам понравится. Сегодня опубликовал. Можете дать ссылку своим читателям.

    • БериМакс говорит:

      Анас,
      благодарю за положительный отзыв в мой адрес!
      Мне нравится заниматься вопросами
      популяризации сайтостроения.
      И ещё более приятно, когда это кому — либо
      приносит пользу.

  2. Ирина говорит:

    Сергей, здравствуйте. Я все-таки решила снова попробовать сделать блог. Спасибо Вам за советы.
    Загрузила robots, а Яндекс после проверки вот что пишет:»Найдено несколько правил вида «User-agent: *»" Что с этим делать?
    Спасибо

    • БериМакс говорит:

      Ирина, у вас на блоге нужно срочно исправить
      файл роботс.
      Возьмите мой и проблем не будет.
      Найдите мою статью об актуальном файле robots.txt

  3. Мария говорит:

    Сергей , здравствуйте
    Я брала robots txt на Вашем сайте и по Вашей ссылке » Яндекс. диск» его скачала, заменила некоторые пункты данными своего сайта, о которых Вы говорили и залила к себе на хостинг. Почему он кривой , я не знаю. Где мне взять хороший универсальный robots txt. Учителя Школы, в которой я учусь, рекомендуют свой.
    Подскажите, что мне делать? Скачать Ваш?
    С уважением, Мария

    • БериМакс говорит:

      Мария, я посмотрел и ещё раз повторяю:
      на вашем сайте залит файл robots.txt и не
      от школы и не мой вариант…
      Посмотрите коммент от 10 мая в статье об
      актуальном файле robots.txt…

  4. Мария говорит:

    Здравствуйте, Сергей
    Посмотрите, пожалуйста, мой robots.txt. Проанализировала свой сайт на сервисе www dinews.ru. На нем есть строка, в которой указано что robots.txt отсутствует на моем сайте. Провела анализ на Яндекс. Вебмастер и анализ robots txt был проведен, значит он есть.
    Что это означает?Есть ли он у меня на сайте или нет. В паке pablic html он есть. Может мне его удалить и залить другой. У меня взят тоже из школы Start Up. Я запуталась и вообще ничего понять не могу. Помогите, пожалуйста.

    • БериМакс говорит:

      Мария, файл robots.txt на вашем сайте есть,
      этот файл не от школы и, вообще, какой — то
      кривой…
      Вот вам ссылка на мою версию актуального файла robots.txt
      В статье четыре последовательных ролика,
      которые ответят на многие ваши вопросы…
      Если желаете сразу получить ответ,
      то найдите в указанной статье мой коммент
      от 10 мая и примените к своему сайту.

      • Ирина говорит:

        Сергей, спасибо за помощь. Я Убила свой блог. Пыталась настроить плагин для слайдера и все заблокировалось. Теперь не могу зайти в админку. Вот, как раз на распутье: начать все сначала или забросить все. Но Ваши уроки все равно посмотрю. Спасибо еще раз

  5. Ирина говорит:

    Cергей, я пыталась экспериментировать и cама создала злополучную папку. Все получилось.
    Спасибо за полезный блог. Опять буду у Вас частым гостем)

  6. Ирина говорит:

    Здравствуйте, Сергей. Так получилось, что я выпала из жизни на несколько месяцев. Потеряла сайт, а теперь пытаюсь начать все сначала. Почему-то выбрала хостинг на agava. Дошло дело до robots.txt. На этом хостинге, правда, нет папки public.html. Здесь их всего три: wr-admin, wp-content, wp-includes. Подскажите, пожалуйста, куда поместить robots.txt?
    Спасибо

  7. Алтынбек говорит:

    Здравствуйте Сергей! Вот уже несколько месяцев бьюсь над одной проблемой: в яндексе индексируется только 1 страница, остальные не проиндексированы. При проверке в яндекс-вебмастере объясняется причина: » документ запрещен к индексации в файле robot.txt»
    Нашел информацию, что для того чтобы разрешить индексацию страниц, надо удалить директиву Disallow:/*?* — удалил, ничего не меняется. Помогите пожалуйста, подскажите — что делать ?

    • БериМакс говорит:

      у вашего блога много технических проблем… :(
      по файлу robots.txt — в свежих записях
      найдите статью об актуальном файле robots.txt,
      откорректируйте и залейте на свой хостинг (обязательно
      прочитайте мои комментарии — там ответ);
      =======
      с остальными проблемами нужно плотно
      работать, одно наложилось на другое…
      Вашему блогу в эфире 15552 дня — вы об
      этом знаете?
      Контент не соответствует описанию…
      Исправляйте robots.txt и я жду от вас
      вопросы…

      • Алтынбек говорит:

        Здравствуйте Сергей! Что значит 15552 дня в эфире? Я веду блог с марта месяца сего года и такого просто не может быть — это же 43 года! Скажите откуда у Вас такая информация?

        • БериМакс говорит:

          По данным сервиса cy-pr.com владельцем
          сайта money-money.kz является Александр
          Иванов и дата регистрации домена январь 1970 года…

          • Алтынбек говорит:

            Здравствуйте. Теперь понятно, о чем Вы говорили. По поводу владельца упомянутого в сервисе cy-pr.com — у меня была переписка с администрацией хостинга, на котором размещен домен -это имя владельца хостинга.
            По поводу Вашего замечания на счет несоответствия контента описанию сайта — отвечаю, это первые и последние 4 статьи «не по теме», и к тому же они запрещены к индексации с помощью плагина All in One SEO Pack.
            Сергей, мне понравились Ваши инструкции по настройке robots.txt -я просто скопировал ее с Вашего сайта, настройкой займусь как только уясню все из Ваших уроков. У меня к Вам вопрос: по Вашему совету установил плагин CYR To LAT а теперь беспокоюсь: — не приведут ли новые ссылки к странице 404?

          • БериМакс говорит:

            Интересно, как ты в настройках сео плагина
            закрываешь от индексации страницы?
            Плагин CYR To LAT ставится на блог одним
            из первых, как правило переписанные адреса
            страниц с кириллице на латиницу не ведут
            на 404 страницу, но могут генерировать
            дубли доступа (это нужно контролировать)
            Все статьи несоответствующие семантическому
            ядру советую удалить не жалея ;)
            Алтынбек, не забыл — ведь у тебя проблема
            с индексацией?
            Идём дальше — а как ты будешь защищать
            право на авторские оригинальные тексты,
            если ты не хозяин своего сайта? Здесь
            нужно разбираться и чем быстрее, тем
            лучше.
            Ещё у тебя не правильное отношение к
            функциям форматирования текстов, это
            не есть хорошо и поисковики это не
            уважают…

          • Алтынбек говорит:

            Сергей! спасибо за совет — удалил все статьи не соответствующие семантическому ядру.
            На Ваш вопрос о способе исключения записи из индексации — отвечаю: помечаю галочкой чек-бокс с надписью «отключить на эту страницу/запись»под плагином All in One SEO Pack, или я ошибаюсь?
            Не понял сути замечания: «не правильное отношение к
            функциям форматирования текстов» — объясните пожалуйста, что Вы имеете в виду?
            Еще один вопрос (простите за навязчивость): — после изменения файла robots.txt, в яндексе загружено роботом всего 4 страницы, а проиндексированы всего 2 страницы, хотя до этого соотношение составляло 43 к 1. Это нормально? Если Вас не затруднит, разъясните, что в Яндекс-вебмастере подразумевается под страницами — имеются в виду записи?

          • БериМакс говорит:

            All in One SEO — в чекбоксах галочками
            отмечаем статьи, для которых отменены
            действия плагина.
            По форматированию — все тексты
            отформатированы жирным шрифтом…
            После изменения файла robots.txt
            проходит немало времени до практической
            переиндексации страниц и никак не
            два дня…
            В Яндекс.Вебмастере можно перейти
            по адресу страницы и получить ответ…

  8. Оксана говорит:

    В следующий раз я сделаю так как написано в вашей статье. Собираюсь создавать новый сайт и часто буду у Вас в гостях. Спасибо, что помогаете!

  9. Анатолий говорит:

    Яндекс после анализа файла robots.txs выдал такое 30: Host:101ohibka
    Некорректное имя главного зеркала сайта
    32: Sitemap: http: //101ohibka/sitemap.xml.gz
    Некорректный формат URL файла Sitemap
    33: Sitemap: http: //101ohibka/sitemap.xml
    Некорректный формат URL файла Sitemap если нетрудно обьясните.

    • БериМакс говорит:

      Анатолий, в вашем файле robots.txt есть грубая ошибка в описании директории Host: — и поэтому возможен шлейф ошибок в прочтении директории Sitemap:
      ==================
      Нужно исправить и перезалить отредактированный файл robots.txt:
      ПОСЛЕ ЗНАКА «ДВОЕТОЧИЕ» В ДИРЕКТИВЕ Host:
      ВЫ ПРОПУСТИЛИ ЗНАК «ПРОБЕЛ»
      (ПОСЛЕ ПРОБЕЛА ИДЁТ НАЗВАНИЕ
      ГЛАВНОГО ЗЕРКАЛА ДОМЕНА)
      ==================
      Есть ещё одна ошибка в файле robots.txt,
      эта ошибка тянется от Школы и все однокашники
      допустили эту ошибку…
      Моя новая статья будет о правильном robots.txt,
      дождитесь публикации, а пока исправьте и перезалейте
      «как есть»

  10. Ерлан говорит:

    Здравствуйте Сергей, согласно вашим рекомендациям переустановил робот тхт, настроил плагин, напечатал статью она сразу же проиндексировалась в яндексе, на этом пока все, остальные страницы не индексируются, может еще время нужно? Потом у меня ни одна страница кроме главной не индексируется в ГУГЛЕ, да у меня повысился пиар был 0 сейчас 1 И еще после того как я сделал настройки плагина кир ту лат у меня все адреса статей стали длинными и не укорачиваются, а после того как добавляешь метки на статью, то они также прописываются в адресе и увеличивают его длину, что можете посоветовать. И еще один вопрос битые ссылки в ксену они выделены красным? Заранее благодарю, а также спасибо за полезную информацию

    • БериМакс говорит:

      Ерлан,
      вы очень внимательны к своему блогу — это хорошо!
      ======== ;)
      Если мне память не изменяет — ваш файл robots.txt
      закрывал индексацию страниц, так?
      После настройки человекопонятных урлов и последующей
      переиндексацией пройдёт ВЕЧНОСТЬ, наберитесь терпения…
      ======== ;)
      Ссылки можно укоротить — внимательно посмотрите
      на строчку ниже ЗАГОЛОВКА при публикации новой статьи.
      Там есть кнопка ИЗМЕНИТЬ ССЫЛКУ — кликаете и укорачиваете,
      но лучше оставить как есть, это мой совет…
      ======== ;)
      Вот вам моя ссылка для комплексной работы на ошибками
      http://berimaksimum.ru/oshibki-na-sayte
      ======== ;)

  11. Елена говорит:

    Cергей, извините, что не по теме, не знаю куда написать. Я зашла в Google центр веб-мастеров, чтобы добавить свой сайт в поисковую систему, закачала файл для проверки, по схеме закачки robot.txt, но у меня не проходит проверка:
    Не удалось подтвердить сайт http: //inspirona.ru/ с помощью выбранного способа (Файл HTML)
    Вы могли бы подсказать, что делать? А может статью?
    С уважением, Елена

    • БериМакс говорит:

      В центре веб — мастеров Google нужно внимательно читать поясняющую информацию и всё будет хорошо.

      • Елена говорит:

        Cергей, спасибо! Разобралась, оказывается не в ту папку положила файл.

  12. Марина говорит:

    Сергей! Закачала файл robots.txt, протестировала. Вроде все хорошо. Проверила, какие страницы сайта уже попали в поисковый индекс. Нашла много страниц, уже не существующих на сайте. Что с ними делать?

    • БериМакс говорит:

      Марина, посмотрел файл robots.txt вашего сайта. Хочу сказать,
      что у всех стартаповцев файлы robots.txt как близнецы – братья,
      за исключением названий сайтов, это естественно…
      Эти варианты robots.txt рабочие, но есть одна «заковыка»,
      с которой я уже разобрался, ставлю на свой блог
      и пишу об этом новую статью.
      Скоро статью опубликую и приложу видео урок.
      Поясню в двух словах –
      админ публикует свои новые авторские статьи,
      а страниц под фильтрами Google становится всё больше и больше
      по причине отсутствия ;) некоторых директив в файле robots.txt.
      Так и на вашем сайте не под фильтрами 87% страниц, а я и не
      сомневаюсь – все ваши статьи авторские и уникальные.
      (Вы, кстати, как проверяете статью на уникальность? )
      Индексация сайта ( индексация публикаций ) начинается
      с файла robots.txt, это закон для поисковиков.
      =============
      Теперь по вашему вопросу.
      Если посетитель перейдёт по ссылке на отсутствующую
      страницу, то ни какой страницы он и не найдёт. Такие
      ссылки называются битыми.
      О битых ссылках и о том, как их устранить есть несколько
      статей и видео роликов в разделе БЛОГ В ДЕТАЛЯХ.
      Подробности найдёте сами, но в двух словах так –
      чтобы исключить саму возможность появления битых ссылок
      нужно настроить правильно некоторые плагины и убрать
      на сайте пустые метки и пустые рубрики.

      Марина, если есть вопросы – задавайте.
      Если хотите ещё более полные ответы, так и формулируйте
      свои вопросы: «…хочу более подробный ответ, чем в статье…»
      Может быть автор чего –то не рассказал или что – то упустил…

  13. Ruslan говорит:

    У меня на хостинге нет папки public.html, может быть вместо неё другая папка?

    • БериМакс говорит:

      Руслан, ваш блог на ВОРДПРЕСС, папки public.html не может не быть…
      Прочитайте все три статьи по файлу robots.txt…
      Я посмотрел аналитику вашего сайта — за 98 дней со дня создания блога
      Яндекс проиндексировал всего 2 ваших страницы, Гугл проиндексировал
      103 страницы и всего не под фильтрами Гугла 38% статей, всё это
      не есть хорошо… Ищите ошибки — О СВОИХ ИСПРАВЛЕНИЯХ ОШИБОК
      Я ИЗЛОЖИЛ В СТАТЬЯХ, ИНДЕКСАЦИЯ ВЕРНУЛАСЬ.
      Если есть ещё вопросы — пишите здесь в комментах…

Добавить комментарий для БериМакс Отменить ответ

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>