Файл Robots и плагин Cyr-To-Lat

Какая существует связь между текстовым файлом robots.txt для поисковых систем, плагином Cyr-To-Lat и настройками отображения ссылок на сайте/блоге?

Никому из Админов не пожелаю ситуации, в которой оказался сам. По себе знаю как каждый админ с трепетом относится к своему сайту ( блогу ), а тем более, когда решено создать сайт самостоятельно. По разным причинам возникают проблемы. Нехватка знаний в комплексе, недостаток опыта и навыков тому причина. Ошибки нужно исправлять своевременно и быстро.

Вот какая была моя проблема.

Что тогда случилось?

Публикую свои статьи. Слежу за тем, как статьи индексируются поисковыми системами. Поисковик Google индексирует каждую статью и информирует меня о страницах в индексе.

А вот с господином Яндексом всё не так... Яндекс сначала показывал индексацию опубликованных страниц, но затем начал сбрасывать индексацию и в итоге всего лишь одна страничка ( главная ) осталась в основном индексе. Это провал, да ешё какой провал! Более того, не зная, что делать, проанализировал известными сервисами аналитики блоги друзей и  та же картина - господин Google наращивает индексацию по количеству опубликованных статей, а господин Яндекс проиндексировал всего 1 - 2 странички. Получается аховая ситуация не только с моим блогом. Друзья - админы внимательно читайте мою историю и проанализируйте свои блоги.

Во всех публикациях я исправил мета теги SEO TitleSEO Description,SEO Keywords. Не помогает...

Тем более, поисковик Яндекс применяет свои жёсткие алгоритмы индексации. Что делать? Написал в техподдержку Яндекса о своих проблемах с блогом. Получил ответ, что мой файл robots.txt содержит директиву - команду на запрет индексации страниц. Пережил этот шок... Спокойно сам разобрался... И действительно, мой файл  robots.txt запрещает поисковому роботу индексацию моих же публикаций.

Я применил директиву Disallow: /*?* и при этом на блоге не настроил отображение постоянных ссылок, а по умолчанию ссылки страниц генерируются движком так: «ИМЯСАЙТА/?Р=ЧИСЛО»

Но в этом вопросе оказалась целая цепочка инструментов и их очень важных настроек:

файл  robots.txt ->> плагин Cyr-To-Lat ->> настройка постоянных ссылок на блоге ( ссылки должны быть человекопонятными, ЧПУ - человекопонятные урлы, УРЛ/ URL - это адрес страницы). В этой цепочке три звена со своими настройками. Настройки каждого звена взаимозависимы.

Теперь я знаю, что файл robots.txt должен быть, как минимум таким как на картинке ниже.



Скачать файл robots.txt можно по этой ссылке с Яндекс.Диска, если ссылка не работает напишите пожалуйста в комментариях (сервис Яндекс.Диск проходит испытание в бета режиме).

Пройдите по этой ссылке и узнаете кратко Как закачать на хостинг  свой файл robots.txt и как прямо на хостинге редактировать свой файл robots.txt 

Советую пройти по этой ссылке и посмотреть видео инструкции по составлению директив для своего актуального файла robots.txt 

 

 

Что такое текстовый файл robots.txt лучше всего прочитать в первоисточнике. Первоисточник - это сам Яндекс. Вы узнаете как использовать файл robots.txt, как этот файл создаётся, какие директивы (команды) может содержать для Яндекса.

 

По этой ссылке можно пройти и выполнить анализ своего файла robots.txt

Идём дальше по настройке блога.

Плагин Cyr-To-Lat ( раньше назывался Rus-To-Lat ) - заменяет русские буквы заголовка статьи латинскими буквами.

Из консоли управления блога ставим плагин так:

ПЛАГИНЫ - > ДОБАВИТЬ НОВЫЙ - > ПОИСК плагина Cyr-To-Lat по названию - > ЗАГРУЗКА - > УСТАНОВКА - > АКТИВИРОВАТЬ.

Всё, плагин Cyr-To-Lat работает. Все заголовки статей будут написаны латинскими буквами.

Продолжаем настройку своего родного блога.

Настройка постоянных ссылок на блоге.

Идём:

КОНСОЛЬ - > ПАРАМЕТРЫ - > ПОСТОЯННЫЕ ССЫЛКИ - > В ОТКРЫВШЕМСЯ ОКНЕ ВЫБИРАЕМ ОПЦИЮ "Произвольно", куда вписываем следующий КОД: /%category%/%postname%

СОХРАНЯЕМ НАСТРОЙКИ. Всё!



УРОК – мотаем на свой ус.

Единственным большим минусом для моего блога было то, что после запоздалого выполнения настроек отображения ссылок и установки плагина Cyr-To-Lat  на опубликованных страницах слетели до нуля счётчики кнопок ретвитов. Пришлось с этим обстоятельством смириться и вручную самому покликать 3-5 раз для каждой публикации.

Подведём итоги по настройке корректной индексации страниц:

  1. Файл robots.txt показывает поисковым системам какие страницы на сайте/блоге индексировать, а какие закрыть от индексации.
  2. Плагин Cyr-To-Lat русские буквы заголовка статьи корректно заменяет латинскими буквами и генерирует ЧЕЛОВЕКОПОНЯТНЫЕ  УРЛы для публикаций.
  3. Настройка постоянных ссылок для статей  проводится из консоли управления блога:  в настройках постоянных ссылок отмечаем опцию "ПРОИЗВОЛЬНО" и в ней аккуратно вписываем код: /%category%/%postname%
  4. Используем сервис аналитики для анализа хода индексации статей (для получения аналитической информации нужно регистрироваться).
  5. Используем, изучаем и применяем сервис Яндекса для своего блога.
  6. Даже, если есть проблемы, всё поправимо - Яндекс поможет, нужно только обратиться в техподдержку Яндекса.

ЕСЛИ всё сделано правильно по исправлению ошибок, индексация от Яндекса вернётся. Мы живые люди и нам свойственно допускать ошибки.

Главное – технические ошибки в настройках блога найти и исправить своевременно.


Запись опубликована в рубрике БЛОГ в деталях с метками . Добавьте в закладки постоянную ссылку.

53 комментария: Файл Robots и плагин Cyr-To-Lat

  1. Таисия говорит:

    Добрый день, Сергей.
    А я, все исправляю ошибки на сайте)) у меня очередной вопрос, если в плагине в конце кода у меня стоит html вот так /%category%/%postname%.html , а робот я поставила Ваш. Будут ли от этого ошибки? Потому, что менять конец кода я уже точно не буду, лучше уж робот подкорректировать, уже много написано статей и исправлять все ссылки — я с ума сойду). Спасибо за ответ.

    • БериМакс говорит:

      Таисия, настройки постоянных ссылок,
      т.е. в нашем случае — адресов страниц,
      выполняется из Консоль -> Постоянные ссылки.
      Зачем использовать для этого плагин?
      В вашем случае будет так:
      /%category%/%postname%
      =====
      В случае моего варианта файла robots.txt
      это не должно быть ошибкой и можно
      проверить в панели Яндекс.Вебмастер,
      там есть опция проверки файла роботс.

  2. Елена говорит:

    Сергей, добрый день! Спасибо за интересный и актуальный материал по файлу robots.txt . Я новичок в этом деле, а моему сайту только месяц. Прочитала текстовый материал и посмотрела видео (как составить и проверить этот файл) очень понравилась ваше объяснение и подача материала, но вот по прочтении комментариев образовалась полная каша в голове)))) Похоже у меня такая же история, как в вашей статье, описанной выше. Возможно дело в robots.txt. Но вот я посмотрела сайты, где файл robots.txt прописан точно так же как и у меня. И на этих сайта индексация Яндесом идёт хорошо. У меня вопрос почему Гугл индексирует страницы моего сайта, а Яндекс проиндексировал только одну страницу. Вы не могли бы мне подсказать, хотелось бы знать ваше профессиональное мнение…. С уважением Елена!

    • БериМакс говорит:

      В комментариях к статье дан последний вариант
      файла robots.txt, этот вариант родился в процессе
      обсуждения всех возможных рабочих вариантов…
      Статью следует рассматривать как живую аналитику
      способов составления своих директив для своего
      же актуального файла robots.txt…
      =========
      Согласен, статья сложная, ролики содержат
      много критики и аналитики…
      Но совместными усилиями в обсуждениях был
      разработан самый простой и универсальный
      вариант файла robots.txt…
      =========
      Эта статья рождалась в живом эфире в
      течение месяца, но главное — результат
      получен в виде работоспособного robots.txt
      без всяких недомолвок…
      Я пояснил все свои советы и показал примеры
      возможных ваших аналитических действий для
      самостоятельной работы ;)

  3. Сергей говорит:

    Спасибо за советы. Вроде все поправил, но при проверке на яндексе выскакивает ошибка: Sitemap — Некорректный формат URL файла Sitemap.
    Как ни бился немогу понять в чём ошибка. Помогите если можно.

    • БериМакс говорит:

      Сергей, я посмотрел ваш файл robots.txt…
      Есть существенные ошибки и с моей точки
      зрения как админа и ошибки с точки зрения
      поисковой системы…
      Я не всё рассказал по возможной технологии
      составления актуального файла robots.txt и
      оставшиеся мои советы будут опубликованы
      в этой статье в дополнительных видео
      роликах АКТУАЛЬНЫЙ ФАЙЛ robots.txt
      Дождитесь публикации заключительных
      роликов и вам будет понятно в каком
      направлении двигаться.
      Если появятся вопросы не нужно в комменте
      прикреплять копию файла, я и так его
      посмотрю…

  4. Анна говорит:

    Сергей, при проверке файла robots.txt выданы 2 ошибки, вроде бы все прочитала у вас внимательно на сайте (то,что посвящено этому вопросу) но свою ошибку не поняла, может быть вы посмотрите, если конечно это вас не затруднит. Ваш сайт выдал поисковик в первой же строке, когда я задала вопрос о проблеме с этим файлом. Спасибо

    • БериМакс говорит:

      Анна, поздравляю с 8 марта!
      ============
      Да, файл robots.txt мягко говоря, странный…
      Где вы его взяли?

      • Анна говорит:

        спасибо за ответ, у человека, под руководством которого я училась, значит ваш совет скачать такой как у вас?

        • БериМакс говорит:

          Мой файл robots.txt рабочий,
          его можно скачать смело и корректно залить
          на хостинг со своими данными…
          Время меняется очень быстро — нужно и в
          файл robots.txt изменения вносить,
          скоро будет новая статья о модернизированном файле
          robots.txt

  5. Иван говорит:

    У меня как раз сейчас такая же ситуация — Google индексирует даже больше статей, чем вообще у меня есть (прочитав Ваши статьи я все копии поудалял и запретил индексацию моих лишних статей), а вот Яндекс статьи индексировал только вначале (как только сайт был создан), а позднее осталась проиндексирована лишь одна главная страница. Теперь же сделал всё как надо. Большое Вам спасибо! Вы действительно помогаете многим людям!

  6. татьяна говорит:

    Еще раз спасибо за очень нужные советы и удачи вам!

  7. наталия говорит:

    ВСЕ очень доходчиво,много плагинов поставила по вашей рекомендации,но пробле
    ма с РОБОТС.Учусь в стартап — 2 урока пока.Проблема такая — все этапы прошла ,а в пункте ,где надо( выбрать много файлов) должно быть /domains/INTERNET-BEZGRANIC.ru/pudlic_html ,а у меня вместо ИНТЕРНЕТ -/vavilova.com . В папке сайта РОБОТС не активен.Может причина втом,что я все с сайта убрала(там всего 3 статьи небольшие),просто не знала как начать с ноля,а теперь еще не совсем понимаю как всю инфо анулировать и сначала все все плагины поставить

    • БериМакс говорит:

      Наталья, привет!
      Передай мой привет всем однокашникам -
      стартаповцам ;)
      ==============================
      На многие вопросы в начале создания сайта
      здесь есть ответы, плохо только одно -
      блоговая форма подачи систематизированного
      материала не удобна для пользователя.
      Я кое — что предпринял и вот ссылка
      для начала:
      http://berimaksimum.ru/oshibki-na-sayte
      =================================
      Напиши как ты нашла мой блог,
      задай вопросы без волнения,
      а я посмотрю твой блог и отвечу здесь ;)

    • БериМакс говорит:

      В файле robots.txt одна ошибка:
      Host:ПРОПУЩЕНПРОБЕЛvavilova.com
      =========
      robots.txt — школьный и типовой
      =========
      Для темы народной медицины шаблон не удачный…
      =========
      нет статей
      =========
      с плагинами нужно поступать осторожно,
      думаю лучше опубликовать 2-3 статьи,
      а затем ставить плагины — увидешь работу
      плагинов

  8. Ольга говорит:

    Сергей, спасибо! Если бы я случайно не увидела Ваш отзыв в одном из комментариев, я бы никогда не исправила этой ошибки.

  9. Ольга говорит:

    Сергей, добрый день! Пока читаешь статью, вроде бы все понятно. Но только стоит сделать шаг в сторону, и сразу тупик. Пожалуйста, обяъсните, что значит User-agent: *
    Disallow:

    Sitemap: http ://www.nachalife.ru/sitemap.xml.gz
    Если что-то не так, объясните, что мне делать, пожалуйста.

    • БериМакс говорит:

      User-agent: * (звёздочка — это «для любого поисковика»)
      Disallow: (запрещающая директива)

      Sitemap: http ://www.nachalife.ru/sitemap.xml.gz (архив карты сайта)

      • Ольга говорит:

        Спасибо, Сергей! То есть у меня с этим Robots проблем не наблюдается, да?

        • БериМакс говорит:

          Ольга, вам нужно срочно поработать внимательно
          с файлом robots.txt!
          =======================================
          Нужно исправить грубые ошибки в директориях:
          Host:ПРОБЕЛВАШСАЙТ

          Sitemap:ПРОБЕЛhttp://ВАШСАЙТ/sitemap.xml.gz
          Sitemap:ПРОБЕЛhttp://ВАШСАЙТ/sitemap.xml
          =======
          нужно текст ВАШСАЙТ заменить
          на название вашего блога и после исправления
          перезалить на хостинг исправленный файл robots.txt
          =======
          по этой ссылке об ошибках на сайте вы можете
          найти помощь в своей работе:
          http://berimaksimum.ru/oshibki-na-sayte

        • Ольга говорит:

          Спасибо! А теперь правильно?

          • БериМакс говорит:

            Молодец, шустро исправляете,
            но нужно ещё исправить:
            Host:ПРОБЕЛВАШСАЙТ
            (после знака двоеточия ставится знак пробела)

  10. елена говорит:

    здравствуйте, у вас интересный сайт. подскажите нужен ли плагин Robots Meta, приносит он какую-нибудь пользу?

    • БериМакс говорит:

      Елена, плагин Robots Meta мне не знаком…
      Но, судя по названию — это плагин для работы
      с файлом robots.txt
      ============== ;)
      Хочу напомнить — любой установленный плагин
      влияет на работу движка, поэтому плагины ставятся
      не все подряд какие есть, а только необходимые.
      С файлом robots.txt работать не сложно,
      каждому админу следует овладеть приёмами
      работы с ним…
      Моё мнение - для работы с файлом robots.txt
      никакой плагин не нужен.

  11. Ерлан говорит:

    Здравствуйте, Сергей, еще раз с наступающим Новым Годом! Большое спасибо за ваши материалы, качество на высшем уровне, благодаря им в Яндексе проиндексирована 41 страница, и это только за неделю, после того как я устранил ошибки, теперь будем заниматься продвижением и выходить в ТОП, главное получить навыки, а это многое значит, потом любой проект можно начинать с нуля.
    Хочу написать пару статей про это и дать ссылки на ваш сайт, в качестве благодарности. Извините денег пока не заработал)).

  12. Ерлан говорит:

    все делал как в статье, сначала перезалил робот тхт, затем в настройках плагина циртулат прописал как показали установил произвольно и вставил код: /%category%/%postname%, после чего у меня все адреса статей приняли вид как вы и говорили но вот пример одного адреса http: //sovet54321.ru/dnevnik/kto-eshhe-duma…t-sayt-slozhno , после чего я убрал лишние рубрики и метки, и вот когда я стал оптимизировать статьи и убирать внутренние ссылки с картинок, обнаружил эту проблему, пытался проверить одну статью в сервисе сео нап по адресу урл статьи, мне выдали что такого урл не существует, и таких статей набралось чуть ли не треть сайта, вот такая проблемка. Спасибо за отзыв.

    • БериМакс говорит:

      Откуда в адресе знаки многоточия?
      Вы укорачивали адрес вручную или кнопкой УКОРОТИТЬ?
      Если вручную, то не правильно.
      Если кнопкой — то эта кнопка не работает в шаблоне,
      такое бывает, увы.
      Если не можете найти проблему —
      оставьте человекопонятные ДЛИННЫМИ и старайтесь
      заголовки статей писать короткими.
      =====
      Хочу ваш ответ увидеть.
      У меня, например, проблема — в визуальном редакторе
      движка не работает кнопка создания ссылок,
      выхожу из положения обходными путями
      и всё из — за того, что не могу подобрать
      другой шаблон :(

    • Ерлан говорит:

      Здравствуйте Сергей, с наступающим Новым Годом Вас,
      желаю Вам всего самого наилучшего, очень рад и благодарен тому,
      что интернет свел нас,
      но в первую очередь конечно благодаря вашей бескорыстной помощи,
      ведь вы сами предложили помощь, ничего не требуя взамен,
      еще раз спасибо и всех Вам благ.
      Вчера сидел до поздна и исправлял ошибки,
      про которые я Вам уже писал.
      Сегодня в Яндексе проиндексировано 3 статьи,
      вчера было 4 пропала главная страница,
      в гугле проиндексировано 8 страниц вчера было 3.
      Как вы считаете это успех?
      Многого конечно не понимаю,
      просто стараюсь тщательно следовать инструкциям,
      заметил такую тенденцию, что после оптимизации статьи,
      пропадают связанные посты, с чем это связано?
      И еще вопрос,
      удобно ли мне все это писать в комментариях,
      или лучше связываться по почте.

      • БериМакс говорит:

        Ерлан, мне не трудно — посмотрел ваш блог ещё раз…
        ======================================== ;)
        1. Полагаю, вы не все мои советы изучили, вот вам
        спецссылка ;) там курс молодого
        админа по пунктам:
        http://berimaksimum.ru/oshibki-na-sayte
        2. Яндес проиндексировал 4 странички и в том числе
        главную.
        3. Гугл проиндексировал 97 страниц и из них 99% не под
        фильтрами
        . Если удержитесь на уровне 80%
        получите Нобелевскую Премию ( от меня ;) )
        4. Ваш файл robots.txt — школьный и не закрывает
        дубли доступа страниц
        5. Плагин WP-Optimize установлен?
        ========================================
        По поводу индексации — начало хорошее!
        Очень много битых ссылок… :(

  13. Ерлан говорит:

    Сергей здравствуйте, после переустановки плагина кир ту лат у меня адреса ссылок во всех статьях преобразовались и по ним нельзя пройти на страницу некоторые я изменил вручную а во многих ничего не выходит, соответственно они не индексируются, и некоторые статьи я продвигал в блогуне, получается работа насмарку, что посоветуете, может удалить статьи и сохранить в новой записи. Спасибо.

    • БериМакс говорит:

      Я оставил на вашем блоге пробный комментарий, но по делу…
      По ссылкам переходы есть, но они криво отображаются,
      а вы пункт 3 выполнили?
      ==========
      Напишите, в какой последовательности и что делали

  14. Ерлан говорит:

    Спасибо Сергей прошел 3 первых шага по исправлению ошибок с Роботом тхт, буду завтра ждать результат, буду анализировать

    • БериМакс говорит:

      Переиндексация происходит всегда :( «болезненно»,
      пройдёт ни день, ни два… , нужно набраться терпения
      и продолжать исправлять или предупреждать другие
      ошибки на сайте…

  15. Галина говорит:

    Здравствуйте Сергей! Зашла на Ваш сайт и открыла много интересного и полезного для себя. У меня не получается закачать файл robots.txt , появляется такая надпись. Too many connections to this file from you. Может быть я что то не так делаю.

    • БериМакс говорит:

      Здрвствуйте, Галина!
      Посмотрел ваш блог, действительно, файла robots.txt нет на блоге…
      1. На что влияет отсутствие файла robots.txt?
      Отсутствие файла robots.txt на блоге влияет на его индексацию.
      На блоге будет проиндексировано «всё и вся».
      Файл robots.txt состоит из директив, каждая из которых запрещает индексацию определённых страниц.
      2. О файле robots.txt я рассказал всё, что нужно админу. Есть видео уроки.
      Файл robots.txt нужно настраивать совместно с некоторыми плагинами…
      3. Файл robots.txt закачивается на хостинг очень легко.
      ====================
      Чтобы я смог вам помочь, напишите последовательность своих шагов, какие выполнили…
      Правильная последовательность такая:
      - формируем в текстовом редакторе файл robots.txt;
      - заходим в файлофый менеджер своего хостинга;
      - закачиваем Файл robots.txt в папку public.html
      В ТЕКСТЕ СТАТЬИ ЕСТЬ ССЫЛКИ ;) НА ПОЯСНЯЮЩИЕ ПУБЛИКАЦИИ

  16. Ринат говорит:

    Здравствуйте.у меня сайт на хостинге Fatcow .в startUp был урок на хостинге таймвеб.а вот куда в какую папку поставить robots.txt на fatcow никто в службе поддержки объяснить не смог.Если знаете подскажите пожалуйста чайнику)

  17. Ринат говорит:

    Здравствуйте. У меня сайт на хостинге Fatcow.
    Если Вы сталкивались с американскими хостингами подскажите пожалуйста в какую папку мне установить robots.txt?

    • БериМакс говорит:

      Ринат, прежде чем ответить, я посмотрел ваш блог…
      Файл robots.txt на вашем блоге установлен и читается.
      В командной строке набираем — ;)
      http:// НАЗВАНИЕБЛОГА/robots.txt
      Ваш файл robots.txt точно такой, каким дают в школе
      и он установлен и читается.
      Позволю себе заметить —
      на вашем блоге не работает плагин Cyr-To-Lat
      и ещё имеются серьёзные ошибки.
      Все ошибки — «бывшие мои» и как их исправить
      я рассказал и приложил видео инструкции.
      У МЕНЯ ПОКА НЕТ ЕДИНОГО ОБУЧАЮЩЕГО КУРСА
      ПО ИСПРАВЛЕНИЮ ОШИБОК НА САЙТЕ,
      поэтому скромно предлагаю
      изучить материалы опубликованных статей
      и применить советы к своему блогу.
      Школа вам не поможет по исправлению ошибок,
      школа очень даже поможет в продвижении
      как социальная ;) сеть однокашек…
      Если затянуть процесс исправления ошибок
      на молодом блоге — будет только хуже для блога
      и для индексации…
      Например, я посмотрел,
      вашему блогу 2 месяца и уже НЕ под фильтрами Гугла
      32% статей,
      оставите «как есть» — будет только хуже…
      У вас есть ШАНС, учитесь на моих ошибках сейчас…
      Я, в своё время, и не мечтал о таком приглашении ;)

  18. Елена говорит:

    Сергей, спасибо огромное! Я такой чайник, что ничего не знала о файле robot.txt, для чего он нужен и индексации в поисковых системах, все закачала, проверила, всё работает!!! Спасибо за то что делитесь такой ценной информацией!

  19. coolsayana говорит:

    Здравствуйте, Серёжа!
    Меня постигла та же участь. Одна ошибка в роботсе и блога больше нет. 6 раз писала Платону — отвечает бот. Но истоки у меня немножко другие: так как блог перенесла с бесплатной площадки Блогспот на автономку — Вордпресс, то ЧПУ были не настроены и имели вид ***/?p=007 а роботс как раз как и у вас, запрещал такой урл. Плюс ко всему все это время мирно стоял плагин Cyr-To-Lat, который советовали более продвинутые оптимизаторы.
    И только сейчас, благодаря вашей статье, я его заметила. Деактивировала, но что теперь делать — ума не приложу… менять ЧПУ и индексировать все по новому кругу для Яндекса? Как тогда быть с Гуглом? Он ведь нормально на нас реагирует. В общем полная каша и если честно, пропадает всякое желание писать в блог. АГС — это достаточно жестко и неприятно для автора, контент которого на 200% его личный.

    • БериМакс говорит:

      Исправленные Ошибки админа лечит только ВРЕМЯ… Это правда. ;) Статья опубликована в апреле 2011, тогда я с ситуацией на своём блоге справился, откорректировал файл robots.txt, исправил ошибки в настройках блога… Всё заработало! Но так я думал тогда… На момент октября 2011 я ещё неоднократно обращался к файлу robots.txt — обо всех рабочих важных находках есть статьи и видео ролики в разделе БЛОГ В ДЕТАЛЯХ. Может быть в этом разделе найдёте ответы.

  20. Марина говорит:

    Здравствуйте, Сергей! Впервые попала на Ваш сайт примерно месяц назад, начиная обучение в школе Start _Up.
    Еще тогда положила его в закладки ;) , намереваясь вернуться позже, когда будет достаточно знаний,
    чтоб осознанно изучить Ваши статьи.
    А вот сегодня, запустив в Яндексе поиск плагина Cyr-To-Lat, увидела Вас на второй строчке выдачи.
    Наверное, с этим можно поздравить?-!!! !!!!!!!!!!!
    Статья оказалась очень полезной, правда в robots.тхт лезть, конечно, не рискну.
    Надеюсь, какую-то информацию дадут в школе. Плагин хочу установить сама, а то ссылки получаются бог знает какие.
    Надеюсь, что ничем не наврежу…
    Если у Вас найдется время, загляните, пожалуйста, на мой сайт.
    Очень хотелось бы услышать дельные замечания и предложения.
    Заранее спасибо.

    • БериМакс говорит:

      Приятно, когда твои публикации нужны посетителям ;) ,
      а поисковые системы статьи лишь индексируют и расставляют по релевантности.
      С файлом robots.txt не всё так просто, готовлю дополнительные
      статьи, например, обязательно нужно указать соответствующие директивы,
      чтобы было меньше ваших авторских страниц под фильтрами Гугл.
      Я не опечатался ;) , именно авторские оригинальные страницы попадают под фильтры.
      Всё расскажу в новых публикациях,
      рассылки пока нет — подписывайтесь на свежие статьи.

  21. БериМакс говорит:

    Информация о файле robots.txt из источника SeoPult

    Robots.txt: историческая справка

    Стандарт для robots.txt никому не принадлежит, а начало его использования приходится на 1994 год. Сейчас robots.txt используется всеми популярными поисковыми системами. Файл robots.txt – это The Robots Exclusion Protocol, то есть файл исключений для поисковых роботов. Robots.txt противоположен по смыслу файлу sitemap.xml: robots.txt ограничивает поисковым роботам обход сайта, а sitemap.xml наоборот – указывает файлы для индексирования. При этом robots.txt первичен – прежде, чем поисковый робот начинает загружать какие-либо страницы сайта, он обращается именно к файлу robots.txt, поэтому основной директивой файла robots.txt является директива запрета индексирования – Disallow.

  22. Александр говорит:

    Меня вот что удивляет. До всех этих вещей приходится доходить самому, методом проб и ошибок. Почему бы сразу не сказать — ребята, у вас должен быть такой то минимум плагинов. Нужен для того то и того…

    • БериМакс говорит:

      Александр, меня также мучают подобные сомнения…
      Мало где найдётся информации о комплексе взаимных связей,
      например, ДВИЖОК — ТЕМА — НАСТРОЙКИ ТЕМЫ — ПЛАГИНЫ …
      Ошибки на первых шагах по созданию сайта приводят с серьёзным проблемам по индексации .
      Так и с моим блогом получилось: разбирался во взаимосвязях Файла Robots и плагина Cyr-To-Lat.

  23. Тимур говорит:

    ВЕЛИКОЛЕПНАЯ СТАТЬЯ!!!!!!
    Огромное спасибо!)
    У самого такая проблема.

    • БериМакс говорит:

      С файлом robots.txt ШУТИТЬ НЕЛЬЗЯ,
      все ошибки необходимо исправить КАК МОЖНО БЫСТРЕЕ!
      За две недели после исправления своих ошибок Яндекс проиндексировал повторно
      всего лишь 6 страниц на моём блоге, ему не нравится повторная индексация…
      Поисковик Google более лоялен и терпелив…

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>