SEO-PRодвижение
  • Главная
  • SEO - оптимизатор
  • ВОПРОС_ОТВЕТ
  • SEO-услуги
  • Карта блога

Услуги:

  • Seo-консалтинг
  • Аудит сайтов
  • Поисковое продвижение сайтов
  • Рубрики:
  • Последние:
  • Популярные:
  • Контекстная реклама
  • Яндекс
  • SEO-продвижение
  • Социальные сети
  • Юзабилити
  • Реклама в Интернете
  • SEO-инструменты
  • Мониторинг позиций сайта или как упростить себе задачу по отслеживанию позиций вашего сайта
  • Google не приветствует продажу ссылок
  • Поисковый алгоритм «Калининград» от 12.12.12
  • Прогноз SEO на 2013 год
  • 8 фактов при продвижении интернет-магазинов по коммерческим запросам
  • Что такое фильтры «Яндекса»?
  • Юзабилити, как один из факторов ранжирования сайтов!
  • Новые требования международного стандарта Яндексом к файлу robots.txt
  • Тестирую Buki.Yandex.ru - анализы и выводы!
  • Хитрости в контекстной рекламе
  • Типы рекламных кампаний
  • 8 фактов при продвижении интернет-магазинов по коммерческим запросам
  • Советы по поисковой оптимизации сайта
  • Новый алгоритм Яндекса на 20-тые числа сентября
  • Хитрости в контекстной рекламе
  • Новые требования международного стандарта Яндексом к файлу robots.txt
  • Тестирую Buki.Yandex.ru - анализы и выводы!
  • Поисковый алгоритм «Калининград» от 12.12.12
  • Что такое фильтры «Яндекса»?
  • Советы по внутренней перелинковки сайта.

SEO-программы

Yazzle - gрогамма для раскрутки сайтов

ТОП Инспектор - сервис мониторинга позиций сайта

SEO-PRодвижение на твиттере

Новые требования международного стандарта Яндексом к файлу robots.txt

Опубликовано seo-оптимизатором в 29/09/2011 - 18:03
Рубрика:
  • Яндекс

robots.txt

Мы знаем, что в корне сайта должен быть фал robots.txt, с помощью которого можно управлять поисковыми роботами на своем сайте. В нем можно указывать различные параметры индексирования сайта (разрешать или запрещать индексацию выборочных страниц). Мы знаем так же как нужно разрешать доступ к файлам сайта или ковсему сайту сразу – с помощью директивы 'Allow'.

 

Пример файла robots.txt №1:

Пример robots.txt

Сейчас  для правильной обработки директивы 'Allow' используется учет порядка: если же для данной страницы сайта подходит (такое тоже бывает) несколько директив, то тут выбирается 1-я директива в порядке появления в выбранном User-agent блоке.

Пример файла robots.txt №2:

фал robots.txt нужно переделать

 
Пример файла robots.txt № 3: 

фал robots.txt пример 2

Яндекс через несколько недель собирается внедрить изменения в обработке его поисковым роботом проверку директивы 'Allow' и тем самым откажется от учета порядка. Теперь директивы будут применяться последовательно и сортироваться по их длине префикса URL’а
Торопитесь внести изменения в файл robots.txt. Яндекс советует:
«Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам».
 

Tweet
Отправить комментарий
Содержимое этого поля является приватным и не будет отображаться публично.
Поменять на простой текстовый редактор
CAPTCHA на основе изображений
Введите символы, которые показаны на картинке.

ООО «SEO PRодвижение»
454012, г. Челябинск,
ул. Солнечня, д. 7
телефон: +7-922-70-30-222
Карта сайта

email-seo admin@seo-prodwizhenie.ru
icq-seo 398-957-840
skype-seo o-lady1