Мы знаем, что в корне сайта должен быть фал robots.txt, с помощью которого можно управлять поисковыми роботами на своем сайте. В нем можно указывать различные параметры индексирования сайта (разрешать или запрещать индексацию выборочных страниц). Мы знаем так же как нужно разрешать доступ к файлам сайта или ковсему сайту сразу – с помощью директивы 'Allow'.
Сейчас для правильной обработки директивы 'Allow' используется учет порядка: если же для данной страницы сайта подходит (такое тоже бывает) несколько директив, то тут выбирается 1-я директива в порядке появления в выбранном User-agent блоке.
Яндекс через несколько недель собирается внедрить изменения в обработке его поисковым роботом проверку директивы 'Allow' и тем самым откажется от учета порядка. Теперь директивы будут применяться последовательно и сортироваться по их длине префикса URL’а
Торопитесь внести изменения в файл robots.txt. Яндекс советует:
«Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам».
ООО «SEO PRодвижение»
454012, г. Челябинск,
ул. Солнечня, д. 7
телефон: +7-922-70-30-222
Карта сайта
admin@seo-prodwizhenie.ru
398-957-840
o-lady1