Новые требования международного стандарта Яндексом к файлу robots.txt

Мы знаем, что в корне сайта должен быть фал robots.txt, с помощью которого можно управлять поисковыми роботами на своем сайте. В нем можно указывать различные параметры индексирования сайта (разрешать или запрещать индексацию выборочных страниц). Мы знаем так же как нужно разрешать доступ к файлам сайта или ковсему сайту сразу – с помощью директивы 'Allow'.

Пример файла robots.txt №1:

Сейчас  для правильной обработки директивы 'Allow' используется учет порядка: если же для данной страницы сайта подходит (такое тоже бывает) несколько директив, то тут выбирается 1-я директива в порядке появления в выбранном User-agent блоке.

Пример файла robots.txt №2:

 
Пример файла robots.txt № 3: 

Яндекс через несколько недель собирается внедрить изменения в обработке его поисковым роботом проверку директивы 'Allow' и тем самым откажется от учета порядка. Теперь директивы будут применяться последовательно и сортироваться по их длине префикса URL’а
Торопитесь внести изменения в файл robots.txt. Яндекс советует:
«Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам».