- Код: Выделить всё
User-agent: *
Allow: /*search?page=*
Allow: /*specialoffers?page=*
Disallow: /*index.php
Disallow: /*printable=*
Disallow: /*?page=*
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Disallow: /*search?*&ls=*
Disallow: /*search?*&sort=*
Disallow: /*specialoffers?page=*&sort=*
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*specialoffers?*&ls=*
Disallow: /*specialoffers?*&sort=*
Disallow: /*?sort=*
Disallow: /*?ls=*
Disallow: /*comparisonList
Disallow: /*booking/add*
Disallow: /*complain/add*
Disallow: /*apartments/sendEmail*
1. Допустим ли разрыв в 2 пустые строки?
Может с учетом общепринятых правил более логично файл должен выглядеть так:
- Код: Выделить всё
User-agent: *
Disallow: /*index.php
Disallow: /*printable=*
Disallow: /*?page=*
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Disallow: /*search?*&ls=*
Disallow: /*search?*&sort=*
Disallow: /*specialoffers?page=*&sort=*
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*specialoffers?*&ls=*
Disallow: /*specialoffers?*&sort=*
Disallow: /*?sort=*
Disallow: /*?ls=*
Disallow: /*comparisonList
Disallow: /*booking/add*
Disallow: /*complain/add*
Disallow: /*apartments/sendEmail*
Allow: /*search?page=*
Allow: /*specialoffers?page=*
User-agent: Yandex
Disallow: /*index.php
Disallow: /*printable=*
Disallow: /*?page=*
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
Disallow: /*search?*&ls=*
Disallow: /*search?*&sort=*
Disallow: /*specialoffers?page=*&sort=*
Disallow: /*specialoffers?page=*&sort=*&ls=*
Disallow: /*specialoffers?*&ls=*
Disallow: /*specialoffers?*&sort=*
Disallow: /*?sort=*
Disallow: /*?ls=*
Disallow: /*comparisonList
Disallow: /*booking/add*
Disallow: /*complain/add*
Disallow: /*apartments/sendEmail*
Allow: /*search?page=*
Allow: /*specialoffers?page=*
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml
Но даже в этом случае файл не совсем корректен:
2. Вот эти строки (ниже) противоречат друг другу. Разрешать индексацию или запрещать? Из этих противоречащих правил непонятно:
Allow: /*search?page=* (эта строка разрешает все, что запрещено в следующих двух строках)
Disallow: /*search?page=*&sort=* (эта строка запрещает все, что также "попадает" в следующую строку, то есть следующая строка не нужна)
Disallow: /*search?page=*&sort=*&ls=*
Allow: /*specialoffers?page=* (эта строка разрешает все, что запрещено в следующих двух строках)
Disallow: /*specialoffers?page=*&sort=* (эта строка запрещает все, что также "попадает" в следующую строку, то есть следующая строка не нужна)
Disallow: /*specialoffers?page=*&sort=*&ls=*
3. Правило:
Disallow: /*?page=*
закроет любые страницы с "?page=", то есть вот это уже лишнее:
Disallow: /*search?page=*&sort=*
Disallow: /*search?page=*&sort=*&ls=*
4. А вообще, стоит закрывать от индексации " page= ? " ? Это же может опустить сайт оооочень существенно. На Яндекс можно забить. Главное - Google. А в нем отдельные настройки для обработки расширенных параметров URL. Независимые от robots. Естественно, что параметры, меняющие содержание страниц, должны быть открыты для индексации.
Так что же в итоге нужно прописать в файле robots.txt (для версии Open Real Estate PRO V1.16.1) ???
