robots.txt для ORE

[Pavel555]

Всем привет. Спасибо разработчикам за отличный движок. Хотел бы спросить насчет robots.txt. Заметил варианты дублей, например версия для печати /property/46?printable=1, которую по идее надо бы закрыть от индексации, т.к. она дублирует контент основной страницы объявления. Возможно, есть и другие ненужные в индексе страницы. Отсюда вопрос, если у кого уже есть составленный и проверенный robots.txt, поделитесь пожалуйста. Если нету, предлагаю составить его коллективно.

[vanred79]

Я закрыл страницу версию для печати метатегом <meta name="robots" content="noindex,nofollow" />

Если хотите сделать также вставьте следующий код в файл /protected/modules/apartments/views/view_print.php

Код: Выделить всё

Yii::app()->clientScript->registerMetaTag('noindex,nofollow', 'robots'); 

[Pavel555]

Спасибо. Кроме страниц для печати, что-нибудь еще скрывали от индексации?

[vanred79]

нет,больше ничего не закрывал. Для сео я сделал, чтобы тайтл главной был только на главной и больше нигде не повторялся, сделал уникальные тайтлы и дескрипшн в объявлениях и других страницах сайта

[Pavel555]

Составил предварительно вот такой robots.txt.
/uploads закрыл, т.к. большинство картинок пока неуникальные. Если будут сомнения по каким-то строкам, прошу высказывать.

Код: Выделить всё

User-agent: *
Disallow: /index.php
Disallow: /*printable=*
Disallow: /?page=*
Disallow: /search*
Disallow: /uploads*
Disallow: /service*
Disallow: /apartments/main/alllistings*
Disallow: /booking/main/*
Disallow: /apartmentsComplain*
Disallow: /guestad*
Disallow: /site/*
Disallow: /?ls=*
Disallow: /?sort=*

[vanred79]

Составил предварительно вот такой robots.txt.
/uploads закрыл, т.к. большинство картинок пока неуникальные. Если будут сомнения по каким-то строкам, прошу высказывать.

Код: Выделить всё

User-agent: *
Disallow: /index.php
Disallow: /*printable=*
Disallow: /?page=*
Disallow: /search*
Disallow: /uploads*
Disallow: /service*
Disallow: /apartments/main/alllistings*
Disallow: /booking/main/*
Disallow: /apartmentsComplain*
Disallow: /guestad*
Disallow: /site/*
Disallow: /?ls=*
Disallow: /?sort=*

Добрый день Павел! роботс составляли по какой то инструкции?

[Pavel555]

Нет, это имхо. Мне кажется, что вышеуказанные пути не нужны в индексе.

[vanred79]

Сделал вот так

Код: Выделить всё

User-agent: *
Disallow: /*index.php
Disallow: /*search
Disallow: /service*
Disallow: /apartmentsComplain/
Disallow: /*?
Sitemap: http://nedvizhimostpro.kz/sitemap.xml
Host: nedvizhimostpro.kz