yandex_export_feed.xml и Поиск по карте

[lomuk]

А простите в чем разница между парсингом и добавлением?

1. Пользователями добавлено уже более 40 тыс объектов. Остальное с парсера, по мере добавления пользователями объявлений, отключаю спарсенные.
2. Посещаемость 1,2-1,3К в сутки
3. На другом серваке с таким же железом и с теми же настройками nginx, mysql, php, висит сайт на dle с посещаемостью 30К в сутки, и на Wordpress 12К в сутки, нагрузка немного больше чем от ORE

[andipas]

А простите в чем разница между парсингом и добавлением?

1. Пользователями добавлено уже более 40 тыс объектов. Остальное с парсера, по мере добавления пользователями объявлений, отключаю спарсенные.
2. Посещаемость 1,2-1,3К в сутки
3. На другом серваке с таким же железом и с теми же настройками nginx, mysql, php, висит сайт на dle с посещаемостью 30К в сутки, и на Wordpress 12К в сутки, нагрузка немного больше чем от ORE

Не сравнивайте блоговые и форумные движки с Open Real Estate CMS. У каждого объекта недвижимости есть куча характеристик и зависимостей в базе данных, в отличии от новости в блоге. Лучше приведите в пример динамично обновляемый xml фид или карту сайта с ссылками на > 30 000 страниц на 1-й странице.

Согласен, что наш продукт может не так быстро работать с базой более 10 000 объявлений. При таких объемах нужно думать о хайлоад нагрузках и цена поддержки и разработки такого продукта в разы выше.

Если вы считаете, что вам, что то не сделали по доработкам, необходимо было это выяснять с менеджером и разработчиком своевременно, а не спустя полгода-год. Период бесплатной тех.поддержки у нас составляет 2 месяца.

[andipas]

Скажите пожалуйста, какие нагрузки реально выдерживает ваша система?

Как мы можем видеть, ваш сайт содержит 73 000 объявлений и посещаемость 1.3к в сутки. Думаю, объявлений может быть и 300 000 и более и все будет работать нормально. При этом скорость загрузки страницы около 1 сек. Считаю, это отличный показатель для нашей CMS.

Также хочу заметить, что отображение >= 1000 объектов на 1 странице:
1) не может быть быстрым
2) использовать мало ресурсов сервера
3) не информативно, не зачем, ИМХО

Исходя из вышесказанного, мы ограничим вывод на 1 странице в 1000 объектов или ссылок, там где это имеет место быть.

[lomuk]

1. Показатель в 1 сек, не из "коробки", до оптимизации с вашей стороны загрузка страниц была 7-15 сек, после 2-3, после подключения memcached стало 0,7-0,9

2. На том же DLE, в новостях от 6 до 18 дополнительных полей, который так же тянутся запросами с базы...

3. Нужно раз в N время генерировать данную страницу с 73-1000К ссылок, а не ежесекундно
3.1 Пусть кушает ресурсы хоть гигабайтами, но что бы был результат
3.2 Все таки Яндекс фид, это передача базы объявлений в Яндекс каталог недвижимости.
3.3 Имея 73 тыс, отдавать лишь 1 тыс, это как минимум странно
3.4 И не факт что из этой 1000 все будут валидные

[Xpycm]

Перед выдачей объявлений в xml идёт проверка на актуальность объявлений по этим критериям: http://help.yandex.ru/realty/actual.xml
Естественно, модуль "Яндекс.Недвижимость" не проверяет на дубликаты, которые уже есть в Яндексе ( https://help.yandex.ru/realty/advertise/requirement.xml )
Так что невалидных объявлений либо не должно быть совсем, либо их количество стремится к нулю.

Да, можно генерировать xml файл по крону.
Однако, подавляющее большинство пользователей знать не знают что такое крон и как его настраивать с контрольной панели хостинга. Это решаемо. У этого же подавляющего большинства пользователей в лучшем случае будет 500 актуальных объявлений для выгрузки в Яндекс.Недвижимость. Многие пользователи, наоборот, спрашивают почему фид выдаёт сообщение "У вас меньше 100 валидных объявлений", хотя у меня на сайте 120 объявлений. А для выгрузки такого кол-ва объявлений справляется и генерация на ходу на большинстве хостингов.

Если вам необходимо сделать генерацию xml-файла по крону, а не при каждом обращении ( например, два раза в сутки этот файл будет обновляться ). То мы можем сделать это за дополнительную плату. Обращайтесь: http://monoray.ru/contact

[lomuk]

Рассказываю итог вашего костыля в виде 1000 объектов в фиде...

Объекты берутся самые первые из базы, а не последние, так что им всем от одного года и выше...

И то, что я говорил, из 1000 - 357 инвалидов

[Xpycm]

Код: Выделить всё

$activeAds = Yii::app()->db->createCommand()
->select('a.id')
->from('{{apartment}} a')
->join('{{users}} u', 'a.owner_id = u.id')
->where('(LENGTH (u.phone) > 0) AND a.active = "'.self::STATUS_ACTIVE.'" '.$userAdsCondition.' '.$where.'')
->order('a.id DESC')
->limit('1000')
->queryColumn();  

Если внимательно посмотреть на код, то можно увидеть сортировку по убыванию - DESC. Соответственно, на первом месте должно быть самое большее число, на последнем - самое меньшее.

Странно, что у вас наоборот. Может быть какие-то доработки? Пробуйте ORDER BY по другим полям значит.

Так же LIMIT 1000 увеличивайте. Не вижу проблем менять значение, обновлять страницу и смотреть на каком значении сервер выдаст 502 ошибку.

[vanred79]

А простите в чем разница между парсингом и добавлением?

1. Пользователями добавлено уже более 40 тыс объектов. Остальное с парсера, по мере добавления пользователями объявлений, отключаю спарсенные.
2. Посещаемость 1,2-1,3К в сутки
3. На другом серваке с таким же железом и с теми же настройками nginx, mysql, php, висит сайт на dle с посещаемостью 30К в сутки, и на Wordpress 12К в сутки, нагрузка немного больше чем от ORE

Не сравнивайте блоговые и форумные движки с Open Real Estate CMS. У каждого объекта недвижимости есть куча характеристик и зависимостей в базе данных, в отличии от новости в блоге. Лучше приведите в пример динамично обновляемый xml фид или карту сайта с ссылками на > 30 000 страниц на 1-й странице.

Согласен, что наш продукт может не так быстро работать с базой более 10 000 объявлений. При таких объемах нужно думать о хайлоад нагрузках и цена поддержки и разработки такого продукта в разы выше.

Если вы считаете, что вам, что то не сделали по доработкам, необходимо было это выяснять с менеджером и разработчиком своевременно, а не спустя полгода-год. Период бесплатной тех.поддержки у нас составляет 2 месяца.

Добрый день Хруст! ORE будет некорректно работать если объявлений будет 10000 объявлений? До 10 тыс. я пока не дошел, сейчас около 2 тыс., но в планах есть довести до 10 тыс

[Xpycm]

Будет работать корректно.

Единственное, у вас старая версия 1.3.

Как минимум нужно будет включить расширение yii-debug-toolbar ( https://www.google.ru/search?q=yii-debug-toolbar ), в конфиге config/db.php значения enableParamLogging и enableProfiling выставить в true, посмотреть медленные запросы и указать индексы для поля(ей) - https://www.google.ru/search?q=mysql+индексы

Или можете скачать последнюю версию и в файле protected\modules\install\data\open-re-full.sql поискать строчки, начинающиеся с "KEY `" и добавить аналогичные индексы.

На моей практике добавление нужного индекса привело к ускорению в 33 раза.

С версии 1.8 все индексы уже добавлены ну и плюс другие моменты оптимизации.

[vanred79]

Будет работать корректно.

Единственное, у вас старая версия 1.3.

Как минимум нужно будет включить расширение yii-debug-toolbar ( https://www.google.ru/search?q=yii-debug-toolbar ), в конфиге config/db.php значения enableParamLogging и enableProfiling выставить в true, посмотреть медленные запросы и указать индексы для поля(ей) - https://www.google.ru/search?q=mysql+индексы

Или можете скачать последнюю версию и в файле protected\modules\install\data\open-re-full.sql поискать строчки, начинающиеся с "KEY `" и добавить аналогичные индексы.

На моей практике добавление нужного индекса привело к ускорению в 33 раза.

С версии 1.8 все индексы уже добавлены ну и плюс другие моменты оптимизации.

Такая доработка сложная? Дорогая ли она?