yandex_export_feed.xml и Поиск по карте

Вопросы и ответы по изменению функционала, смене дизайна, переносу сайта и т.п.

Модераторы: Xpycm, Koduc

Правила форума
ВНИМАНИЕ! Форум не является средством гарантированной поддержки клиентов и пользователей. Поэтому на быстрый ответ тут рассчитывать не нужно, как и на ответ вообще. Сотрудники отвечают по мере своих возможностей.

На форуме действует ограничение в 3 сообщения / сутки.
Если Вы хотите сказать "спасибо", то воспользуйтесь функцией "Повысить репутацию" - зелёная иконка "плюс" под ником ответившего.

Re: yandex_export_feed.xml и Поиск по карте

Сообщение lomuk » 28 янв 2015, 10:08

А простите в чем разница между парсингом и добавлением? :-) :-) :-) *THUMBS UP*

1. Пользователями добавлено уже более 40 тыс объектов. Остальное с парсера, по мере добавления пользователями объявлений, отключаю спарсенные.
2. Посещаемость 1,2-1,3К в сутки
3. На другом серваке с таким же железом и с теми же настройками nginx, mysql, php, висит сайт на dle с посещаемостью 30К в сутки, и на Wordpress 12К в сутки, нагрузка немного больше чем от ORE *BRAVO*
http://odessa-dom.com.ua - На Open Real Estate Pro
lomuk
Гражданин
Гражданин
 
Сообщения: 164
Зарегистрирован: 13 сен 2013, 09:42
Очки репутации: 0

Re: yandex_export_feed.xml и Поиск по карте

Сообщение andipas » 28 янв 2015, 11:26

lomuk писал(а):А простите в чем разница между парсингом и добавлением? :-) :-) :-) *THUMBS UP*

1. Пользователями добавлено уже более 40 тыс объектов. Остальное с парсера, по мере добавления пользователями объявлений, отключаю спарсенные.
2. Посещаемость 1,2-1,3К в сутки
3. На другом серваке с таким же железом и с теми же настройками nginx, mysql, php, висит сайт на dle с посещаемостью 30К в сутки, и на Wordpress 12К в сутки, нагрузка немного больше чем от ORE *BRAVO*


Не сравнивайте блоговые и форумные движки с Open Real Estate CMS. У каждого объекта недвижимости есть куча характеристик и зависимостей в базе данных, в отличии от новости в блоге. Лучше приведите в пример динамично обновляемый xml фид или карту сайта с ссылками на > 30 000 страниц на 1-й странице.

Согласен, что наш продукт может не так быстро работать с базой более 10 000 объявлений. При таких объемах нужно думать о хайлоад нагрузках и цена поддержки и разработки такого продукта в разы выше.

Если вы считаете, что вам, что то не сделали по доработкам, необходимо было это выяснять с менеджером и разработчиком своевременно, а не спустя полгода-год. Период бесплатной тех.поддержки у нас составляет 2 месяца.
Часто задаваемые вопросы. Для правки файлов notepad++, netbeans, phpStorm. Для правки CSS firebug.
Аватара пользователя
andipas
Разработчик
Разработчик
 
Сообщения: 695
Зарегистрирован: 28 дек 2011, 22:37
Очки репутации: 30

Re: yandex_export_feed.xml и Поиск по карте

Сообщение andipas » 28 янв 2015, 12:09

lomuk писал(а):Скажите пожалуйста, какие нагрузки реально выдерживает ваша система?


Как мы можем видеть, ваш сайт содержит 73 000 объявлений и посещаемость 1.3к в сутки. Думаю, объявлений может быть и 300 000 и более и все будет работать нормально. При этом скорость загрузки страницы около 1 сек. Считаю, это отличный показатель для нашей CMS.

Также хочу заметить, что отображение >= 1000 объектов на 1 странице:
1) не может быть быстрым
2) использовать мало ресурсов сервера
3) не информативно, не зачем, ИМХО

Исходя из вышесказанного, мы ограничим вывод на 1 странице в 1000 объектов или ссылок, там где это имеет место быть.
Часто задаваемые вопросы. Для правки файлов notepad++, netbeans, phpStorm. Для правки CSS firebug.
Аватара пользователя
andipas
Разработчик
Разработчик
 
Сообщения: 695
Зарегистрирован: 28 дек 2011, 22:37
Очки репутации: 30

Re: yandex_export_feed.xml и Поиск по карте

Сообщение lomuk » 28 янв 2015, 13:14

1. Показатель в 1 сек, не из "коробки", до оптимизации с вашей стороны загрузка страниц была 7-15 сек, после 2-3, после подключения memcached стало 0,7-0,9

2. На том же DLE, в новостях от 6 до 18 дополнительных полей, который так же тянутся запросами с базы...

3. Нужно раз в N время генерировать данную страницу с 73-1000К ссылок, а не ежесекундно
3.1 Пусть кушает ресурсы хоть гигабайтами, но что бы был результат
3.2 Все таки Яндекс фид, это передача базы объявлений в Яндекс каталог недвижимости.
3.3 Имея 73 тыс, отдавать лишь 1 тыс, это как минимум странно
3.4 И не факт что из этой 1000 все будут валидные
http://odessa-dom.com.ua - На Open Real Estate Pro
lomuk
Гражданин
Гражданин
 
Сообщения: 164
Зарегистрирован: 13 сен 2013, 09:42
Очки репутации: 0

Re: yandex_export_feed.xml и Поиск по карте

Сообщение Xpycm » 28 янв 2015, 13:34

Перед выдачей объявлений в xml идёт проверка на актуальность объявлений по этим критериям: http://help.yandex.ru/realty/actual.xml
Естественно, модуль "Яндекс.Недвижимость" не проверяет на дубликаты, которые уже есть в Яндексе ( https://help.yandex.ru/realty/advertise/requirement.xml )
Так что невалидных объявлений либо не должно быть совсем, либо их количество стремится к нулю.

Да, можно генерировать xml файл по крону.
Однако, подавляющее большинство пользователей знать не знают что такое крон и как его настраивать с контрольной панели хостинга. Это решаемо. У этого же подавляющего большинства пользователей в лучшем случае будет 500 актуальных объявлений для выгрузки в Яндекс.Недвижимость. Многие пользователи, наоборот, спрашивают почему фид выдаёт сообщение "У вас меньше 100 валидных объявлений", хотя у меня на сайте 120 объявлений. А для выгрузки такого кол-ва объявлений справляется и генерация на ходу на большинстве хостингов.

Если вам необходимо сделать генерацию xml-файла по крону, а не при каждом обращении ( например, два раза в сутки этот файл будет обновляться ). То мы можем сделать это за дополнительную плату. Обращайтесь: http://monoray.ru/contact
Dropbox
Open Real Estate CMS: FAQ | FAQ 2 | FAQ 3
Изображение
Xpycm
Разработчик
Разработчик
 
Сообщения: 1592
Зарегистрирован: 30 дек 2011, 11:06
Откуда: Йошкар-Ола
Очки репутации: 50

Re: yandex_export_feed.xml и Поиск по карте

Сообщение lomuk » 29 янв 2015, 02:28

Рассказываю итог вашего костыля в виде 1000 объектов в фиде...

Объекты берутся самые первые из базы, а не последние, так что им всем от одного года и выше...

И то, что я говорил, из 1000 - 357 инвалидов
Вложения
image.jpg
image.jpg (167.37 КБ) Просмотров: 6340
http://odessa-dom.com.ua - На Open Real Estate Pro
lomuk
Гражданин
Гражданин
 
Сообщения: 164
Зарегистрирован: 13 сен 2013, 09:42
Очки репутации: 0

Re: yandex_export_feed.xml и Поиск по карте

Сообщение Xpycm » 29 янв 2015, 08:25

Код: Выделить всё
$activeAds Yii::app()->db->createCommand()
->
select('a.id')
->
from('{{apartment}} a')
->
join('{{users}} u''a.owner_id = u.id')
->
where('(LENGTH (u.phone) > 0) AND a.active = "'.self::STATUS_ACTIVE.'" '.$userAdsCondition.' '.$where.'')
->
order('a.id DESC')
->
limit('1000')
->
queryColumn();  


Если внимательно посмотреть на код, то можно увидеть сортировку по убыванию - DESC. Соответственно, на первом месте должно быть самое большее число, на последнем - самое меньшее.

Странно, что у вас наоборот. Может быть какие-то доработки? Пробуйте ORDER BY по другим полям значит.

Так же LIMIT 1000 увеличивайте. Не вижу проблем менять значение, обновлять страницу и смотреть на каком значении сервер выдаст 502 ошибку.
Dropbox
Open Real Estate CMS: FAQ | FAQ 2 | FAQ 3
Изображение
Xpycm
Разработчик
Разработчик
 
Сообщения: 1592
Зарегистрирован: 30 дек 2011, 11:06
Откуда: Йошкар-Ола
Очки репутации: 50

Re: yandex_export_feed.xml и Поиск по карте

Сообщение vanred79 » 29 янв 2015, 11:02

andipas писал(а):
lomuk писал(а):А простите в чем разница между парсингом и добавлением? :-) :-) :-) *THUMBS UP*

1. Пользователями добавлено уже более 40 тыс объектов. Остальное с парсера, по мере добавления пользователями объявлений, отключаю спарсенные.
2. Посещаемость 1,2-1,3К в сутки
3. На другом серваке с таким же железом и с теми же настройками nginx, mysql, php, висит сайт на dle с посещаемостью 30К в сутки, и на Wordpress 12К в сутки, нагрузка немного больше чем от ORE *BRAVO*


Не сравнивайте блоговые и форумные движки с Open Real Estate CMS. У каждого объекта недвижимости есть куча характеристик и зависимостей в базе данных, в отличии от новости в блоге. Лучше приведите в пример динамично обновляемый xml фид или карту сайта с ссылками на > 30 000 страниц на 1-й странице.

Согласен, что наш продукт может не так быстро работать с базой более 10 000 объявлений. При таких объемах нужно думать о хайлоад нагрузках и цена поддержки и разработки такого продукта в разы выше.

Если вы считаете, что вам, что то не сделали по доработкам, необходимо было это выяснять с менеджером и разработчиком своевременно, а не спустя полгода-год. Период бесплатной тех.поддержки у нас составляет 2 месяца.

Добрый день Хруст! ORE будет некорректно работать если объявлений будет 10000 объявлений? До 10 тыс. я пока не дошел, сейчас около 2 тыс., но в планах есть довести до 10 тыс
Вся недвижимость Астаны у нас на сайте
vanred79
Местная знаменитость
Местная знаменитость
 
Сообщения: 660
Зарегистрирован: 02 фев 2013, 18:42
Откуда: Казахстан
Очки репутации: 2

Re: yandex_export_feed.xml и Поиск по карте

Сообщение Xpycm » 29 янв 2015, 11:26

Будет работать корректно.

Единственное, у вас старая версия 1.3.

Как минимум нужно будет включить расширение yii-debug-toolbar ( https://www.google.ru/search?q=yii-debug-toolbar ), в конфиге config/db.php значения enableParamLogging и enableProfiling выставить в true, посмотреть медленные запросы и указать индексы для поля(ей) - https://www.google.ru/search?q=mysql+индексы

Или можете скачать последнюю версию и в файле protected\modules\install\data\open-re-full.sql поискать строчки, начинающиеся с "KEY `" и добавить аналогичные индексы.

На моей практике добавление нужного индекса привело к ускорению в 33 раза.

С версии 1.8 все индексы уже добавлены ну и плюс другие моменты оптимизации.
Dropbox
Open Real Estate CMS: FAQ | FAQ 2 | FAQ 3
Изображение
Xpycm
Разработчик
Разработчик
 
Сообщения: 1592
Зарегистрирован: 30 дек 2011, 11:06
Откуда: Йошкар-Ола
Очки репутации: 50

Re: yandex_export_feed.xml и Поиск по карте

Сообщение vanred79 » 29 янв 2015, 11:38

Xpycm писал(а):Будет работать корректно.

Единственное, у вас старая версия 1.3.

Как минимум нужно будет включить расширение yii-debug-toolbar ( https://www.google.ru/search?q=yii-debug-toolbar ), в конфиге config/db.php значения enableParamLogging и enableProfiling выставить в true, посмотреть медленные запросы и указать индексы для поля(ей) - https://www.google.ru/search?q=mysql+индексы

Или можете скачать последнюю версию и в файле protected\modules\install\data\open-re-full.sql поискать строчки, начинающиеся с "KEY `" и добавить аналогичные индексы.

На моей практике добавление нужного индекса привело к ускорению в 33 раза.

С версии 1.8 все индексы уже добавлены ну и плюс другие моменты оптимизации.

Такая доработка сложная? Дорогая ли она?
Вся недвижимость Астаны у нас на сайте
vanred79
Местная знаменитость
Местная знаменитость
 
Сообщения: 660
Зарегистрирован: 02 фев 2013, 18:42
Откуда: Казахстан
Очки репутации: 2

Пред.След.

Вернуться в Вопросы и помощь по изменениям

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5