Каталог Агрегатор недвижимости: парсинг открытых источников + собственная база.
Объявления приходят из нескольких источников и склеиваются в один объект. Парсеры работают каждые 15 минут с anti-block через ротацию proxy и user-agent.
Источники
- ЦИАН (RU)
- Авито Недвижимость (RU)
- Домофонд / Realty.Mail (RU)
- Островок (RU, посуточно)
- Zillow / Realtor.com (US)
- Rightmove / Zoopla (UK)
Дедупликация
ML-модель находит дубликаты по фото-хешу, тексту описания и координатам. При появлении нового объявления о том же объекте — мерж с сохранением истории цен (графики drop / raise).
Гео-поиск
Elasticsearch с geo-shapes: фильтрация по polygon (нарисуйте область), радиусу от точки, метро, школам, POI. Поиск < 200 мс на 5M объектов.