Кейсы: проверка AI-моделей на исторических данных цен

Исторические данные по ценам — это классический полигон для проверки AI-моделей в недвижимости. С их помощью можно воспроизвести прошлое и оценить, насколько алгоритм улавливает рыночную структуру. Но здесь кроется ловушка: красивые цифры на исторической выборке часто маскируют нестабильность и плохую калибровку. Я видел это не раз: модель, блестяще проходящая backtest, разваливается на свежих сделках, потому что проверка была построена некорректно. В этой статье разберем, как правильно организовать верификацию на исторических данных, чтобы прогноз цены квартиры был не просто точным в среднем, а устойчивым и честным.

Зачем вообще проверять модель на исторических данных

Проверка на исторических данных нужна не ради отчета, а чтобы понять, насколько прогноз можно использовать в реальной задаче. Если модель умеет воспроизводить прошлые цены, это еще не значит, что она пригодна для оценки квартиры сегодня. Но без такого теста запускать ее в продакшен еще рискованнее. В NLP-бенчмарках мы всегда проверяем, не переобучилась ли модель на тестовый набор. Здесь аналог — проверка временной обобщающей способности: способна ли модель предсказывать цены на периодах, которые она не видела при обучении. Без этого этапа невозможно отделить реальную закономерность от шума в данных.

Что дает исторический тест

• Показывает, насколько модель умеет учитывать реальные рыночные закономерности, а не просто запоминать средние значения.
• Помогает сравнить несколько подходов на одной и той же базе — как в бенчмарках с фиксированными датасетами.
• Выявляет, где модель ошибается системно: по районам, типам домов, классам объектов, периодам кризиса. Это аналог анализа ошибок по отдельным классам в задаче классификации.
• Позволяет отделить случайное попадание от воспроизводимого качества — единичный удачный прогноз не гарантирует стабильности.
• Дает основу для калибровки: не только «какая цена», но и «насколько можно доверять диапазону». Мы смотрим, какой процент фактических цен попадает в предсказанный интервал, и корректируем его ширину, чтобы он был одновременно информативным и надежным.

Что считается хорошим кейсом проверки

Хороший кейс — это не просто таблица с прошлой ценой и прогнозом. Это сценарий, в котором модель проверяется так, как она будет использоваться пользователем. Для рынка недвижимости это означает тестирование на объектах с известной датой сделки, параметрами квартиры и привязкой к конкретному периоду. Как в бенчмарках мы требуем, чтобы тестовые примеры были независимы и репрезентативны, так и здесь кейс должен воспроизводить ситуацию, когда модель применяется к новому объекту, о котором у нее нет будущей информации.

Минимальный набор данных

• дата сделки или публикации — без нее невозможно построить временной разрез;
• тип объекта: квартира, апартаменты, новостройка, вторичка;
• площадь, этаж, число комнат;
• район или локация — вплоть до микрорайонных эффектов;
• состояние, серия дома, год постройки;
• фактическая цена сделки или подтвержденная цена предложения — целевая переменная;
• признаки периода: ставка, сезонность, макроэкономический фон.

Почему нельзя тестировать на «усредненной цене по городу»

Потому что такая проверка маскирует ошибки. Модель может угадать общий уровень рынка и при этом сильно промахиваться по отдельным районам, сегментам и типам жилья. Это все равно что оценивать языковую модель по средней перплексии на всем корпусе, игнорируя провалы на редких доменах. Для пользователя важна не средняя температура по больнице, а прогноз по конкретной квартире. Если модель систематически завышает цену в старом фонде и занижает в новостройках, средняя ошибка может быть приемлемой, но практическая ценность такой модели стремится к нулю.

Как правильно строить проверку на исторических данных

Надежная проверка строится по принципу «прошлое предсказывает будущее», а не наоборот. Это значит, что модель обучают на более раннем периоде и тестируют на более позднем. Такой подход — аналог out-of-time валидации в финансовом моделировании: обучающая выборка должна строго предшествовать тестовой, иначе модель получит информацию из будущего.

Базовая схема

1. Собрать исторический массив сделок или объявлений.
2. Очистить данные от дублей, выбросов и неполных записей — одна ошибочная сделка с завышенной ценой может исказить метрики и создать ложное впечатление о точности.
3. Разделить выборку по времени: например, обучить на данных до 2022 года, тестировать на 2023-м.
4. Обучить модель на прошлом периоде.
5. Проверить на следующем временном отрезке.
6. Сравнить прогноз с фактом и посчитать ошибки.
7. Повторить проверку по нескольким временным окнам, чтобы оценить стабильность.

Что важно в такой схеме

• Нельзя перемешивать прошлое и будущее случайным образом — это разрушает временную структуру и приводит к завышенным оценкам качества.
• Нельзя использовать признаки, которые стали известны только после даты прогноза. Классическая утечка данных: например, последующая цена перепродажи или обновленная кадастровая стоимость. Это как в NLP использовать для обучения информацию из тестовой выборки.
• Нельзя оценивать модель только на одном удачном периоде — рынок меняется, и единственный успешный тест может быть случайностью.
• Нельзя ограничиваться одной метрикой — средняя ошибка скрывает важные нюансы.

Какие метрики действительно важны

В оценке цен ошибки бывают разными. Одни метрики показывают среднее отклонение, другие — чувствительность к крупным промахам, третьи — качество доверительного диапазона. Как в NLP-бенчмарках мы смотрим на accuracy, F1, BLEU и другие метрики в зависимости от задачи, так и здесь нужен набор, покрывающий разные аспекты качества.

На что смотреть в первую очередь

Для недвижимости редко достаточно одной средней ошибки. Если модель показывает низкий MAE, но регулярно промахивается по премиум-сегменту или переоценивает старый фонд, это уже плохая модель для бизнеса. MAE в 500 тыс. руб. может быть приемлемым для элитной квартиры, но катастрофичным для типовой однушки. Поэтому мы всегда анализируем ошибку в разрезе сегментов — это как смотреть F1-score по классам в задаче классификации. Также критически важна калибровка диапазона: если модель утверждает, что с вероятностью 90% цена будет в интервале ±2 млн, а по факту попадает только 60% сделок, значит, диапазон слишком узок и модель переоценивает свою точность.

Типовые кейсы проверки AI-моделей

1. Прогноз цены квартиры на основе прошлых сделок

Это самый прямой сценарий: модель получает признаки объекта и должна предсказать цену сделки на дату, которая еще не наступила в обучении. Такой кейс — baseline-тест, похожий на проверку языковой модели на стандартном датасете. Он хорошо показывает, умеет ли алгоритм ловить рыночную структуру: зависимость цены от площади, района, этажа, состояния.

Что обычно выявляется:

• модель хорошо работает в массовом сегменте, но теряет точность в редких классах жилья (элитные объекты, пентхаусы, квартиры с нестандартными характеристиками);
• переоценивает объекты с косметическим ремонтом, потому что фактор «свежего ремонта» может быть переоценен на исторических данных;
• хуже справляется с нестандартными планировками — такие объекты реже встречаются в обучении;
• не видит локальные всплески спроса в отдельных районах, вызванные, например, открытием новой станции метро.

2. Сравнение моделей на одном временном отрезке

Здесь важно не просто обучить несколько моделей, а прогнать их на одинаковых исторических окнах. Это как в бенчмарках с фиксированными сплитами: только так можно понять, какая архитектура лучше переносит смену режима рынка. Часто сравнивают:

• линейные модели как прозрачный базовый ориентир — они не склонны к переобучению, но могут не улавливать нелинейности;
• бустинг как сильный табличный baseline — хорошо работает на структурированных данных, но может быть чувствителен к шуму;
• нейросетевые модели, если есть много данных — способны выучивать сложные взаимодействия, но требуют тщательной регуляризации;
• гибридные модели, где часть признаков (например, текст описания) обрабатывается отдельно, а затем объединяется с табличными данными.

3. Проверка устойчивости на кризисных периодах

Это один из самых полезных кейсов — стресс-тест, аналогичный adversarial evaluation в NLP. Модель может отлично работать в спокойные годы и ломаться на резких изменениях рынка. Поэтому отдельно проверяют поведение на периодах, где были скачки ставок, спроса или объема сделок. Хорошая модель должна расширять прогнозный диапазон в периоды нестабильности, а не сохранять самоуверенность.

Что важно:

• как быстро модель начинает ошибаться после смены режима;
• меняется ли ошибка по сегментам — например, элитный сегмент может реагировать иначе, чем массовый;
• умеет ли модель сохранять адекватный диапазон, а не выдавать слишком уверенный прогноз, когда рынок турбулентен.

4. Backtesting по скользящему окну

Это метод, при котором модель несколько раз обучают на разных исторических окнах и тестируют на следующем участке. Такой подход ближе к реальной эксплуатации, потому что рынок постоянно движется. Это аналог кросс-валидации с учетом временной структуры: мы оцениваем не только среднее качество, но и его дисперсию во времени.

Плюсы:

• видно, как меняется качество во времени — можно заметить тренд на ухудшение;
• проще обнаружить деградацию модели, когда новые данные меняют распределение;
• можно сравнить стабильность моделей, а не только их «лучший» результат на одном окне.

Какие ошибки чаще всего делают при проверке

Ошибка 1. Случайное разбиение данных

В недвижимости это почти всегда плохая идея. Если перемешать объекты из разных лет, модель увидит будущее через косвенные признаки и покажет завышенное качество. Это все равно что в NLP перемешать train и test из одного документа, а потом удивляться высокой точности. Временная структура — фундаментальное ограничение, которое нельзя игнорировать.

Ошибка 2. Утечка данных

Иногда в признаки попадают поля, которые на момент прогноза еще неизвестны. Например, финальная цена сделки (если мы предсказываем цену до торга), постфактум-оценки или характеристики, обновленные позже. Допустим, мы используем признак «скидка от первоначальной цены», но эта скидка известна только после сделки. Модель, обученная с таким признаком, покажет фантастическую точность на истории, но в реальности будет бесполезна.

Ошибка 3. Слишком короткая история

Если взять 6–12 месяцев данных, модель может подстроиться под краткосрочный шум и не заметить реальную динамику рынка. Для жилья обычно нужен более длинный исторический горизонт, охватывающий разные фазы цикла. Модель может запомнить сезонный паттерн, но не научится реагировать на смену ипотечных ставок — это как обучить чат-бота на диалогах за месяц, он не поймет новые темы.

Ошибка 4. Оценка только по среднему

Средняя ошибка скрывает важные провалы. Модель может быть «в целом неплохой», но практически бесполезной в дорогом сегменте или в отдельных округах. Нужно смотреть на распределение ошибок, как мы смотрим на confusion matrix в классификации: систематическое завышение в центре или занижение на окраинах должно быть выявлено.

Ошибка 5. Игнорирование смены режима рынка

Рынок жилья не статичен. Изменяются ставки, спрос, ипотечные условия, структура предложения, поведение покупателей. Если это не учитывать, оценка модели быстро теряет смысл. Модель, обученная в период низких ставок, может провалиться при их резком росте. Поэтому мы проверяем модель на разных режимах, как в NLP проверяют устойчивость к смене домена.

Как читать результат проверки

Хороший отчет по историческим данным отвечает не только на вопрос «сколько модель ошибается», но и на вопрос «где, когда и почему». Мы смотрим на калибровочную кривую: если модель говорит, что 90% уверена в диапазоне, а факт попадает в него только в 70% случаев, значит, диапазон слишком узкий и модель переоценивает свою точность. Такой анализ позволяет не просто констатировать ошибку, а понять, как ее исправить.

Полезные вопросы к результату

• Ошибка стабильна или сильно скачет от периода к периоду?
• Модель одинаково работает в новостройках и вторичке?
• Где больше промахов: в дешевых или дорогих объектах?
• Насколько точен прогноз по районам с низкой ликвидностью?
• Насколько честен прогнозный диапазон — совпадает ли эмпирическая частота попадания с заявленной вероятностью?
• Что происходит в периоды рыночного стресса — расширяется ли диапазон адекватно?

Признаки сильной модели

• стабильная ошибка на разных временных окнах — нет резких провалов;
• умеренное ухудшение качества на более сложных сегментах, а не катастрофическое;
• адекватный доверительный интервал: coverage близок к номинальному уровню, а ширина интервала не избыточна;
• отсутствие систематического переоценивания или недооценивания — ошибка распределена вокруг нуля;
• хорошая переносимость на новые периоды без необходимости частого переобучения.

Практический чек-лист для проверки

Перед запуском теста

• Проверить источник данных и их полноту — убедиться, что нет пропусков в ключевых полях.
• Удалить дубли и явные выбросы — одна и та же квартира может быть перепродана несколько раз, и если не учесть это, модель может запомнить объект.
• Зафиксировать дату отсечения между обучением и тестом — она должна быть жесткой.
• Убедиться, что нет признаков будущего — провести аудит всех переменных на предмет утечки.
• Разделить данные по времени, а не случайно.

Во время проверки

• Посчитать минимум 3–4 метрики, включая MAE, MAPE, RMSE и coverage.
• Сравнить несколько моделей на одинаковых данных — baseline и кандидатов.
• Проверить разные сегменты отдельно: по типу дома, району, ценовому диапазону.
• Прогнать скользящее окно — минимум 3–4 окна, чтобы увидеть динамику.
• Оценить стабильность прогнозного диапазона: не сужается ли он чрезмерно в спокойные периоды и не расширяется ли адекватно в кризис.

После проверки

• Разобрать ошибки по причинам — выбрать несколько десятков объектов с наибольшими ошибками и проанализировать, что пошло не так.
• Отдельно посмотреть проблемные сегменты — возможно, для них нужна отдельная модель или дополнительные признаки.
• Проверить, не завышает ли модель уверенность — сравнить калибровочную кривую с идеальной диагональю.
• Решить, где модель годится для автоматизации, а где нужен ручной контроль — например, в элитном сегменте или при оценке нестандартных объектов.

Почему исторические кейсы особенно важны в недвижимости

В недвижимости легко спутать красивую модель с полезной. Если данные неряшливые, а проверка слабая, можно получить впечатляющий отчет и слабый реальный результат. Историческая проверка снимает этот эффект: она показывает, как модель ведет себя в прошлом, а значит — насколько можно доверять ее прогнозу в похожих условиях. В NLP ошибка классификации может быть исправлена пользователем, в оценке квартиры ошибка в 10% — это сотни тысяч рублей. Поэтому мы относимся к верификации как к обязательному этапу, а не опциональному.

Для сервиса оценки квартир это критично. Пользователь не хочет видеть абстрактную «точность 92%». Ему нужен понятный диапазон, ясные риски и прогноз, который не разваливается при смене рынка. Именно поэтому исторические кейсы — не вспомогательный этап, а основа доверия к модели.

Вывод

Проверка AI-моделей на исторических данных цен — это не формальность, а единственный способ понять, насколько прогноз пригоден для практики. Сильная модель должна быть не просто точной в среднем, а устойчивой, калиброванной и честной в оценке неопределенности. Модель, прошедшая строгую историческую верификацию, — это не черный ящик, а инструмент с понятными границами применимости. В недвижимости это особенно важно: здесь ошибка в 5–10% может означать серьезную финансовую разницу, а значит, качество тестирования напрямую влияет на ценность самого сервиса.

FAQ

Можно ли оценивать модель только по средней ошибке?

Нет. Средняя ошибка полезна, но без проверки по сегментам, временным окнам и диапазонам она может скрыть серьезные провалы. Это как судить о здоровье пациента только по средней температуре по больнице. Нужны сегментные метрики и анализ хвостов распределения ошибок.

Какой способ проверки самый надежный?

Обычно лучше всего работает тестирование по времени с несколькими историческими окнами и отдельной проверкой на сложных периодах рынка. Комбинация out-of-time валидации и стресс-тестов дает наиболее полную картину устойчивости модели.

Почему случайное разбиение данных плохо подходит для недвижимости?

Потому что оно смешивает прошлое и будущее, из-за чего модель может получить завышенную оценку качества. Рынок имеет временную структуру: цены 2020 и 2023 годов могут отличаться кардинально из-за внешних факторов. Случайное разбиение перемешивает режимы, и модель учится на будущем, что недопустимо.

Что важнее: точка прогноза или диапазон?

Для практического использования важны оба. Точка нужна для ориентира, диапазон — для понимания риска и доверия к прогнозу. Точка без диапазона вводит в заблуждение, создавая иллюзию точности. Диапазон же показывает, где цена может оказаться с заданной вероятностью, и это гораздо честнее по отношению к пользователю.

Можно ли переносить результаты с одного города на другой?

Осторожно. Модель, хорошо работающая в одном городе, часто теряет точность в другом из-за разной структуры рынка, ликвидности и состава объектов. Перенос возможен только после проверки на локальных данных. Рынки разных городов могут иметь разную эластичность, и модель, обученная на Москве, может систематически ошибаться в регионе — потребуется адаптация или переобучение.