Roc-анализ и калибровка скоринговых моделей на основе метрик точности второго порядка

Помазанов Михаил Вячеславович


	1		Введение и постановка задачи
	3		Рис. 1. CAP-кривая Рис. 2. ROC-кривые двух моделей одинаковой мощности (Джини)
	4		Левый и правый коэффициенты точности скоринговой модели
	5		Численные формулы для левого и правого коэффициента точности
	6		Калибровочная целево-нейтральная roc-кривая
	7		Рис. 3. Целево-нейтральные ROC-кривые для различных параметров Рис. 4. Зависимость LAR от AR для целево-нейтральной ROC-кривой
	8		Триангуляция roc-кривой
	9		Рис. 5. Калибровочные зависимости вероятности дефолта от доли всех объектов скоринга для различных показателей точности AR
	10		Рис. 6. Треугольная ROC-кривая Общая формула модели roc-кривой для скоринговых моделей правого или левого целевого предпочтения
	11		Рис. 7. Метрики LAR и RAR для треугольных ROC-кривых
	12		Рис. 8. Триангуляция ROC-кривой скоринговой модели
	13		Рис. 9. Калибровка модельными ROC-кривыми реальных ROC-кривых двух скоринговых моделей
	14		Рис. 10. Зависимость левой точности LAR и правой RAR от Джини AR для кривой ван дер Бюргта
	15		Рис. 11. Преобразование XOY в X’OY’ (правая ROC-кривая) и далее в X’’OY’’ (левая ROC-кривая)
	16		Калибровка скоринговых моделей на вероятность дефолта с учетом их целевого предпочтения
	18		Рис. 12. Результат калибровки ROC-кривых
	19		Заключение
	20		ПРИЛОЖЕНИЕ 1. Пример калибровки модели ROC-кривой для двух реализованных на практике скоринговых моделей
	21		ПРИЛОЖЕНИЕ 2. Таблицы параметров для целево-ориентированных скоринговых моделей
	22		Литература

Ключевые слова: скоринговая модель, рейтинг, калибровка, вероятность дефолта, ROC-кривая, индекс Джини, прогнозная сила, валидация

Аннотация

В статье представлены новые метрики точности скоринговых моделей второго порядка, которые показывают целевое предпочтение скоринга: диагностировать «хорошие» объекты (заемщиков) или выделять «плохие» при неизменной прогнозной силе, определяемой общепринятой метрикой первого порядка — индексом Джини.

Журнал: «Управление корпоративными финансами» — №2, 2022 (© Издательский дом Гребенников)

Объем в страницах: 22

Библиографическая ссылка: печать / интернет

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.

1. Помазанов М.В. Концепция мотивации эффективного управления кредитными рисками // Финансы и кредит. — 2020. — №26(11). — С. 2567–2593. — Подробнее .

2. Arampatzis A., Robertson S.E., Kamps J. (2011). «Modeling score distributions in information retrieval». Information Retrieval Journal, Vol. 14(1), pp. 26–46. — DOI: 10.1007/s10791-010-9145-5.

3. Cortes C., Vapnik V. (1995). «Support-vector networks». Machine Learning, Vol. 20(3), pp. 273–297.

4. Egan J.P. (1975). Signal Detection Theory and ROC Analysis. New York: Academic Press.

5. Engelmann B., Hayden E., Tasche D. (2003). Measuring the Discriminative Power of Rating Systems. — Подробнее .

6. Hanley J.A., McNeil B.J. (1982). «The meaning and use of the area under a ROC curve». Radiology, Vol. 143, pp. 27–36.

7. Kanoulas E., Dai K., Pavlu V., Aslam J.A. (2010). «Score distribution models: assumptions, intuition, and robustness to score manipulation». SIGIR ‘10: Proceedings of the 33d International ACM SIGIR Conference on Research and Development in Information Retrieval. — https://doi. org/10.1145/1835449.1835491.

8. Miura K., Yamashita S., Eguchi S. (2010). «Area under the curve maximization method in credit scoring». The Journal of Risk Model Validation, Vol. 4(2), pp. 3–25. — DOI: 10.21314/JRMV.2010.057.

9. Satchel S., Xia W. (2008). «Analytic models of the ROC curve: applications to credit rating model validation». In: Christodoulakis G., Satchell S. (Eds.). The Analytics of Risk Model Validation. New York: Academic Press.

10. Sobehart J., Keenan S., Stein R. (2000). Benchmarking Quantitative Default Risk Models: a Validation Methodology. — Подробнее .

11. Swets J. (1988). «Measuring the accuracy of diagnostic systems». Science, Vol. 240, pp. 1285–1293.

12. Tasche D. (2009). Estimating Discriminatory Power and PD Curves When the Number of Defaults is Small. — Подробнее .

13. Van der Burgt M. (2008). «Calibrating low-default portfolios, using the cumulative accuracy profile». Journal of Risk Model Validation, Vol. 1(4), pp. 17–33. — DOI:10.21314/JRMV.2008.016.

14. Zou K.H., O’Malley A.J., Mauri L. (2007). «Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models». Cir-culation, Vol. 115, pp. 654–657. — DOI: 10.1161/circulationaha.105.594929.

Помазанов Михаил Вячеславович
к. ф.-м. н.
доцент

Доцент факультета экономических наук Школы финансов Национального исследовательского университета «Высшая школа экономики».

г. Москва

Автор более 35 научных работ, в том числе двух монографий.

Другие статьи автора 13

Электронная библиотека