Электронная библиотека
ROC-анализ и калибровка скоринговых моделей на основе метрик точности второго порядка
Помазанов М.В.
|
|
||
1 |
Введение и постановка задачи | |
3 |
Рис. 1. CAP-криваяРис. 2. ROC-кривые двух моделей одинаковой мощности (Джини) | |
4 |
Левый и правый коэффициенты точности скоринговой модели | |
5 |
Численные формулы для левого и правого коэффициента точности | |
6 |
Калибровочная целево-нейтральная roc-кривая | |
7 |
Рис. 3. Целево-нейтральные ROC-кривые для различных параметровРис. 4. Зависимость LAR от AR для целево-нейтральной ROC-кривой | |
8 |
Триангуляция roc-кривой | |
9 |
Рис. 5. Калибровочные зависимости вероятности дефолта от доли всех объектов скоринга для различных показателей точности AR | |
10 |
Рис. 6. Треугольная ROC-криваяОбщая формула модели roc-кривой для скоринговых моделей правого или левого целевого предпочтения | |
11 |
Рис. 7. Метрики LAR и RAR для треугольных ROC-кривых | |
12 |
Рис. 8. Триангуляция ROC-кривой скоринговой модели | |
13 |
Рис. 9. Калибровка модельными ROC-кривыми реальных ROC-кривых двух скоринговых моделей | |
14 |
Рис. 10. Зависимость левой точности LAR и правой RAR от Джини AR для кривой ван дер Бюргта | |
15 |
Рис. 11. Преобразование XOY в X’OY’ (правая ROC-кривая) и далее в X’’OY’’ (левая ROC-кривая) | |
16 |
Калибровка скоринговых моделей на вероятность дефолта с учетом их целевого предпочтения | |
18 |
Рис. 12. Результат калибровки ROC-кривых | |
19 |
Заключение | |
20 |
ПРИЛОЖЕНИЕ 1. Пример калибровки модели ROC-кривой для двух реализованных на практике скоринговых моделей | |
21 |
ПРИЛОЖЕНИЕ 2. Таблицы параметров для целево-ориентированных скоринговых моделей | |
22 |
Литература |
1. Помазанов М.В. Концепция мотивации эффективного управления кредитными рисками // Финансы и кредит. — 2020. — №26(11). — С. 2567–2593. — Подробнее .
2. Arampatzis A., Robertson S.E., Kamps J. (2011). «Modeling score distributions in information retrieval». Information Retrieval Journal, Vol. 14(1), pp. 26–46. — DOI: 10.1007/s10791-010-9145-5.
3. Cortes C., Vapnik V. (1995). «Support-vector networks». Machine Learning, Vol. 20(3), pp. 273–297.
4. Egan J.P. (1975). Signal Detection Theory and ROC Analysis. New York: Academic Press.
5. Engelmann B., Hayden E., Tasche D. (2003). Measuring the Discriminative Power of Rating Systems. — Подробнее .
6. Hanley J.A., McNeil B.J. (1982). «The meaning and use of the area under a ROC curve». Radiology, Vol. 143, pp. 27–36.
7. Kanoulas E., Dai K., Pavlu V., Aslam J.A. (2010). «Score distribution models: assumptions, intuition, and robustness to score manipulation». SIGIR ‘10: Proceedings of the 33d International ACM SIGIR Conference on Research and Development in Information Retrieval. — https://doi. org/10.1145/1835449.1835491.
8. Miura K., Yamashita S., Eguchi S. (2010). «Area under the curve maximization method in credit scoring». The Journal of Risk Model Validation, Vol. 4(2), pp. 3–25. — DOI: 10.21314/JRMV.2010.057.
9. Satchel S., Xia W. (2008). «Analytic models of the ROC curve: applications to credit rating model validation». In: Christodoulakis G., Satchell S. (Eds.). The Analytics of Risk Model Validation. New York: Academic Press.
10. Sobehart J., Keenan S., Stein R. (2000). Benchmarking Quantitative Default Risk Models: a Validation Methodology. — Подробнее .
11. Swets J. (1988). «Measuring the accuracy of diagnostic systems». Science, Vol. 240, pp. 1285–1293.
12. Tasche D. (2009). Estimating Discriminatory Power and PD Curves When the Number of Defaults is Small. — Подробнее .
13. Van der Burgt M. (2008). «Calibrating low-default portfolios, using the cumulative accuracy profile». Journal of Risk Model Validation, Vol. 1(4), pp. 17–33. — DOI:10.21314/JRMV.2008.016.
14. Zou K.H., O’Malley A.J., Mauri L. (2007). «Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models». Circulation, Vol. 115, pp. 654–657. — DOI: 10.1161/circulationaha.105.594929.
Помазанов Михаил Вячеславовичк. ф.-м. н.
доцент
Доцент факультета экономических наук Школы финансов Национального исследовательского университета «Высшая школа экономики». г. Москва
