Методы верификации рейтинговых систем

10.12.2013

Методы верификации рейтинговых систем

Опубликовано в журнале "Финансовый менеджмент" №6 год - 2008

Парасюта К.Н.,
начальник отдела рисков
финансовых институтов,
Внешэкономбанк

К настоящему времени известно множество подходов к построению рейтинговых систем, применяемых к оценке качества активов банка (корпоративные, суверенные и банковские требования в терминах стандарта Basel II). Практически каждый крупный и средний банк имеет свою  внутреннюю «секретную» методологию, представляющую собой некий набор классификационных правил и алгоритмов, упорядочивающих и регламентирующих работу риск-менеджера. Основываясь на практическом опыте, данная методология в большинстве своем представляет ту или иную комбинацию следующих подходов:

- экспертный;
- подход, основанный на использовании эконометрических моделей;
- подход, использующий в качестве бенчмарка работу рейтинговых агентств;
- подход, использующий информацию фондового рынка.

После проведения этапа анализа и оценки контрагент (актив) банка классифицируется в соответствии с внутренней шкалой, далее делаются выводы в соответствии с целями анализа. Как правило, шкала, используемая в методологии рейтинговой классификации, имеет минимум три деления — «хороший», «средний», «плохой». Такую шкалу легко применить ко многим нормативно-регулирующим документам Банка России, например к требованиям по резервам, и именно такую шкалу с точностью до названия и применяют в рейтинговой оценке большинство средних и ряд крупных игроков. Естественно полагать, что системы риск-менеджмента в этих кредитных организациях находятся в зачаточном состоянии и носят декларативный характер.

Согласно требованиям стандарта Basel II, требования банка должны рационально распределяться по классам (категориям) рейтингов без чрезмерной концентрации как по шкале рейтинга заемщика, так и по шкале рейтинга инструментов. Для достижения этой цели банк должен иметь как минимум семь категорий рейтинга для заемщиков, которые не подверглись дефолту, и одну для заемщиков в дефолте. Рейтинг контрагента определяется как оценка его риска на основе конкретных и четких рейтинговых критериев, из которых выводятся оценки PD (Probability of Default — вероятность дефолта).

Интуитивно понятно, что чем более дифференцирована рейтинговая шкала, тем больше возможностей имеет риск-менеджер в процессе классификации банковских активов. С другой стороны, бизнес-подразделения могут получить обоснованную гибкость условий продукта и взаимоотношений с контрагентом (ценообразование, срочность, обеспечение, резервирование и др.) в зависи мости от полученного им рейтинга.

Естественно, что при таком промышленном использовании рейтинговой шкалы на первый план выходят две ее основные характеристики — предсказательная сила и стабильность.

Предсказательная сила, согласно большинству источников, есть способность рейтинговой системы классифицировать дефолтных контрагентов. Общепринятыми подходами практики оценки предсказательной силы являются Cumulative Accuracy Profile(1) (CAP) и Receiver Operating Characteristic(2) (ROC). В приведенных ниже подходах моделью называется гипотетическая рейтинговая система, совершенной моделью — идеальная рейтинговая система, произвольной моделью — рейтинговая система, работающая по аналогу «бросание монетки».

CUMULATIVE ACCURACY PROFILE (CAP)
CAP-кривая, известная также как кривая Джинни(3), представляет собой кривую, построенную в осях долей наблюдений (ось абсцисс) и долей дефолтов по наблюдениям (ось ординат). Наблюдения перед построением упорядочиваются по убыванию PD (вероятности дефолта) контрагентов. Наиболее важной характеристикой в данном подходе является CAP-индекс — уровень точности (или индекс Джинни). Графически метод представлен следующим образом:

 

(1) Дословный перевод (авт.) – «контур кумулятивной точности».
(2) Дословный перевод (авт.) – рабочая характеристика receiver.
(3) Идея метода заимствована у известного экономиста Джинни.

 

Как видно из рисунка, совершенная модель довольно быстро достигает 1,  т. е. проходит все дефолты. Произвольная модель равноудалена от обеих осей.

Искомая модель должна работать более точно, чем «бросание монетки», поэтому ее CAP-кривая должна проходить выше, чем у произвольной модели. Пусть aсов — площадь между CAP-кривыми совершенной и произвольной моделей, а — между Моделью соответственно, тогда искомый индекс точности (индекс Джинни) определяется как aм /aсов. Максимум данного соотношения — 1 достигается, в случае, если модель является совершенной моделью. Соответ ственно положительные ненулевые значения индекса Джинни есть обоснование, что модель работает лучше, чем «бросание монетки».

RECEIVER OPERATING CHARACTERISTIC (ROC)
Положим, что в контрольной выборке (выборка наблюдений, на которой тестируется предсказательная сила модели) мы произвели разбиение на «устойчивых» и «неустойчивых» контрагентов, выбрав пороговое значение вероятности дефолта PD0. Для модели будем иметь следующую ситуацию:

В совершенной модели распределения частот дефолтных и недефолтных банков не пересекаются. Приведенный рисунок будет характерен для практически работающих моделей. Определим два соотношения: 1 – отношение числа дефолтных банков, правильно предсказанных моделью, для порогового значения вероятности дефолта H(PD0) к общему количеству дефолтов ND – H(PD0) = — отношение числа ложных дефолтов F(PD0), предсказанных моделью, к общему количеству недефолтных банков NND – FAR(PD0) =  Для всех значений PDe[0,1] вычисляются значения FAR(PD) и H(PD).

ROC-кривая строится в осях значений данных величин:

Теоретически мы можем вычислить континуум пар FAR(PD) и H(PD), однако для практических целей ограничимся их конечным разумным набором. Искомая кривая будет получена линейной интерполяцией данного множества точек. Точки (0,0) и точки (1,1) содержатся в любой ROC-кривой, поскольку для PD = 0 FAR(PD) = H(PD) = 0 и для PD = 1 имеем F( PD) = N(PD) = 1.

Чем больше площадь под искомой ROC-кривой Модели, тем лучше модель рейтинговой оценки. Обозначив данную площадь за A, имеем:

Для произвольной модели площадь A будет равна 0,5 (ROC-кривая равноудалена от осей). Для совершенной модели A = 1. Для практических исследований значения А будут лежать между 0,5 и 1.

Не менее важной характеристикой рейтинговой системы, чем предсказательная сила, является устойчивость рейтингов, т. е. сохранение рейтинговой оценки большинством контрагентов данного рейтинга в среднесрочной перспективе. В самом деле, ценность рейтинговой системы невелика, если сегодняшние качественные результаты кардинально изменятся через небольшой временной интервал.

Традиционным инструментом анализа стабильности рейтинговой оценки является матрица миграций рейтингов. Методология ее построения довольно проста — для каждой рейтинговой оценки (по строкам) на начало периода записываем количество банков, имеющих рейтинговую оценку на конец периода (по столбцам). Затем делим элементы каждой строки (рейтинга) на общее количество контрагентов, имеющих данный рейтинг на начало периода. Таким образом, в ячейках матрицы будут отражены частоты изменения рейтингов контрагентов в течение рассматриваемого периода. На практике рейтинговая система может быть признана стабильной, если ее диагональные элементы превосходят 50% на интервале один год. То есть более половины контрагентов сохранят свои рейтинги в течение года. Например, у международных рейтинговых агентств средняя частота сохранения кредитного рейтинга на интервале год, как правило, превосходит 70%.

Приведенные методы оценки предсказательной силы и устойчивости являются качественным инструментом обоснования использования банком системы рейтинговой оценки к классификации контрагентов. Кроме того, данный инструментарий естественно применять в процедурах бэктестинга.

Литература
1. Bernd Engelmann, Evelyn Hayden, Dirk Tasche. Measuring the Discriminative Power of Rating Systems, Deutsche Bundesbank, Discussion paper Series 2: Banking and Financial Supervision. 2003. — № 1.
2. Международная конвергенция измерения капитала и стандартов капитала: новые подходы, июнь 2004, Банк международных расчетов (текст стандарта Базель-2 в переводе Банка России).
3. Studies on the Validation of Internal Rating Systems. Basel Committee on Banking Supervision. Working Paper. 2006. — № 14.

Также по этой теме:





Ранее просмотренные страницы