Насколько широко риск-менеджеры могут использовать ChatGPT? Много говорится об ошибках самих генеративных нейросетей, о галлюцинациях искусственного интеллекта. И гораздо меньше внимания уделяется тому, кто находится по эту сторону экрана. Приведем наглядный пример — как ошибка пользователя (притом весьма квалифицированного в своей области) влияет на интерпретацию результатов работы ChatGPT в таком «чувствительном» для банковского бизнеса вопросе, как расчет вероятности дефолта. Статья опубликована также в ИД «Регламент» в журнале «Риск-менеджмент в КО» № 2/24.

Американская ассоциация риск-менеджеров GARP недавно опубликовала на своем сайте статью довольно известного рисковика Марко Фолпмерса[1] «Как генеративный искусственный интеллект изменит моделирование кредитных рисков»[2], в которой идет речь в том числе об опасности ChatGPT и иных подобных генеративных технологий.

В частности, Марко Фолпмерс поделился своим мнением о способности ChatGPT генерировать код. В качестве задачи он предложил искусственному интеллекту преобразовать вероятность дефолта (PD), рассчитанную по циклу (through-the-cycle, TTC), в вероятность дефолта, рассчитанную по времени (point-in-time, PIT). Актуальность этой задачи связана с тем, что базельские нормативы требуют одного варианта расчета вероятности дефолта, а МСФО в последних редакциях — другого.

Пример использования модели Васичека для определения PD

В асимптотической модели Васичека с одним фактором риска риск дефолта для однородного по риску портфеля делится на две части: систематический и специфический. Если риск конкретной организации можно смоделировать с помощью пробит- или логистической модели, используя относительно короткий исторический период по портфелю, то систематический риск обычно количественно оценивается и моделируется многофакторной моделью Васичека[3].

Пусть 𝑛 обозначает размер портфеля, а 𝑘 — количество дефолтов на годовом горизонте. Коэффициент дефолта портфеля задается следующим образом: 𝑟 = 𝑘/𝑛. Предположим, что количество дефолтов 𝑘 следует биномиальному распределению с учетом вероятности дефолта на уровне портфеля 𝑝(𝑠), диктуемой латентным фактором 𝑠 (учитывающим систематический риск). Величину 𝑝(𝑠) можно считать асимптотическим коэффициентом дефолта портфеля, когда его размер достаточно велик[4].

Профиль риска 𝑥 состоит из вектора текущих значений для заданного списка факторов риска, характерных для организации. Пусть 𝑝(𝑠, 𝑥) обозначает PD организации на годовом горизонте с учетом систематического риска 𝑠 и профиля риска 𝑥, а 𝐸(𝑝(𝑠, 𝑥)∣𝑥) — ожидаемое значение 𝑝(𝑠, 𝑥) с учетом профиля риска 𝑥.

Можно обозначить 𝑝(𝑠, 𝑥) как PIT PD, 𝐸(𝑝(𝑠, 𝑥)∣𝑥) — как TTC PD[5].

Пусть Φ обозначает кумулятивное распределение для стандартной нормальной переменной. Случайная величина 𝑦, 0 < 𝑦 < 1 считается распределением Васичека, если Ф–1(y) является нормальной величиной[6]. В асимптотической модели Васичека с одним фактором риска (ASRF) PIT PD для однородного по риску портфеля распадается на две части:

где 𝑤 и 𝑧 взаимно независимы;

𝑤 — систематический риск, зависящий от 𝑠;

𝑧 — специфический риск, зависящий от профиля риска 𝑥.

 

В рамках модели (1) систематический риск 𝑤 и TTC PD соответственно задаются следующим образом:

PIT PD субъекта определяется формулой:

Для моделирования PIT PD и TTC PD достаточно отдельно определить систематический риск 𝑝(𝑠) и специфический риск 𝑧, а затем аналитически агрегировать их.

Специфический риск 𝑧 в модели (1) может быть смоделирован с помощью пробит- или логистической модели, нацеленной на индикатор дефолта за относительно короткий исторический период по портфелю. На практике в такой модели используется перечень драйверов риска организации 𝑥, который калибруется до определенного уровня систематического риска 𝑠0. Таким образом, можно предположить, что 𝑝𝑚(𝑥) — это модель для 𝑝(𝑠0, 𝑥) с систематическим риском 𝑠0. Тогда специфический риск определяется формулой:

Б.Х. Янг предлагает следующую многофакторную модель Васичека для вероятности дефолта портфеля 𝑝(𝑠):

Здесь u1, u2, ..., uk определяют текущее кредитное качество портфеля, например текущий уровень дефолта, регион и отрасль, а s1, s2, ..., sm — внешние рыночные или макроэкономические переменные на временном горизонте.

Переменные u1, u2, ..., uk и s1, s2, ..., sm подвергаются трансформации с помощью Ф–1, когда это необходимо.

Спецификация модели (6) предназначена для стресс-тестирования. Для прогнозирования используются текущие значения s1, s2, ..., sm.

Латентный фактор s’ предназначен для динамического учета распространения дефолта и обратных эффектов. Он отражает все эффекты, не объясненные с помощью u1, u2, ..., uk и s1, s2, ..., sm, включая эффекты после момента 𝑡 и до конца временного горизонта.

«Казус Васичека»: как справился с задачей ChatGPT

Для решения поставленной задачи — преобразования TTC PD в PIT PD — ChatGPT не стал спонтанно рекомендовать формулу Васичека, но после того, как она была предложена пользователем, подтвердил правильность этой идеи и, по словам Марко Фолпмерса, «предоставил спецификацию формулы Васичека». Затем наш коллега попросил ChatGPT написать код на языке R, преобразующий TTC PD в PIT PD по формуле Васичека. ChatGPT выдал фрагмент, приведенный на рисунке.

Фрагмент кода, представленный как «преобразование Васичека»

Марко Фолпмерс отметил хорошее качество кода, наличие множества комментариев и адекватность ответа в целом. По его словам, ChatGPT «выразил требуемую формулу в функции, что является хорошей идеей», и «объяснил применение функции на примере». Но далее автор статьи переходит к теме галлюцинаций ИИ — ответов, которые либо не содержатся ни в одном источнике, либо просто не соответствуют истине. По мнению Марко Фолпмерса, галлюцинации ИИ несут в себе опасность, поскольку для их выявления от пользователя требуется опыт.

С нашей стороны хотелось бы добавить, что ИИ может быть опасен еще и тем, что подчеркивает неспособность или нежелание риск-менеджеров углубляться в тонкости кода.

Дело в том, что фрагмент кода, который опубликован в качестве демонстрации работы ChatGPT, не запускает процесс Васичека по переводу одного вида PD в другой, а представляет собой простое неэкспоненциальное сглаживание оценки PD по времени. ChatGPT написал код, который с помощью некоего коэффициента «лямбда» преобразовывает годовые значения, но это не является преобразованием Васичека.

На наш взгляд, упрощенный вариант формулы в R-скрипте Vasicek TTC to PIT может быть таким:

Итак, перед нами наглядный и довольно типичный пример работы генеративного ИИ — он выдает ложь за истину, снабжая ее правдивыми и корректными комментариями, что гораздо опаснее, чем простое «не знаю». А когда ничего не подозревающий пользователь сопровождает подобный код словами «я имплементировал такой-то алгоритм», то специалистам в данной области будет очевидно, что на самом деле имплементирован совсем другой алгоритм.

В чем реальная опасность ИИ

Напомним, что Марко Фолпмерс — топ-менеджер компании из тройки крупнейших консалтеров, у которых обширная практика как по базельским стандартам, так и в целом в сфере банковского риск-менеджмента. Но часто у специалистов просто нет времени научиться читать чужой код.

Попробуйте попросить ваших риск-менеджеров написать простую формулу из школьной или институтской программы — например, формулу среднего квадратичного отклонения. Или хотя бы подобрать с помощью формул Excel коэффициенты логистической регрессии. Да, некоторые рисковики с этим справятся. Некоторые — но не все.

Мы согласны с тем, что ИИ несет в себе определенную опасность. Но эта опасность связана исключительно с глубиной экспертизы пользователя. Принимая выдаваемые ИИ результаты за чистую монету — да и просто называя программное обеспечение «искусственным интеллектом», — человек рискует. Потому что, во-первых, это не интеллект, а очень сложные неинтерпретируемые алгоритмы, к тому же обученные на выборках, сравнимых с генеральной совокупностью знаний. А во-вторых — если и уходящее поколение риск-менеджеров не способно увидеть ошибку, то что говорить о будущем поколении, которое на таких генеративных инструментах будет строить весь бизнес? Поэтому призываем всех углублять знания в предметной («доменной») области.

 

[1] Доктор Марко Фолпмерс (FRM) — партнер по управлению финансовыми рисками компании Deloitte в Нидерландах.

[2] https://www.garp.org/risk-intelligence/credit/generative-ai-risk-090123

[3] См.: Yang B.H. Modeling Systematic Risk and Point-in-Time Probability of Default under the Vasicek Asymptotic Single Risk Factor Model Framework // MPRA, October 2014 (https://mpra.ub.uni-muenchen.de/59025/).

[4] Demey P., Jouanin J., Roget C, Roncalli T. Maximum likelihood estimate of default correlations // Risk, November 2004 (http://thierry-roncalli.com/download/risk-mledc.pdf).

[5] Carlehed M., Petrov A. A methodology for point-in-time-through-the-cycle probability of default in risk classification systems // Journal of Risk Model Validation. 2012. Vol. 6. No. 3. P. 3–25.

[6] Meyer C. Estimation of intra-sector asset correlation // The Journal of Risk Model Validation. 2009. Vol. 3. No. 3. P. 47–79.