Analyzing Credit Risk Model Problems through NLP-Based Clustering and Machine Learning: Insights from Validation Reports

要約

本稿では、自然言語処理（NLP）を含むクラスタリング手法と機械学習アルゴリズムを使用して、検証レポートに含まれるテキスト情報を通じて信用リスクモデルで確認された問題を特定および分類することを検討する。2019年1月から2022年12月の間に大手国際銀行グループの検証チームによって提起された657の所見からなる独自のデータセットを使用する。所見は9つのバリデーション次元に分類され、バリデーターが専門知識を用いて重大度レベルを割り当てている。著者らは、TensorFlow Hubの「module_url」、SentenceTransformerライブラリの3つのモデル、すなわち「all-mpnet-base-v2」、「all-MiniLM-L6-v2」、および「paraphase-mpnet-base-v2」の4種類の事前学習済みモデルを使用して、発見物のタイトルと観察結果の埋め込み生成を行っています。本論文では、類似した特徴を持つ調査結果をグループ化する際に様々なクラスタリング手法を使用・比較し、各検証次元や重大度における共通の問題を特定することを可能にしました。研究の結果、クラスタリングは、信用リスクモデルの問題を60%以上の精度で特定・分類するための効果的なアプローチであることが示された。また、ロジスティック回帰やXGBoostなどの機械学習アルゴリズムを用いて、検証次元とその深刻度を予測し、XGBoostアルゴリズムでは80％の精度を達成しました。さらに、本研究では、検証の次元と重大度を予測する上位10語を特定した。全体として、本論文は、検証報告書のテキスト情報を分析するためのクラスタリングと機械学習の有用性を実証し、信用リスクモデルの開発と検証で遭遇する問題の種類についての洞察を提供することで貢献している。

要約(オリジナル)

This paper explores the use of clustering methods and machine learning algorithms, including Natural Language Processing (NLP), to identify and classify problems identified in credit risk models through textual information contained in validation reports. Using a unique dataset of 657 findings raised by validation teams in a large international banking group between January 2019 and December 2022. The findings are classified into nine validation dimensions and assigned a severity level by validators using their expert knowledge. The authors use embedding generation for the findings’ titles and observations using four different pre-trained models, including ‘module\_url’ from TensorFlow Hub and three models from the SentenceTransformer library, namely ‘all-mpnet-base-v2’, ‘all-MiniLM-L6-v2’, and ‘paraphrase-mpnet-base-v2’. The paper uses and compares various clustering methods in grouping findings with similar characteristics, enabling the identification of common problems within each validation dimension and severity. The results of the study show that clustering is an effective approach for identifying and classifying credit risk model problems with accuracy higher than 60\%. The authors also employ machine learning algorithms, including logistic regression and XGBoost, to predict the validation dimension and its severity, achieving an accuracy of 80\% for XGBoost algorithm. Furthermore, the study identifies the top 10 words that predict a validation dimension and severity. Overall, this paper makes a contribution by demonstrating the usefulness of clustering and machine learning for analyzing textual information in validation reports, and providing insights into the types of problems encountered in the development and validation of credit risk models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL