A transformer-based model for default prediction in mid-cap corporate markets

要約

タイトル：中規模企業市場におけるデフォルト予測のためのトランスフォーマーベースモデル

要約：
– 米国の市場において、上場企業のうち時価総額が10億ドル以下の中規模企業に対して、債務不履行確率予測のためのトランスフォーマーベースモデルを提案。
– 30年にわたる大規模データを使用し、債務不履行確率の年限構造を中期的に予測するとともに、デフォルトリスクに最も貢献するデータソース（基本的な、マーケット、価格データなど）を理解することを目的としている。
– 従来の手法では、さまざまな時間枠のデータをまず集計し、クロスセクション機能に変換する必要があるが、本研究では、多ラベル時系列分類問題として問題を枠組み、トランスフォーマーモデルを適応し、クレジットリスクモデリングに応用している。
– また、モデルの予測をアテンションヒートマップによって解釈することができる。
– より高性能なモデルを実現するために、多ラベル分類に適したカスタム損失関数と、オールインプットデータを効率的に使用できる新しいマルチチャンネルアーキテクチャを提案している。
– 結果として、従来のモデルに比べてAUC（ROC曲線下の面積）が13％向上することを示し、さまざまなデータソースや時間の関係に対するShapley手法を使用した重要性ランキングを作成する方法も示している。

要約(オリジナル)

In this paper, we study mid-cap companies, i.e. publicly traded companies with less than US $10 billion in market capitalisation. Using a large dataset of US mid-cap companies observed over 30 years, we look to predict the default probability term structure over the medium term and understand which data sources (i.e. fundamental, market or pricing data) contribute most to the default risk. Whereas existing methods typically require that data from different time periods are first aggregated and turned into cross-sectional features, we frame the problem as a multi-label time-series classification problem. We adapt transformer models, a state-of-the-art deep learning model emanating from the natural language processing domain, to the credit risk modelling setting. We also interpret the predictions of these models using attention heat maps. To optimise the model further, we present a custom loss function for multi-label classification and a novel multi-channel architecture with differential training that gives the model the ability to use all input data efficiently. Our results show the proposed deep learning architecture’s superior performance, resulting in a 13% improvement in AUC (Area Under the receiver operating characteristic Curve) over traditional models. We also demonstrate how to produce an importance ranking for the different data sources and the temporal relationships using a Shapley approach specific to these models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI