Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams

要約

タイトル：マルチモーダルディープラーニングを用いたテキストおよび数値データストリームの信用格付け予測

要約：

– 誰が信用格付けの重要な要素であるかを知ることはよりよい意思決定につながる。
– これまでの文献では主に構造化データに焦点が当てられており、非構造化またはマルチモーダルデータセットについての研究は少ない。
– 本論文では、さまざまなタイプの構造化および非構造化データセットを使用して、会社の信用格付けクラスの予測のためのディープラーニングモデルの融合のための効果的なアーキテクチャの分析を行う。
– これらのモデルでは、CNN、LSTM、GRU、およびBERTを含むさまざまなディープラーニングモデルの異なる融合戦略の組み合わせをテストした。
– 早期および中間融合を含むレベル、および連結とクロスアテンションを含む技法について、データ融合戦略を研究した。
– 我々の結果は、2つの融合戦略を持つCNNベースのマルチモーダルモデルが他のマルチモーダル技術よりも優れた結果を示したことを示している。
– さらに、単純なアーキテクチャと複雑なアーキテクチャを比較した結果、より洗練されたディープラーニングモデルが必ずしも最高のパフォーマンスを発揮するわけではないことがわかった。しかし、注目ベースのモデルが最高の結果を生み出している場合、クロスアテンションは融合戦略として必要であることがわかった。
– 最後に、短期、中期、長期のパフォーマンスについての格付け機関の比較により、Moody’sの信用格付けはStandard & Poor’sやFitch Ratingsのような他の機関よりも優れていることがわかった。

要約(オリジナル)

Knowing which factors are significant in credit rating assignment leads to better decision-making. However, the focus of the literature thus far has been mostly on structured data, and fewer studies have addressed unstructured or multi-modal datasets. In this paper, we present an analysis of the most effective architectures for the fusion of deep learning models for the prediction of company credit rating classes, by using structured and unstructured datasets of different types. In these models, we tested different combinations of fusion strategies with different deep learning models, including CNN, LSTM, GRU, and BERT. We studied data fusion strategies in terms of level (including early and intermediate fusion) and techniques (including concatenation and cross-attention). Our results show that a CNN-based multi-modal model with two fusion strategies outperformed other multi-modal techniques. In addition, by comparing simple architectures with more complex ones, we found that more sophisticated deep learning models do not necessarily produce the highest performance; however, if attention-based models are producing the best results, cross-attention is necessary as a fusion strategy. Finally, our comparison of rating agencies on short-, medium-, and long-term performance shows that Moody’s credit ratings outperform those of other agencies like Standard & Poor’s and Fitch Ratings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI