Multi-Modal Deep Learning for Credit Rating Prediction Using Text and Numerical Data Streams

要約

信用格付けの割り当てにおいてどの要素が重要であるかを知ることは、より良い意思決定につながります。
ただし、これまでの文献の焦点は主に構造化データであり、非構造化データセットやマルチモーダル データセットを扱った研究はほとんどありません。
この論文では、異なるタイプの構造化データセットと非構造化データセットを使用して、企業の信用格付けクラスを予測するための深層学習モデルを融合するための最も効果的なアーキテクチャの分析を紹介します。
これらのモデルでは、CNN、LSTM、GRU、BERT などのさまざまな深層学習モデルとの融合戦略のさまざまな組み合わせをテストしました。
私たちは、レベル (初期および中間の融合を含む) と技術 (連結とクロスアテンションを含む) の観点からデータ融合戦略を研究しました。
私たちの結果は、2 つの融合戦略を備えた CNN ベースのマルチモーダル モデルが他のマルチモーダル技術よりも優れていることを示しています。
さらに、単純なアーキテクチャとより複雑なアーキテクチャを比較することで、より洗練された深層学習モデルが必ずしも最高のパフォーマンスを生み出すわけではないことがわかりました。
ただし、注意ベースのモデルが最良の結果を生み出している場合は、融合戦略として相互注意が必要です。
最後に、短期、中期、長期のパフォーマンスに関する格付け会社の比較では、ムーディーズの信用格付けがスタンダード＆プアーズやフィッチ・レーティングスのような他の格付け会社の信用格付けを上回っていることが示されています。

要約(オリジナル)

Knowing which factors are significant in credit rating assignment leads to better decision-making. However, the focus of the literature thus far has been mostly on structured data, and fewer studies have addressed unstructured or multi-modal datasets. In this paper, we present an analysis of the most effective architectures for the fusion of deep learning models for the prediction of company credit rating classes, by using structured and unstructured datasets of different types. In these models, we tested different combinations of fusion strategies with different deep learning models, including CNN, LSTM, GRU, and BERT. We studied data fusion strategies in terms of level (including early and intermediate fusion) and techniques (including concatenation and cross-attention). Our results show that a CNN-based multi-modal model with two fusion strategies outperformed other multi-modal techniques. In addition, by comparing simple architectures with more complex ones, we found that more sophisticated deep learning models do not necessarily produce the highest performance; however, if attention-based models are producing the best results, cross-attention is necessary as a fusion strategy. Finally, our comparison of rating agencies on short-, medium-, and long-term performance shows that Moody’s credit ratings outperform those of other agencies like Standard & Poor’s and Fitch Ratings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google