Measuring Consistency in Text-based Financial Forecasting Models

要約

財務予測は機械学習研究の重要かつ活発な分野であり、予測精度における最もささやかな利点でも大きな経済的利益に利用できるためです。
自然言語処理 (NLP) の最近の進歩により、上場企業の収益報告書などのテキスト データを活用して、資産の収益率を予測する機会がもたらされています。
ただし、このようなデリケートなタスクを扱う場合、モデルの一貫性、つまり入力の意味を保持する変更に対するモデルの不変性は、ユーザーの信頼を構築するために重要な特性です。
それにもかかわらず、現在の財務予測方法は一貫性を考慮していません。
この問題に対処するために、財務テキストの論理的一貫性を評価する評価ツールである FinTrust を提案します。
FinTrust を使用して、財務予測のための最先端の NLP モデルの一貫性が低いことを示します。
意味を保持する変更によって引き起こされるパフォーマンスの低下に関する私たちの分析は、現在のテキストベースの方法が市場情報を確実に予測するのには適していないことを示唆しています。
すべてのリソースは GitHub で入手できます。

要約(オリジナル)

Financial forecasting has been an important and active area of machine learning research, as even the most modest advantage in predictive accuracy can be parlayed into significant financial gains. Recent advances in natural language processing (NLP) bring the opportunity to leverage textual data, such as earnings reports of publicly traded companies, to predict the return rate for an asset. However, when dealing with such a sensitive task, the consistency of models — their invariance under meaning-preserving alternations in input — is a crucial property for building user trust. Despite this, current financial forecasting methods do not consider consistency. To address this problem, we propose FinTrust, an evaluation tool that assesses logical consistency in financial text. Using FinTrust, we show that the consistency of state-of-the-art NLP models for financial forecasting is poor. Our analysis of the performance degradation caused by meaning-preserving alternations suggests that current text-based methods are not suitable for robustly predicting market information. All resources are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google