Beyond Surface Similarity: Detecting Subtle Semantic Shifts in Financial Narratives

要約

このペーパーでは、金融ナラティブのペア間の微妙な意味の類似性を測定するように設計された金融ドメイン固有の NLP タスクである Financial-STS タスクを紹介します。
これらの説明は同じ会社の財務諸表に基づいていますが、前年比などの異なる期間に対応しています。
これらのペアのナラティブ間の微妙な意味の違いを測定することで、市場関係者は企業の財務および経営状況の時間の経過に伴う変化を測定できるようになり、これは財務上の意思決定にとって重要です。
既存の事前トレーニング済み埋め込みモデルと LLM 埋め込みでは、こうした微妙な金融物語の変化を識別するのが不十分であることがわかりました。
このギャップに対処するために、Financial-STS タスク用に特別に設計された LLM 拡張パイプラインを提案します。
人間によるアノテーションが付けられたデータセットの評価では、私たちが提案した手法が、古典的な STS タスクや汎用 LLM 埋め込みでトレーニングされた既存の手法よりも優れていることが実証されました。

要約(オリジナル)

In this paper, we introduce the Financial-STS task, a financial domain-specific NLP task designed to measure the nuanced semantic similarity between pairs of financial narratives. These narratives originate from the financial statements of the same company but correspond to different periods, such as year-over-year comparisons. Measuring the subtle semantic differences between these paired narratives enables market stakeholders to gauge changes over time in the company’s financial and operational situations, which is critical for financial decision-making. We find that existing pretrained embedding models and LLM embeddings fall short in discerning these subtle financial narrative shifts. To address this gap, we propose an LLM-augmented pipeline specifically designed for the Financial-STS task. Evaluation on a human-annotated dataset demonstrates that our proposed method outperforms existing methods trained on classic STS tasks and generic LLM embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google