Conversational Financial Information Retrieval Model (ConFIRM)

要約

大規模言語モデル (LLM) の急激な成長に伴い、金融などの特殊なドメインでその新たな特性を活用することは検討に値します。
ただし、金融などの規制分野には特有の制約があり、ドメインに最適化されたフレームワークが必要です。
クエリ意図の分類と知識ベースのラベル付けに合わせて調整された LLM ベースの会話型金融情報検索モデルである ConFIRM を紹介します。
ConFIRM は 2 つのモジュールで構成されます: 1) 金融ドメイン固有の質問と回答のペアを合成する方法、および 2) クエリ分類タスク用のパラメーターの効率的な微調整アプローチの評価。
4,000 を超えるサンプルのデータセットを生成し、別のテスト セットで精度を評価します。
ConFIRM は、規制遵守に不可欠な 90% 以上の精度を達成しました。
ConFIRM は、財務ダイアログ システムの正確なクエリ意図を抽出するためのデータ効率の高いソリューションを提供します。

要約(オリジナル)

With the exponential growth in large language models (LLMs), leveraging their emergent properties for specialized domains like finance merits exploration. However, regulated fields such as finance pose unique constraints, requiring domain-optimized frameworks. We present ConFIRM, an LLM-based conversational financial information retrieval model tailored for query intent classification and knowledge base labeling. ConFIRM comprises two modules: 1) a method to synthesize finance domain-specific question-answer pairs, and 2) evaluation of parameter efficient fine-tuning approaches for the query classification task. We generate a dataset of over 4000 samples, assessing accuracy on a separate test set. ConFIRM achieved over 90% accuracy, essential for regulatory compliance. ConFIRM provides a data-efficient solution to extract precise query intent for financial dialog systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google