FMDLlama: Financial Misinformation Detection based on Large Language Models

要約

ソーシャルメディアの出現により、誤情報の拡散が容易になった。金融の領域では、情報の正確性が金融市場の様々な局面において極めて重要であるため、金融誤報検出（FMD）は対処すべき喫緊の課題となっている。大規模言語モデル(LLM)は様々な分野で優れた性能を発揮している。しかし、現在の研究はほとんどが伝統的な手法に頼っており、FMD分野でのLLMの応用は検討されていない。その主な理由は、FMDの命令チューニングデータセットと評価ベンチマークが不足していることである。本論文では、Llama3.1の命令データによるファインチューニング、LLMの命令チューニングをサポートする初のマルチタスクFMD命令データセット(FMDID)、LLMのFMD能力をテストするための分類と説明生成タスクを含む包括的なFMD評価ベンチマーク(FMD-B)に基づいて、FMDタスクのための初のオープンソース命令追従型LLMであるFMDLlamaを提案する。FMD-B上で、我々のモデルを様々なLLMと比較した結果、我々のモデルは他のオープンソースLLMやOpenAIの製品よりも優れていた。このプロジェクトはhttps://github.com/lzw108/FMD。

要約(オリジナル)

The emergence of social media has made the spread of misinformation easier. In the financial domain, the accuracy of information is crucial for various aspects of financial market, which has made financial misinformation detection (FMD) an urgent problem that needs to be addressed. Large language models (LLMs) have demonstrated outstanding performance in various fields. However, current studies mostly rely on traditional methods and have not explored the application of LLMs in the field of FMD. The main reason is the lack of FMD instruction tuning datasets and evaluation benchmarks. In this paper, we propose FMDLlama, the first open-sourced instruction-following LLMs for FMD task based on fine-tuning Llama3.1 with instruction data, the first multi-task FMD instruction dataset (FMDID) to support LLM instruction tuning, and a comprehensive FMD evaluation benchmark (FMD-B) with classification and explanation generation tasks to test the FMD ability of LLMs. We compare our models with a variety of LLMs on FMD-B, where our model outperforms other open-sourced LLMs as well as OpenAI’s products. This project is available at https://github.com/lzw108/FMD.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL