FinTruthQA: A Benchmark Dataset for Evaluating the Quality of Financial Information Disclosure

要約

正確で透明な財務情報の開示は、会計と資金調達に不可欠であり、信頼を促進し、経済発展を促進する情報に基づいた投資決定を可能にします。
多くの情報開示プラットフォームの中で、中国の証券取引所の投資家インタラクティブプラットフォームは、上場企業がオンラインの質疑応答（Q＆A）形式を通じて投資家に関心のある情報を開示するための斬新でインタラクティブな方法を提供します。
ただし、上場企業は、実質的な情報が限られているか、実質的な情報がない場合に質問に対応することが一般的であり、大量のQ＆Aペアに関する財務情報の開示の質を自動的に評価することは困難です。
この研究では、AIと金融の専門家の学際的なチームは、FintruthQAを提案しました。FintruthQAは、財務Q＆Aデータにおける情報開示の自動品質評価のための高度な自然言語処理（NLP）技術を評価するために設計されたベンチマークです。
6,000の実世界の財務Q＆Aエントリで構成され、各Q＆Aは4つの主要な評価基準に基づいて手動で注釈が付けられました。
大規模な言語モデル（LLMS）を含む、FintruthqaのさまざまなNLP技術をベンチマークしました。
実験では、既存のNLPモデルは、質問の識別と質問関連のタスクに対して強い予測能力を持っているが、回答の読みやすさと回答の関連性タスクの最適ではないことを示しました。
このベンチマークを確立することにより、情報開示の自動評価のための堅牢な基盤を提供し、財務開示慣行における透明性、公平性、投資家保護を促進することにより、AIを社会的利益のために活用する方法を実証します。
FintruthQAは、監査人、規制当局、および金融アナリストが、リアルタイムの監視とデータ駆動型の意思決定のために、また会計と金融の高度な研究の研究者が使用することができ、最終的に金融市場におけるより大きな信頼と効率を促進できます。

要約(オリジナル)

Accurate and transparent financial information disclosure is essential in accounting and finance, fostering trust and enabling informed investment decisions that drive economic development. Among many information disclosure platforms, the Chinese stock exchanges’ investor interactive platform provides a novel and interactive way for listed firms to disclose information of interest to investors through an online question-and-answer (Q&A) format. However, it is common for listed firms to respond to questions with limited or no substantive information, and automatically evaluating the quality of financial information disclosure on large amounts of Q&A pairs is challenging. In this study, our interdisciplinary team of AI and finance professionals proposed FinTruthQA, a benchmark designed to evaluate advanced natural language processing (NLP) techniques for the automatic quality assessment of information disclosure in financial Q&A data. It comprises 6,000 real-world financial Q&A entries and each Q&A was manually annotated based on four key evaluation criteria. We benchmarked various NLP techniques on FinTruthQA, including large language models(LLMs). Experiments showed that existing NLP models have strong predictive ability for question identification and question relevance tasks, but are suboptimal for answer readability and answer relevance tasks. By establishing this benchmark, we provide a robust foundation for the automatic evaluation of information disclosure, demonstrating how AI can be leveraged for social good by promoting transparency, fairness, and investor protection in financial disclosure practices. FinTruthQA can be used by auditors, regulators, and financial analysts for real-time monitoring and data-driven decision-making, as well as by researchers for advanced studies in accounting and finance, ultimately fostering greater trust and efficiency in the financial markets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google