UDA: A Benchmark Suite for Retrieval Augmented Generation in Real-world Document Analysis

要約

検索拡張生成 (RAG) の使用により、外部データとの連携における大規模言語モデル (LLM) が改善されましたが、現実のシナリオでは重大な課題が存在します。
学術文献や金融の質問応答などの分野では、データが生のテキストや HTML または PDF 形式の表で見つかることがよくありますが、これらは長く、非常に構造化されていない場合があります。
このペーパーでは、2,965 の実際の文書と 29,590 の専門家による注釈付きの Q&A ペアを含む、非構造化文書分析 (UDA) というベンチマーク スイートを紹介します。
私たちは、ドキュメント分析のための一般的な LLM および RAG ベースのソリューションを再検討し、複数のドキュメント ドメインとさまざまなクエリ タイプにわたる設計の選択肢と回答の品質を評価します。
私たちの評価では興味深い結果が得られ、データの解析と取得の重要性が浮き彫りになりました。
私たちのベンチマークが光を当て、現実世界の文書分析アプリケーションにさらに役立つことを願っています。
ベンチマーク スイートとコードは、https://github.com/qinchuanhui/UDA-Benchmark にあります。

要約(オリジナル)

The use of Retrieval-Augmented Generation (RAG) has improved Large Language Models (LLMs) in collaborating with external data, yet significant challenges exist in real-world scenarios. In areas such as academic literature and finance question answering, data are often found in raw text and tables in HTML or PDF formats, which can be lengthy and highly unstructured. In this paper, we introduce a benchmark suite, namely Unstructured Document Analysis (UDA), that involves 2,965 real-world documents and 29,590 expert-annotated Q&A pairs. We revisit popular LLM- and RAG-based solutions for document analysis and evaluate the design choices and answer qualities across multiple document domains and diverse query types. Our evaluation yields interesting findings and highlights the importance of data parsing and retrieval. We hope our benchmark can shed light and better serve real-world document analysis applications. The benchmark suite and code can be found at https://github.com/qinchuanhui/UDA-Benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google