ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models

要約

大規模言語モデル (LLM) に関する研究では、最近、長いドキュメント内の依存関係をより適切に捕捉するためにモデルのコンテキスト サイズを拡張することへの関心が高まっています。
長距離能力を評価するベンチマークが提案されていますが、既存の取り組みでは主に、現実世界のアプリケーションと必ずしも一致していない一般的なタスクが考慮されていました。
対照的に、私たちの研究は、実用的な会議アシスタントのシナリオに焦点を当てた、ロングコンテキスト LLM の新しいベンチマークを提案しています。
このシナリオでは、長いコンテキストは自動音声認識によって取得されたトランスクリプトで構成されており、そのようなデータに固有のノイズや口頭の性質により、LLM にとって特有の課題が生じます。
ELITR-Bench と名付けられた私たちのベンチマークは、既存の ELITR コーパスのトランスクリプトを、手動で作成された 271 の質問とその正確な回答で強化します。
ELITR-Bench で最近のロングコンテキスト LLM を使用した実験では、特に会話内で質問が連続して行われる場合に、オープンソース モデルと独自モデルの間のギャップが浮き彫りになりました。
また、クラウドソーシング調査からの洞察を含む、GPT-4 ベースの評価方法の徹底的な分析も提供します。
私たちの調査結果は、GPT-4 の評価スコアは人間の審査員の評価スコアと相関があるものの、3 つ以上のスコア レベルを区別する能力は限られている可能性があることを示唆しています。

要約(オリジナル)

Research on Large Language Models (LLMs) has recently witnessed an increasing interest in extending models’ context size to better capture dependencies within long documents. While benchmarks have been proposed to assess long-range abilities, existing efforts primarily considered generic tasks that are not necessarily aligned with real-world applications. In contrast, our work proposes a new benchmark for long-context LLMs focused on a practical meeting assistant scenario. In this scenario, the long contexts consist of transcripts obtained by automatic speech recognition, presenting unique challenges for LLMs due to the inherent noisiness and oral nature of such data. Our benchmark, named ELITR-Bench, augments the existing ELITR corpus’ transcripts with 271 manually crafted questions and their ground-truth answers. Our experiments with recent long-context LLMs on ELITR-Bench highlight a gap between open-source and proprietary models, especially when questions are asked sequentially within a conversation. We also provide a thorough analysis of our GPT-4-based evaluation method, encompassing insights from a crowdsourcing study. Our findings suggest that while GPT-4’s evaluation scores are correlated with human judges’, its ability to differentiate among more than three score levels may be limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google