ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding

要約

ZeroSCROLLS は、長いテキストに対する自然言語理解のためのゼロショット ベンチマークです。これには、トレーニング データを含まず、テスト セットと小さな検証セットのみが含まれます。
SCROLLS ベンチマークから 6 つのタスクを適用し、肯定的なレビューの割合の集計など、2 つの新しい情報融合タスクを含む 4 つの新しいデータセットを追加します。
ZeroSCROLLS を使用して、オープンソースとクローズドの大規模言語モデルの両方の包括的な評価を実行し、Claude が ChatGPT を上回り、GPT-4 が最高の平均スコアを達成していることがわかりました。
ただし、モデルが単純なベースラインを通過するのに苦労する集計タスクなど、ZeroSCROLLS の複数の未解決の課題については、まだ改善の余地があります。
最先端の目標は常に動くものであるため、研究者を招待して、ライブの ZeroSCROLLS リーダーボードでアイデアを評価してもらいます。

要約(オリジナル)

We introduce ZeroSCROLLS, a zero-shot benchmark for natural language understanding over long texts, which contains only test and small validation sets, without training data. We adapt six tasks from the SCROLLS benchmark, and add four new datasets, including two novel information fusing tasks, such as aggregating the percentage of positive reviews. Using ZeroSCROLLS, we conduct a comprehensive evaluation of both open-source and closed large language models, finding that Claude outperforms ChatGPT, and that GPT-4 achieves the highest average score. However, there is still room for improvement on multiple open challenges in ZeroSCROLLS, such as aggregation tasks, where models struggle to pass the naive baseline. As the state of the art is a moving target, we invite researchers to evaluate their ideas on the live ZeroSCROLLS leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google