MDCR: A Dataset for Multi-Document Conditional Reasoning

要約

現実生活で同じ質問がさまざまな個人に投げかけられても、その人固有の状況に応じて異なる答えが得られる可能性があります。
たとえば、学生が奨学金を受ける資格があるかどうかは、専攻や必要な学位などの資格条件によって異なります。
ConditionalQA は、言及されていない条件を考慮して、文書を読み、資格に関する質問に答えるモデルの能力を評価するために提案されました。
ただし、これは単一の文書に関する質問に限定されており、文書間の推論や最適化が必要となる可能性があるより困難なケース、たとえば「達成可能な奨学金の最大数はいくらですか?」などは無視されています。
複数の文書にわたるこのような質問は、より多くのコンテキストを理解する必要があるため、さらに困難になるだけでなく、モデルは (1) 言及されていない条件の考えられるすべての組み合わせを探索し、(2) 文書間の条件間の関係を理解し​​、推論する必要があるためです。
最適な結果。
このような質問に答えるモデルの能力を評価するために、現実世界の課題を反映し、最適化が必要な複雑な条件付き推論の新しいテストベッドとして機能する新しいデータセット MDCR を提案します。
最新の LLM を使用してこのデータセットを評価し、このタスクを解決する際の LLM の限界を示します。
このデータセットは、未知の条件による最適化の質問に答える将来の研究を促進すると信じています。

要約(オリジナル)

The same real-life questions posed to different individuals may lead to different answers based on their unique situations. For instance, whether a student is eligible for a scholarship depends on eligibility conditions, such as major or degree required. ConditionalQA was proposed to evaluate models’ capability of reading a document and answering eligibility questions, considering unmentioned conditions. However, it is limited to questions on single documents, neglecting harder cases that may require cross-document reasoning and optimization, for example, ‘What is the maximum number of scholarships attainable?’ Such questions over multiple documents are not only more challenging due to more context having to understand, but also because the model has to (1) explore all possible combinations of unmentioned conditions and (2) understand the relationship between conditions across documents, to reason about the optimal outcome. To evaluate models’ capability of answering such questions, we propose a new dataset MDCR, which can reflect real-world challenges and serve as a new test bed for complex conditional reasoning that requires optimization. We evaluate this dataset using the most recent LLMs and demonstrate their limitations in solving this task. We believe this dataset will facilitate future research in answering optimization questions with unknown conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google