AmbigDocs: Reasoning across Documents on Different Entities under the Same Name

要約

同じ名前を持つ異なるエンティティを区別するのは難しい場合があります。
紛らわしいエンティティへの言及を処理することは、言語モデル (LM) にとって重要なスキルです。
たとえば、「マイケル・ジョーダンはどこで教育を受けましたか?」という質問があったとします。
マイケル・ジョーダンという名前のさまざまな人物について論じた一連の文書がある場合、LM はエンティティへの言及を区別して、質問に対する一貫した答えを導き出すことができますか?
この機能をテストするために、新しいベンチマークである AmbigDocs を導入します。
Wikipedia の曖昧さ回避ページを活用することで、曖昧な名前を共有するさまざまなエンティティに属する一連の文書を特定します。
これらの文書から、曖昧な名前を含む質問とそれに対応する回答セットを生成します。
私たちの分析により、現在の最先端のモデルでは、曖昧な答えが得られたり、異なるエンティティに属する情報が誤って結合されたりすることが多いことが明らかになりました。
私たちは、4 つのタイプの不完全な回答を分類するオントロジーと、そのようなカテゴリーを識別するための自動評価指標を確立します。
私たちは、曖昧なエンティティを含む複数の文書にわたる推論に関する今後の作業の基礎を築きます。

要約(オリジナル)

Different entities with the same name can be difficult to distinguish. Handling confusing entity mentions is a crucial skill for language models (LMs). For example, given the question ‘Where was Michael Jordan educated?’ and a set of documents discussing different people named Michael Jordan, can LMs distinguish entity mentions to generate a cohesive answer to the question? To test this ability, we introduce a new benchmark, AmbigDocs. By leveraging Wikipedia’s disambiguation pages, we identify a set of documents, belonging to different entities who share an ambiguous name. From these documents, we generate questions containing an ambiguous name and their corresponding sets of answers. Our analysis reveals that current state-of-the-art models often yield ambiguous answers or incorrectly merge information belonging to different entities. We establish an ontology categorizing four types of incomplete answers and automatic evaluation metrics to identify such categories. We lay the foundation for future work on reasoning across multiple documents with ambiguous entities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google