Lexicalization Is All You Need: Examining the Impact of Lexical Knowledge in a Compositional QALD System

要約

この論文では、リンクトデータ上の質問応答 (QALD) に対する語彙化の影響を調査します。
SPARQL に関して自然言語の質問を解釈する際の重要な課題の 1 つは、語彙のギャップを埋めること、つまりクエリ内の単語を正しい語彙要素にマッピングすることにあることはよく知られています。
この論文では、語彙化、つまり特定の語彙に対する単語の潜在的な解釈に関する明示的な知識がタスクを大幅に軽減し、QA システムのパフォーマンスを向上させると主張します。
この目標に向けて、明示的な語彙知識を構成的な方法で活用して、SPARQL クエリの観点から質問の意味を推測できる構成的 QA システムを紹介します。
このようなシステムは、語彙知識があれば、現在の QA システムをはるかに上回るパフォーマンスを示し、QALD-9 の最高の QA システムと比較して、マイクロ $F_1$ スコアで最大 $35.8\%$ の増加を達成することを示します。
これは、明示的な語彙知識を含めることの重要性と可能性を示しています。
対照的に、LLM は語彙知識を活用する能力が限られており、語彙知識のないバージョンと比較してわずかな改善しかないことを示します。
これは、LLM には、構成的アプローチの重要な特徴である、質問の各部分の意味に基づいて質問を構成的に解釈する能力がないことを示しています。
総合すると、私たちの研究は、語彙化と構成性の重要性を強調し、QALD 研究の新たな道を示しています。

要約(オリジナル)

In this paper, we examine the impact of lexicalization on Question Answering over Linked Data (QALD). It is well known that one of the key challenges in interpreting natural language questions with respect to SPARQL lies in bridging the lexical gap, that is mapping the words in the query to the correct vocabulary elements. We argue in this paper that lexicalization, that is explicit knowledge about the potential interpretations of a word with respect to the given vocabulary, significantly eases the task and increases the performance of QA systems. Towards this goal, we present a compositional QA system that can leverage explicit lexical knowledge in a compositional manner to infer the meaning of a question in terms of a SPARQL query. We show that such a system, given lexical knowledge, has a performance well beyond current QA systems, achieving up to a $35.8\%$ increase in the micro $F_1$ score compared to the best QA system on QALD-9. This shows the importance and potential of including explicit lexical knowledge. In contrast, we show that LLMs have limited abilities to exploit lexical knowledge, with only marginal improvements compared to a version without lexical knowledge. This shows that LLMs have no ability to compositionally interpret a question on the basis of the meaning of its parts, a key feature of compositional approaches. Taken together, our work shows new avenues for QALD research, emphasizing the importance of lexicalization and compositionality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google