It Is Not About What You Say, It Is About How You Say It: A Surprisingly Simple Approach for Improving Reading Comprehension

要約

自然言語処理は、過去 10 年間で急速な進歩を遂げてきました。
開発のスピードが速いため、一部のプラクティスは適切な評価なしに確立されてしまいます。
そのようなケースの 1 つを考慮し、読解に焦点を当てて、最初の研究質問をします。1) 入力の順序、つまり質問とコンテキストはモデルのパフォーマンスにどのような影響を与えるか?
さらに、最近の入力強調の進歩を考慮して、次の 2 番目の研究質問をします。2) 質問、コンテキスト、またはその両方を強調するとパフォーマンスが向上しますか?
3 つのデータセットにわたる 9 つの大規模な言語モデルを実験したところ、質問の前にコンテキストを提示するとモデルのパフォーマンスが向上し、精度が最大 $31\%$ 向上することがわかりました。
さらに、コンテキストを強調すると、質問を強調するよりも優れた結果が得られます。一般に、入力の一部を強調することは、モデルが答えるためのパラメトリック知識を欠いている質問に対処する場合に特に効果的です。
プロンプトベースとアテンションベースの両方の強調方法を試してみたところ、最良の方法は驚くほど単純であることがわかりました。この方法では、入力にいくつかのトークンを連結するだけで済み、精度が最大 $36\%$ 向上し、より小さなサイズでも可能になります。
大幅に大型のモデルよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Natural language processing has seen rapid progress over the past decade. Due to the speed of developments, some practices get established without proper evaluation. Considering one such case and focusing on reading comprehension, we ask our first research question: 1) How does the order of inputs — i.e., question and context — affect model performance? Additionally, given recent advancements in input emphasis, we ask a second research question: 2) Does emphasizing either the question, the context, or both enhance performance? Experimenting with 9 large language models across 3 datasets, we find that presenting the context before the question improves model performance, with an accuracy increase of up to $31\%$. Furthermore, emphasizing the context yields superior results compared to question emphasis, and in general, emphasizing parts of the input is particularly effective for addressing questions that models lack the parametric knowledge to answer. Experimenting with both prompt-based and attention-based emphasis methods, we additionally find that the best method is surprisingly simple: it only requires concatenating a few tokens to the input and results in an accuracy improvement of up to $36\%$, allowing smaller models to outperform their significantly larger counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google