Learning to Select from Multiple Options

要約

多くの NLP タスクは、分類タスク、多肢選択の質問応答など、一連のオプションからの選択問題とみなすことができます。テキスト含意 (TE) は、最先端の (SOTA) アプローチとして示されています。
それらの選択問題に対処するために。
TE は、入力テキストを前提 (P)、オプションを仮説 (H) として扱い、(P、H) をペアごとにモデル化することで選択問題を処理します。
2 つの制限: まず、ペアワイズ モデリングは他のオプションを認識しません。人間は競合する候補を比較することによって最適なオプションを決定することが多いため、直感的ではありません。
2 番目に、ペアワイズ TE の推論プロセスは、特にオプション空間が大きい場合に時間がかかります。
2 つの問題に対処するために、この研究ではまず、現在の (P, H) モデリングのコンテキストとして他の k オプションを追加することにより、コンテキスト化された TE モデル (Context-TE) を提案します。
Context-TE はさまざまなコンテキストを考慮するため、H に対するより信頼性の高い決定を学習できます。
次に、複数のオプションの決定を同時に学習する Parallel-TE を考案することで、Context-TE を高速化します。
Parallel-TE は、Context-TE と同等のパフォーマンスを維持しながら、推論速度を大幅に向上させます。
私たちの手法は、さまざまなサイズの選択肢を持つ典型的な選択問題である 3 つのタスク (超微細エンティティ タイピング、意図検出、および多肢選択 QA) で評価されます。
実験では、私たちのモデルが新しい SOTA パフォーマンスを確立することが示されました。
特に、Parallel-TE はペアワイズ TE よりも推論が k 倍高速です。
私たちのコードは https://github.com/jiangshdd/LearningToSelect で公開されています。

要約(オリジナル)

Many NLP tasks can be regarded as a selection problem from a set of options, such as classification tasks, multi-choice question answering, etc. Textual entailment (TE) has been shown as the state-of-the-art (SOTA) approach to dealing with those selection problems. TE treats input texts as premises (P), options as hypotheses (H), then handles the selection problem by modeling (P, H) pairwise. Two limitations: first, the pairwise modeling is unaware of other options, which is less intuitive since humans often determine the best options by comparing competing candidates; second, the inference process of pairwise TE is time-consuming, especially when the option space is large. To deal with the two issues, this work first proposes a contextualized TE model (Context-TE) by appending other k options as the context of the current (P, H) modeling. Context-TE is able to learn more reliable decision for the H since it considers various context. Second, we speed up Context-TE by coming up with Parallel-TE, which learns the decisions of multiple options simultaneously. Parallel-TE significantly improves the inference speed while keeping comparable performance with Context-TE. Our methods are evaluated on three tasks (ultra-fine entity typing, intent detection and multi-choice QA) that are typical selection problems with different sizes of options. Experiments show our models set new SOTA performance; particularly, Parallel-TE is faster than the pairwise TE by k times in inference. Our code is publicly available at https://github.com/jiangshdd/LearningToSelect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google