A Structured Span Selector

要約

多くの自然言語処理タスク (共参照解決や意味論的役割のラベル付けなど) では、テキスト スパンを選択し、それらについて決定を下す必要があります。
このようなタスクに対する一般的なアプローチは、考えられるすべてのスパンにスコアを付け、タスク固有のダウンストリーム処理用のスパンを貪欲に選択することです。
ただし、このアプローチには、どの種類のスパンを選択する必要があるかについての帰納的なバイアス、たとえば、選択されたスパンが構文構成要素である傾向があるなどは組み込まれていません。
この論文では、このような問題に対して提供される部分的なスパンレベルの注釈の利用方法を学習する、新しい文法ベースの構造化スパン選択モデルを提案します。
以前のアプローチと比較して、私たちのアプローチはヒューリスティックな貪欲なスパン選択スキームを取り除き、最適なスパンのセットでダウンストリーム タスクをモデル化できるようにします。
共参照解決とセマンティック役割ラベル付けという 2 つの一般的なスパン予測タスクでモデルを評価します。
両方について経験的な改善を示します。

要約(オリジナル)

Many natural language processing tasks, e.g., coreference resolution and semantic role labeling, require selecting text spans and making decisions about them. A typical approach to such tasks is to score all possible spans and greedily select spans for task-specific downstream processing. This approach, however, does not incorporate any inductive bias about what sort of spans ought to be selected, e.g., that selected spans tend to be syntactic constituents. In this paper, we propose a novel grammar-based structured span selection model which learns to make use of the partial span-level annotation provided for such problems. Compared to previous approaches, our approach gets rid of the heuristic greedy span selection scheme, allowing us to model the downstream task on an optimal set of spans. We evaluate our model on two popular span prediction tasks: coreference resolution and semantic role labeling. We show empirical improvements on both.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google