Promptly Predicting Structures: The Return of Inference

要約

プロンプトベースの手法は、ゼロショットおよび少数ショットのラベル予測子を構築するために、NLP 全体で広く使用されてきました。
多くの NLP タスクは自然に構造化されています。つまり、その出力は相互に制約する複数のラベルで構成されています。
このようなタスクでデータに注釈を付けるのは面倒な場合があります。
プロンプトベースのパラダイムの約束は、そのような構造化された出力にも拡張できるでしょうか?
この論文では、ゼロショットおよび少数ショットの言語構造予測子を構築するためのフレームワークを紹介します。
私たちの重要な洞察は、構造的制約とそこから導出される組み合わせ推論を使用して、大規模な言語モデルによって予測される一貫性のない構造を除外できるということです。
このフレームワークを 2 つの構造化予測タスクと 5 つのデータセットでインスタンス化しました。
すべてのケースにおいて、一貫性を強制すると、構造的に有効な出力が構築されるだけでなく、制約のないバリアントよりもパフォーマンスが向上することが、結果からわかります。

要約(オリジナル)

Prompt-based methods have been used extensively across NLP to build zero- and few-shot label predictors. Many NLP tasks are naturally structured: that is, their outputs consist of multiple labels which constrain each other. Annotating data for such tasks can be cumbersome. Can the promise of the prompt-based paradigm be extended to such structured outputs? In this paper, we present a framework for constructing zero- and few-shot linguistic structure predictors. Our key insight is that we can use structural constraints — and combinatorial inference derived from them — to filter out inconsistent structures predicted by large language models. We instantiated this framework on two structured prediction tasks, and five datasets. Across all cases, our results show that enforcing consistency not only constructs structurally valid outputs, but also improves performance over the unconstrained variants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google