要約
自然言語推論 (NLI) のタスクは、(NL で表現された) 与えられた前提が与えられた NL 仮説を伴うかどうかを尋ねます。
NLI ベンチマークには含意に関する人間による評価が含まれていますが、これらの評価を決定する意味関係は形式化されていません。
基礎となる文のペアの関係を、解釈可能かつ堅牢な方法でより明確にすることはできるでしょうか?
文脈化された埋め込みと意味グラフ (抽象意味表現) のセットを含む、前提と仮説を表す意味構造を比較し、解釈可能なメトリクスを利用して、仮説が前提の意味論的下部構造であるかどうかを測定します。
3 つの英語ベンチマークに対する私たちの評価では、文脈化された埋め込みとセマンティック グラフの両方に価値があることがわかりました。
さらに、それらは相補的な信号を提供し、ハイブリッド モデルで一緒に活用できます。
要約(オリジナル)
The task of natural language inference (NLI) asks whether a given premise (expressed in NL) entails a given NL hypothesis. NLI benchmarks contain human ratings of entailment, but the meaning relationships driving these ratings are not formalized. Can the underlying sentence pair relationships be made more explicit in an interpretable yet robust fashion? We compare semantic structures to represent premise and hypothesis, including sets of contextualized embeddings and semantic graphs (Abstract Meaning Representations), and measure whether the hypothesis is a semantic substructure of the premise, utilizing interpretable metrics. Our evaluation on three English benchmarks finds value in both contextualized embeddings and semantic graphs; moreover, they provide complementary signals, and can be leveraged together in a hybrid model.
arxiv情報
| 著者 | Juri Opitz,Shira Wein,Julius Steen,Anette Frank,Nathan Schneider |
| 発行日 | 2023-09-05 13:36:27+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google