Analyzing the Role of Semantic Representations in the Era of Large Language Models

要約

従来、自然言語処理 (NLP) モデルは、多くの場合、意味表現などの言語専門知識によって作成された豊富な機能セットを使用します。
しかし、大規模言語モデル (LLM) の時代では、ますます多くのタスクが汎用のエンドツーエンドのシーケンス生成問題に変わります。
この論文では、LLM の時代における意味表現の役割は何か?という質問を調査します。
具体的には、5 つの多様な NLP タスクにわたる抽象意味表現 (AMR) の効果を調査します。
私たちは、AMRCoT と呼ばれる AMR 主導の思考連鎖プロンプト手法を提案しましたが、これは一般に効果があるというよりもパフォーマンスに悪影響を与えることがわかりました。
AMR がこれらのタスクに対して何を提供できるかを調査するために、一連の分析実験を実施します。
AMR がどの入力例に役立つか、どの入力例に悪影響を与えるかを予測するのは難しいことがわかりましたが、複数の単語の式、名前付きエンティティ、および LLM が AMR に関する推論をその推論に接続する必要がある最終推論ステップでエラーが発生する傾向があります。
予測。
LLM のセマンティック表現における今後の作業では、これらの領域に焦点を当てることをお勧めします。
私たちのコード: https://github.com/causalNLP/amr_llm。

要約(オリジナル)

Traditionally, natural language processing (NLP) models often use a rich set of features created by linguistic expertise, such as semantic representations. However, in the era of large language models (LLMs), more and more tasks are turned into generic, end-to-end sequence generation problems. In this paper, we investigate the question: what is the role of semantic representations in the era of LLMs? Specifically, we investigate the effect of Abstract Meaning Representation (AMR) across five diverse NLP tasks. We propose an AMR-driven chain-of-thought prompting method, which we call AMRCoT, and find that it generally hurts performance more than it helps. To investigate what AMR may have to offer on these tasks, we conduct a series of analysis experiments. We find that it is difficult to predict which input examples AMR may help or hurt on, but errors tend to arise with multi-word expressions, named entities, and in the final inference step where the LLM must connect its reasoning over the AMR to its prediction. We recommend focusing on these areas for future work in semantic representations for LLMs. Our code: https://github.com/causalNLP/amr_llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google