Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL

要約

大規模言語モデル (LLM) は、言語理解を強化し、解釈可能性を高め、偏見を減らすために構造化されたセマンティクスを把握する上で重要な役割を果たします。
それにもかかわらず、LLM が構造化セマンティクスをどの程度把握できるかについては、現在も論争が続いています。
これを評価するために、構造化されたセマンティクスを抽出する LLM の能力を調査するための基本的なタスクとしてセマンティック ロール ラベリング (SRL) を使用することを提案します。
私たちの評価では、PromptSRL と呼ばれる少数ショット SRL パーサーの作成につながるプロンプト アプローチを採用しています。
PromptSRL を使用すると、LLM が自然言語を明示的な意味構造にマッピングできるようになり、LLM のプロパティに解釈可能なウィンドウが提供されます。
私たちは興味深い可能性を発見しました。LLM は確かにセマンティック構造を捕捉できますが、スケールアップは常に可能性を反映しているわけではありません。
さらに、LLM の制限は C 引数などで観察されます。最後に、LLM と訓練を受けていない人間の両方によってエラーが大幅に重複し、全エラーのほぼ 30% を占めていることを発見して驚きました。

要約(オリジナル)

Large Language Models (LLMs) play a crucial role in capturing structured semantics to enhance language understanding, improve interpretability, and reduce bias. Nevertheless, an ongoing controversy exists over the extent to which LLMs can grasp structured semantics. To assess this, we propose using Semantic Role Labeling (SRL) as a fundamental task to explore LLMs’ ability to extract structured semantics. In our assessment, we employ the prompting approach, which leads to the creation of our few-shot SRL parser, called PromptSRL. PromptSRL enables LLMs to map natural languages to explicit semantic structures, which provides an interpretable window into the properties of LLMs. We find interesting potential: LLMs can indeed capture semantic structures, and scaling-up doesn’t always mirror potential. Additionally, limitations of LLMs are observed in C-arguments, etc. Lastly, we are surprised to discover that significant overlap in the errors is made by both LLMs and untrained humans, accounting for almost 30% of all errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google