Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set

要約

談話の理解は多くのNLPタスクに不可欠ですが、ほとんどの既存の作業は、フレームワーク依存の談話表現によって制約されたままです。
この作業では、大規模な言語モデル（LLM）が言語とフレームワーク全体に一般化する談話の知識をキャプチャするかどうかを調査します。
この質問に2つの側面に沿って対処します。（1）統一性およびクロスフレームワークの談話分析を促進するための統一された談話関係ラベルセットを開発し、（2）LLMSを調査して、一般化可能な談話の抽象化をエンコードするかどうかを評価します。
多言語の談話関係分類をテストベッドとして使用して、さまざまなサイズと多言語機能の23 LLMの包括的なセットを調べます。
私たちの結果は、LLM、特に多言語トレーニングコーパスを持つLLMは、言語とフレームワークを介して談話情報を一般化できることを示しています。
さらに層ごとの分析により、談話レベルでの言語の一般化が中間層で最も顕著であることが明らかになりました。
最後に、エラー分析は、挑戦的な関係クラスのアカウントを提供します。

要約(オリジナル)

Discourse understanding is essential for many NLP tasks, yet most existing work remains constrained by framework-dependent discourse representations. This work investigates whether large language models (LLMs) capture discourse knowledge that generalizes across languages and frameworks. We address this question along two dimensions: (1) developing a unified discourse relation label set to facilitate cross-lingual and cross-framework discourse analysis, and (2) probing LLMs to assess whether they encode generalizable discourse abstractions. Using multilingual discourse relation classification as a testbed, we examine a comprehensive set of 23 LLMs of varying sizes and multilingual capabilities. Our results show that LLMs, especially those with multilingual training corpora, can generalize discourse information across languages and frameworks. Further layer-wise analyses reveal that language generalization at the discourse level is most salient in the intermediate layers. Lastly, our error analysis provides an account of challenging relation classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google