How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study

要約

事前トレーニング済み言語モデル (LM) の出現により、自然言語処理は著しく進歩しましたが、配布外 (OOD) シナリオにおけるその有効性は依然として大きな課題です。
人間の議論プロセスをモデル化する計算論証 (CA) は、複雑な注釈スキームと高い注釈コストにより、当然のことながら、利用可能な多数のテキスト ソースとトピックをほとんどカバーするリソースが得られないため、これらの課題によって特に影響を受ける分野です。
このデータ不足のため、スタンスの検出や議論の分類などの CA タスクでは、明らかになった共変分布からのデータへの一般化が一般的な課題となっています。
この作業では、そのような OOD シナリオに対する LM の能力を体系的に評価します。
これまでの研究では、トピック シフトや一律の OOD などの特定の OOD タイプを対象としていましたが、CA で一般的な 3 つの OOD シナリオ、つまりトピック シフト、ドメイン シフト、および言語シフトに対処しました。
私たちの調査結果は、これまで主張されてきた OOD に対するインコンテキスト学習 (ICL) の一般的な優位性に疑問を投げかけます。
このような学習パラダイムの有効性は OOD の種類によって異なることがわかりました。
具体的には、ICL はドメインの変更には優れていますが、トピックの変更に関してはプロンプトベースの微調整の方が優れています。
要約すると、CA における OOD シナリオの異質性を乗り越え、これらの課題を克服するための基本サイズの LM の可能性を経験的に強調します。

要約(オリジナル)

The advent of pre-trained Language Models (LMs) has markedly advanced natural language processing, but their efficacy in out-of-distribution (OOD) scenarios remains a significant challenge. Computational argumentation (CA), modeling human argumentation processes, is a field notably impacted by these challenges because complex annotation schemes and high annotation costs naturally lead to resources barely covering the multiplicity of available text sources and topics. Due to this data scarcity, generalization to data from uncovered covariant distributions is a common challenge for CA tasks like stance detection or argument classification. This work systematically assesses LMs’ capabilities for such OOD scenarios. While previous work targets specific OOD types like topic shifts or OOD uniformly, we address three prevalent OOD scenarios in CA: topic shift, domain shift, and language shift. Our findings challenge the previously asserted general superiority of in-context learning (ICL) for OOD. We find that the efficacy of such learning paradigms varies with the type of OOD. Specifically, while ICL excels for domain shifts, prompt-based fine-tuning surpasses for topic shifts. To sum up, we navigate the heterogeneity of OOD scenarios in CA and empirically underscore the potential of base-sized LMs in overcoming these challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google