Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

要約

流通シフト下の新しい複合タスクへの一般化は、トランスベースの言語モデル（LMS）の展開に重要です。
この作業は、OOD一般化を強化する手段として、チェーンオブ考え（COT）の推論を調査しています。
いくつかの複合タスクにわたる制御された実験を通じて、3つの重要な洞察を明らかにします。（1）QAトレーニングモデルがほぼ完璧な分布内の精度を達成する一方で、それらのoodパフォーマンスは10000k+トレーニングの例であっても壊滅的に分解します。
（2）COTデータの粒度は、一般化パフォーマンスと強く相関しています。
より細かい粒子のCOTデータは、より良い一般化につながります。
（3）COTは顕著なサンプル効率を示し、QAのパフォーマンスをはるかに少ない（80％）データと一致させます。
理論的には、複合タスクは本質的に真の推論原則と不一致になるQ-Aデータのショートカットを可能にする一方で、COTは有効な依存関係構造の内在化を強制し、したがってより良い一般化を達成できることを実証します。
さらに、変圧器の位置埋め込みは、長いCOTシーケンスのサブタスク条件の再発を強調することにより、一般化を増幅できることを示します。
理論的および経験的分析を組み合わせて、複合タスクの実際の分布シフトの下でLM一般化を可能にするための重要なトレーニングパラダイムとして、COT推論の説得力のある証拠を提供します。

要約(オリジナル)

Generalization to novel compound tasks under distribution shift is important for deploying transformer-based language models (LMs). This work investigates Chain-of-Thought (CoT) reasoning as a means to enhance OOD generalization. Through controlled experiments across several compound tasks, we reveal three key insights: (1) While QA-trained models achieve near-perfect in-distribution accuracy, their OOD performance degrades catastrophically, even with 10000k+ training examples; (2) the granularity of CoT data strongly correlates with generalization performance; finer-grained CoT data leads to better generalization; (3) CoT exhibits remarkable sample efficiency, matching QA performance with much less (even 80%) data. Theoretically, we demonstrate that compound tasks inherently permit shortcuts in Q-A data that misalign with true reasoning principles, while CoT forces internalization of valid dependency structures, and thus can achieve better generalization. Further, we show that transformer positional embeddings can amplify generalization by emphasizing subtask condition recurrence in long CoT sequences. Our combined theoretical and empirical analysis provides compelling evidence for CoT reasoning as a crucial training paradigm for enabling LM generalization under real-world distributional shifts for compound tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google