Seq-VCR: Preventing Collapse in Intermediate Transformer Representations for Enhanced Reasoning

要約

デコーダーのみのトランスフォーマーは、多くの場合、複雑な推論タスク、特に複数のシーケンシャル操作を必要とする算術的推論に苦労しています。
この作業では、推論能力を制限する重要な要因として、モデルの中間層の表現崩壊を特定します。
これに対処するために、中間表現のエントロピーを強化し、崩壊を防ぐための連続分散分散正規化（SEQ-VCR）を提案します。
ダミーの一時停止トークンと組み合わさって、思考のチェーン（COT）トークンの代替品として、我々の方法は算術推論の問題のパフォーマンスを大幅に改善します。
挑戦的な$ 5 \ times 5 $整数乗算タスクでは、私たちのアプローチは、$ 99.5 \％$の正確な一致の精度、同じサイズのモデルを上回るモデル（0 \％$の精度）および5ショットのCOTプロンプト（$ 44 \％$）を備えたGPT-4を達成します。
また、算術式と最長のサブシーケンス（LIS）データセットに関する優れた結果も示します。
私たちの調査結果は、変圧器の推論能力を高めるために中間層表現の崩壊を防ぐことの重要性を強調し、SEQ-VCRが明示的なCOT監督を必要とせずに効果的なソリューションを提供することを示しています。

要約(オリジナル)

Decoder-only Transformers often struggle with complex reasoning tasks, particularly arithmetic reasoning requiring multiple sequential operations. In this work, we identify representation collapse in the model’s intermediate layers as a key factor limiting their reasoning capabilities. To address this, we propose Sequential Variance-Covariance Regularization (Seq-VCR), which enhances the entropy of intermediate representations and prevents collapse. Combined with dummy pause tokens as substitutes for chain-of-thought (CoT) tokens, our method significantly improves performance in arithmetic reasoning problems. In the challenging $5 \times 5$ integer multiplication task, our approach achieves $99.5\%$ exact match accuracy, outperforming models of the same size (which yield $0\%$ accuracy) and GPT-4 with five-shot CoT prompting ($44\%$). We also demonstrate superior results on arithmetic expression and longest increasing subsequence (LIS) datasets. Our findings highlight the importance of preventing intermediate layer representation collapse to enhance the reasoning capabilities of Transformers and show that Seq-VCR offers an effective solution without requiring explicit CoT supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google