Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks

要約

Mamba Gu & Dao (2034) などの状態空間モデル (SSM) は、言語モデリングにおける Transformer ネットワークの代替として提案されており、ゲーティング、畳み込み、および入力依存のトークン選択を組み込んで、マルチアルゴリズムの 2 次コストを軽減します。
頭の注意。
SSM は競争力のあるパフォーマンスを示しますが、パラメータ最適化なしでタスクの実行を可能にする現代の言語モデルの注目すべき新しい特性であるインコンテキスト学習 (ICL) 機能は、Transformers と比べてまだ十分に解明されていません。
この研究では、Mamba に焦点を当て、さまざまなタスクにわたる Transformer モデルに対して SSM の ICL パフォーマンスを評価します。
私たちの結果は、SSM が標準回帰 ICL タスクでは Transformer と同等のパフォーマンスを発揮する一方で、スパース パリティ学習などのタスクでは SSM が Transformer を上回るパフォーマンスを示していることを示しています。
ただし、SSM は、非標準の検索機能を伴うタスクでは不十分です。
これらの制限に対処するために、Mamba とアテンション ブロックを組み合わせたハイブリッド モデル \variant を導入し、独立して奮闘するタスクにおいて個々のモデルを超えます。
私たちの調査結果は、ハイブリッド アーキテクチャが言語モデルの ICL を強化するための有望な手段を提供することを示唆しています。

要約(オリジナル)

State-space models (SSMs), such as Mamba Gu & Dao (2034), have been proposed as alternatives to Transformer networks in language modeling, by incorporating gating, convolutions, and input-dependent token selection to mitigate the quadratic cost of multi-head attention. Although SSMs exhibit competitive performance, their in-context learning (ICL) capabilities, a remarkable emergent property of modern language models that enables task execution without parameter optimization, remain underexplored compared to Transformers. In this study, we evaluate the ICL performance of SSMs, focusing on Mamba, against Transformer models across various tasks. Our results show that SSMs perform comparably to Transformers in standard regression ICL tasks, while outperforming them in tasks like sparse parity learning. However, SSMs fall short in tasks involving non-standard retrieval functionality. To address these limitations, we introduce a hybrid model, \variant, that combines Mamba with attention blocks, surpassing individual models in tasks where they struggle independently. Our findings suggest that hybrid architectures offer promising avenues for enhancing ICL in language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google