StreamAdapter: Efficient Test Time Adaptation from Contextual Streams

要約

インコンテキスト学習 (ICL) により、大規模言語モデル (LLM) は、勾配更新を必要とせずに、指定されたデモンストレーションから新しいタスクに直接適応できます。
最近の進歩により、より多くのデモンストレーションに対応できるようにコンテキスト ウィンドウが拡張されましたが、このアプローチでは必ずしもパフォーマンスが向上するわけではなく、推論コストが増加します。
これらの問題を軽減するために、テスト時にコンテキストからモデル パラメーターを直接更新する新しいアプローチである StreamAdapter を提案し、コンテキスト内での明示的なデモンストレーションの必要性を排除します。
StreamAdapter は、コンテキスト マッピングと重み吸収メカニズムを採用して、ICL デモンストレーションを最小限の追加パラメータでパラメータ更新に動的に変換します。
StreamAdapter は、多数のコンテキスト内サンプルへの依存を減らすことで、推論コストを大幅に削減し、デモンストレーションの数に関係なく、一定の時間複雑さで効率的な推論を可能にします。
多様なタスクとモデル アーキテクチャにわたる広範な実験により、StreamAdapter が、必要なデモンストレーションを大幅に減らしながら、ICL と同等または優れた適応能力を達成できることが実証されました。
言語理解タスクと生成タスクの両方における StreamAdapter の優れたタスク適応機能とコンテキスト エンコード機能により、テスト時にコンテキストを使用して LLM を適応させるための新しい視点が提供され、シナリオ全体でのより効率的な適応と、よりコスト効率の高い推論が可能になります。

要約(オリジナル)

In-context learning (ICL) allows large language models (LLMs) to adapt to new tasks directly from the given demonstrations without requiring gradient updates. While recent advances have expanded context windows to accommodate more demonstrations, this approach increases inference costs without necessarily improving performance. To mitigate these issues, We propose StreamAdapter, a novel approach that directly updates model parameters from context at test time, eliminating the need for explicit in-context demonstrations. StreamAdapter employs context mapping and weight absorption mechanisms to dynamically transform ICL demonstrations into parameter updates with minimal additional parameters. By reducing reliance on numerous in-context examples, StreamAdapter significantly reduce inference costs and allows for efficient inference with constant time complexity, regardless of demonstration count. Extensive experiments across diverse tasks and model architectures demonstrate that StreamAdapter achieves comparable or superior adaptation capability to ICL while requiring significantly fewer demonstrations. The superior task adaptation and context encoding capabilities of StreamAdapter on both language understanding and generation tasks provides a new perspective for adapting LLMs at test time using context, allowing for more efficient adaptation across scenarios and more cost-effective inference

arxiv情報

提供元, 利用サービス

arxiv.jp, Google