ModRWKV: Transformer Multimodality in Linear Time

要約

現在、ほとんどのマルチモーダル研究は、二次複数の変圧器アーキテクチャを備えた大規模な言語モデル（LLMS）に基づいています。
RNNSのような線形モデルは推論コストが低いことを享受していますが、そのアプリケーションはほとんどテキストのみのモダリティに限定されています。
この作業では、マルチモーダルコンテキストでの最新のRNNアーキテクチャの機能を調査します。
LLMバックボーンとして、RWKV7アーキテクチャに基づいて構築されたModRWKV-Aを提案します。
ModRWKVのマルチモーダルモジュールを非常に軽量なアーキテクチャを備えて設計し、広範な実験を通じて、パフォーマンスと計算効率の最適なバランスを達成する構成を特定しました。
modRWKVは、初期化のためにRWKV7 LLMの事前に抑制された重量を活用し、マルチモーダルトレーニングを大幅に加速します。
異なる前提条件のチェックポイントを使用した比較実験はさらに、そのような初期化がマルチモーダル信号を理解するモデルの能力を高める上で重要な役割を果たすことを示しています。
広範な実験にサポートされているため、最新のRNNアーキテクチャは、マルチモーダル大手言語モデル（MLLM）のドメインに変圧器にある実行可能な代替品を提示すると結論付けています。
さらに、体系的な探索を通じてMODRWKVアーキテクチャの最適な構成を特定します。

要約(オリジナル)

Currently, most multimodal studies are based on large language models (LLMs) with quadratic-complexity Transformer architectures. While linear models like RNNs enjoy low inference costs, their application has been largely limited to the text-only modality. This work explores the capabilities of modern RNN architectures in multimodal contexts. We propose ModRWKV-a decoupled multimodal framework built upon the RWKV7 architecture as its LLM backbone-which achieves multi-source information fusion through dynamically adaptable heterogeneous modality encoders. We designed the multimodal modules in ModRWKV with an extremely lightweight architecture and, through extensive experiments, identified a configuration that achieves an optimal balance between performance and computational efficiency. ModRWKV leverages the pretrained weights of the RWKV7 LLM for initialization, which significantly accelerates multimodal training. Comparative experiments with different pretrained checkpoints further demonstrate that such initialization plays a crucial role in enhancing the model’s ability to understand multimodal signals. Supported by extensive experiments, we conclude that modern RNN architectures present a viable alternative to Transformers in the domain of multimodal large language models (MLLMs). Furthermore, we identify the optimal configuration of the ModRWKV architecture through systematic exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google