Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

要約

命令調整された大規模言語モデル (LLM) は、さまざまな NLP タスクにわたって顕著な機能を示していますが、テキスト以外の他のデータ モダリティに対する LLM の有効性は十分に研究されていません。
この研究では、視覚、音声、テキスト情報をシームレスに統合する新しいマルチモーダル LLM である Macaw-LLM を提案します。
Macaw-LLM は、マルチモーダル データをエンコードするモダリティ モジュール、事前トレーニングされた LLM を利用する認知モジュール、および多様な表現を調和させる調整モジュールの 3 つの主要コンポーネントで構成されます。
当社の新しい位置合わせモジュールは、マルチモーダル特徴をテキスト特徴にシームレスに橋渡しし、モダリティ モジュールから認知モジュールへの適応プロセスを簡素化します。
さらに、69K の画像インスタンスと 50K のビデオ インスタンスを含む、マルチターン対話の観点から大規模なマルチモーダル命令データセットを構築します。
私たちはデータ、コード、モデルを公開しました。これにより、マルチモーダル LLM の将来の研究への道が開かれ、多様なデータ モダリティを処理し、複雑な現実世界のシナリオに対処できる LLM の機能が拡張されることを期待しています。

要約(オリジナル)

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google