TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild

要約

命令に従う能力を備えた大規模な言語モデルは、人工知能の分野に革命をもたらしました。
これらのモデルは、自然言語インターフェイスを通じて現実世界のさまざまなタスクに取り組むための優れた一般化性を示します。
ただし、そのパフォーマンスは高品質のサンプル データに大きく依存しており、多くの場合、そのデータを入手するのは困難です。
この課題は、マルチモーダルな指導となるとさらに悪化します。
TextBind を紹介します。これは、マルチターン インターリーブのマルチモーダル命令追従機能を備えた大規模な言語モデルを強化するための、ほぼアノテーションのないフレームワークです。
私たちのアプローチでは、画像とキャプションのペアのみが必要で、言語モデルからマルチターンのマルチモーダルな命令と応答の会話を生成します。
インターリーブされた画像とテキストの入出力に対応するために、画像エンコーダーとデコーダーのモデルをシームレスに統合する言語モデル中心のアーキテクチャである MIM を考案しました。
私たちは、マルチモーダル指導の分野における将来の研究を促進するために、データセット、モデル、デモをリリースします。

要約(オリジナル)

Large language models with instruction-following abilities have revolutionized the field of artificial intelligence. These models show exceptional generalizability to tackle various real-world tasks through their natural language interfaces. However, their performance heavily relies on high-quality exemplar data, which is often difficult to obtain. This challenge is further exacerbated when it comes to multimodal instruction following. We introduce TextBind, an almost annotation-free framework for empowering larger language models with the multi-turn interleaved multimodal instruction-following capabilities. Our approach requires only image-caption pairs and generates multi-turn multimodal instruction-response conversations from a language model. To accommodate interleaved image-text inputs and outputs, we devise MIM, a language model-centric architecture that seamlessly integrates image encoder and decoder models. We release our dataset, model, and demo to foster future research in the area of multimodal instruction following.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google