Kosmos-2: Grounding Multimodal Large Language Models to the World

要約

私たちは、マルチモーダル大規模言語モデル (MLLM) である Kosmos-2 を導入し、オブジェクトの説明 (境界ボックスなど) を認識し、テキストを視覚的な世界に固定する新しい機能を可能にします。
具体的には、参照式をマークダウンのリンク、つまり「[テキスト スパン](バウンディング ボックス)」として表現します。オブジェクトの説明は位置トークンのシーケンスです。
マルチモーダル コーパスと併せて、モデルをトレーニングするために、根拠のある画像とテキストのペアの大規模データ (GrIT と呼ばれます) を構築します。
MLLM の既存の機能 (一般的なモダリティの認識、指示に従う、コンテキスト内学習の実行など) に加えて、Kosmos-2 はグラウンディング機能を下流のアプリケーションに統合します。
我々は、(i) 指示表現の理解やフレーズグラウンディングなどのマルチモーダルなグラウンディング、(ii) 指示表現の生成などのマルチモーダルな参照、(iii) 知覚言語タスク、および
(iv) 言語の理解と生成。
この研究は、具体化 AI の開発の基礎を明らかにし、汎用人工知能への重要なステップである言語、マルチモーダルな知覚、行動、世界モデリングの大きな収束に光を当てます。
データ、デモ、および事前トレーニングされたモデルは、https://aka.ms/kosmos-2 で入手できます。

要約(オリジナル)

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., “[text span](bounding boxes)”, where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google