NExT-Chat: An LMM for Chat, Detection and Segmentation

要約

大規模言語モデル (LLM) の開発により、マルチモーダル理解の分野が大幅に進歩し、大規模マルチモーダル モデル (LMM) の出現につながりました。
視覚的な理解のレベルを高めるために、最近の研究では、オブジェクトの境界ボックスの座標を一連のテキスト シーケンス (pixel2seq) として表すことにより、領域レベルの理解機能を LMM に装備しました。
この論文では、pixel2emb 法と呼ばれる物体位置モデリングの新しいパラダイムを紹介します。この手法では、LMM に位置埋め込みを出力してから、さまざまなデコーダーによってデコードするように依頼します。
このパラダイムにより、さまざまな位置フォーマット (バウンディング ボックスやマスクなど) をマルチモーダルな会話で使用できるようになります。 さらに、この種の埋め込みベースの位置モデリングにより、検出やセグメンテーションなどのローカリゼーション タスクにおける既存の手法を利用できるようになります。
リソースが限られたシナリオでは、公正な比較の下で、当社のPixel2embは、位置入力タスクと出力タスクの両方において、既存の最先端(SOTA)アプローチと比較して優れたパフォーマンスを実証します。
提案されたPixel2emb法を活用して、NExT-Chatという名前のLMMをトレーニングし、視覚的なグラウンディング、領域キャプション、根拠のある推論などの複数のタスクを処理する機能を実証します。

要約(オリジナル)

The development of large language models (LLMs) has greatly advanced the field of multimodal understanding, leading to the emergence of large multimodal models (LMMs). In order to enhance the level of visual comprehension, recent studies have equipped LMMs with region-level understanding capabilities by representing object bounding box coordinates as a series of text sequences (pixel2seq). In this paper, we introduce a novel paradigm for object location modeling called pixel2emb method, where we ask the LMM to output the location embeddings and then decoded by different decoders. This paradigm allows for different location formats (such as bounding boxes and masks) to be used in multimodal conversations Furthermore, this kind of embedding based location modeling enables the utilization of existing practices in localization tasks, such as detection and segmentation. In scenarios with limited resources, our pixel2emb demonstrates superior performance compared to existing state-of-the-art (SOTA) approaches in both the location input and output tasks under fair comparison. Leveraging the proposed pixel2emb method, we train an LMM named NExT-Chat and demonstrate its capability of handling multiple tasks like visual grounding, region caption, and grounded reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google