Bridging Compressed Image Latents and Multimodal Large Language Models

要約

このホワイトペーパーでは、マルチモーダルの大手言語モデル（MLLM）を採用する下流の視力タスクのニーズに合わせて、圧縮された画像の潜在性を適応させる最初の研究を紹介します。
MLLMは、テキストを超えて大規模な言語モデルの成功をモダリティ（画像など）に拡大しましたが、10億スケールはリソース制約のエンドデバイスでの展開を妨げています。
クラウドホストされたMLLMは利用可能になる可能性がありますが、エンドデバイスによってキャプチャされた生の未圧縮の画像をクラウドに送信するには、効率的な画像圧縮システムが必要です。
これに対処するために、新たなニューラルイメージ圧縮に焦点を当て、軽量の変換ネックとサロゲート損失を備えた新しいフレームワークを提案し、MLLMベースのビジョンタスクに圧縮された画像潜在性を適応させます。
MLLMSの大規模を考えると、当社のフレームワークは、システムのトレーニングからの視覚エンコーダーの一部を除き、下流のMLLM全体を除外します。
これは、トレーニングにダウンストリームネットワークを含むマシンアプローチのほとんどの既存のコーディングから際立っているため、ネットワークがMLLMである場合は非現実的である可能性があります。
提案されたフレームワークは、さまざまなMLLM、ニューラルイメージコーデック、および複数のアプリケーションシナリオに適用できるという点で一般的です。
およびマシン認識、または（3）マシン認識のみのために完全に更新されます。
さまざまなニューラル画像コーデックとさまざまなMLLMに関する広範な実験は、私たちの方法がより複雑ではるかに少ない優れたレートのアクカリ性パフォーマンスを達成することを示しています。

要約(オリジナル)

This paper presents the first-ever study of adapting compressed image latents to suit the needs of downstream vision tasks that adopt Multimodal Large Language Models (MLLMs). MLLMs have extended the success of large language models to modalities (e.g. images) beyond text, but their billion scale hinders deployment on resource-constrained end devices. While cloud-hosted MLLMs could be available, transmitting raw, uncompressed images captured by end devices to the cloud requires an efficient image compression system. To address this, we focus on emerging neural image compression and propose a novel framework with a lightweight transform-neck and a surrogate loss to adapt compressed image latents for MLLM-based vision tasks. Given the huge scale of MLLMs, our framework excludes the entire downstream MLLM except part of its visual encoder from training our system. This stands out from most existing coding for machine approaches that involve downstream networks in training and thus could be impractical when the networks are MLLMs. The proposed framework is general in that it is applicable to various MLLMs, neural image codecs, and multiple application scenarios, where the neural image codec can be (1) pre-trained for human perception without updating, (2) fully updated for joint human and machine perception, or (3) fully updated for only machine perception. Extensive experiments on different neural image codecs and various MLLMs show that our method achieves great rate-accuracy performance with much less complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google