NVILA: Efficient Frontier Visual Language Models

要約

視覚言語モデル（VLM）は、近年、精度に大きな進歩を遂げています。
しかし、それらの効率はそれほど少ない注目を集めています。
このペーパーでは、効率と精度の両方を最適化するように設計されたオープンVLMのファミリーであるNvilaを紹介します。
Vilaの上に構築され、最初に空間的解像度と時間的解像度を拡大し、次に視覚的なトークンを圧縮することにより、モデルアーキテクチャを改善します。
この「スケールからカップル」アプローチにより、NVILAは高解像度の画像と長いビデオを効率的に処理できます。
また、トレーニングや微調整から展開まで、ライフサイクル全体を通じてNVILAの効率を高めるための体系的な調査を実施します。
NVILAは、幅広い画像およびビデオベンチマークにわたって、多くの主要なオープンおよび独自のVLMの精度を一致または上回ります。
同時に、トレーニングコストを4.5倍に削減し、メモリの使用量を3.4倍に微調整し、事前充填レイテンシは1.6-2.2x、レイテンシを1.2〜2.8倍に解読します。
すぐにコードとモデルを利用できるようにして、再現性を促進します。

要約(オリジナル)

Visual language models (VLMs) have made significant advances in accuracy in recent years. However, their efficiency has received much less attention. This paper introduces NVILA, a family of open VLMs designed to optimize both efficiency and accuracy. Building on top of VILA, we improve its model architecture by first scaling up the spatial and temporal resolutions, and then compressing visual tokens. This ‘scale-then-compress’ approach enables NVILA to efficiently process high-resolution images and long videos. We also conduct a systematic investigation to enhance the efficiency of NVILA throughout its entire lifecycle, from training and fine-tuning to deployment. NVILA matches or surpasses the accuracy of many leading open and proprietary VLMs across a wide range of image and video benchmarks. At the same time, it reduces training costs by 4.5X, fine-tuning memory usage by 3.4X, pre-filling latency by 1.6-2.2X, and decoding latency by 1.2-2.8X. We will soon make our code and models available to facilitate reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google