NVILA: Efficient Frontier Visual Language Models

要約

近年、視覚言語モデル (VLM) の精度が大幅に向上しました。
しかし、その効率性はあまり注目されていません。
このペーパーでは、効率と精度の両方を最適化するように設計されたオープン VLM ファミリである NVILA について紹介します。
VILA を基盤として、最初に空間解像度と時間解像度をスケールアップし、次にビジュアル トークンを圧縮することでモデル アーキテクチャを改善します。
この「スケールしてから圧縮」アプローチにより、NVILA は高解像度の画像と長いビデオを効率的に処理できます。
また、トレーニングや微調整から展開に至るまで、ライフサイクル全体を通じて NVILA の効率を向上させるための体系的な調査も実施しています。
NVILA は、幅広い画像およびビデオのベンチマークにわたって、多くの主要なオープンおよび独自の VLM の精度と同等またはそれを上回ります。
同時に、トレーニング コストを 4.5 倍、メモリ使用量の微調整を 3.4 倍、プリフィル レイテンシを 1.6 ～ 2.2 倍、デコード レイテンシを 1.2 ～ 2.8 倍に削減します。
再現性を容易にするために、コードとモデルを間もなく利用できるようにする予定です。

要約(オリジナル)

Visual language models (VLMs) have made significant advances in accuracy in recent years. However, their efficiency has received much less attention. This paper introduces NVILA, a family of open VLMs designed to optimize both efficiency and accuracy. Building on top of VILA, we improve its model architecture by first scaling up the spatial and temporal resolutions, and then compressing visual tokens. This ‘scale-then-compress’ approach enables NVILA to efficiently process high-resolution images and long videos. We also conduct a systematic investigation to enhance the efficiency of NVILA throughout its entire lifecycle, from training and fine-tuning to deployment. NVILA matches or surpasses the accuracy of many leading open and proprietary VLMs across a wide range of image and video benchmarks. At the same time, it reduces training costs by 4.5X, fine-tuning memory usage by 3.4X, pre-filling latency by 1.6-2.2X, and decoding latency by 1.2-2.8X. We will soon make our code and models available to facilitate reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google