LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

要約

既存の大きなビジョン言語モデル（LVLMS）は、最大128Kの視覚的およびテキストトークンまでのコンテキスト長で入力を処理できますが、1,000語を超えるコヒーレント出力を生成するのに苦労しています。
主な制限は、監視された微調整（SFT）中に長い出力例がないことであることがわかります。
この問題に取り組むために、22,158の例で構成されるSFTデータセットであるLongWriter-V-22Kを紹介します。
さらに、入力画像に対する忠実度を維持する長い出力を実現するために、SFTモデルに直接優先最適化（DPO）を採用しています。
長い出力のために人間のフィードバックを収集するコストが高いことを考えると（例：3,000語）、iterdpoを提案します。これは、長い出力をセグメントに分割し、元の出力で優先ペアを形成するために反復補正を使用します。
さらに、VLMSの長い世代の機能を評価するための6つのタスクを備えたベンチマークであるMmlongbench-writeを開発します。
LongWriter-V-22KとIterdpoで訓練された7Bパラメーターモデルは、このベンチマークで印象的なパフォーマンスを実現し、GPT-4Oのようなより大きな独自モデルを上回ります。
コードとデータ：https：//github.com/thu-keg/longwriter-v

要約(オリジナル)

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V

arxiv情報

提供元, 利用サービス

arxiv.jp, Google