On Domain-Specific Post-Training for Multimodal Large Language Models

要約

近年、一般的なマルチモーダル大規模言語モデル (MLLM) の急速な発展が見られます。
ただし、一般的な MLLM を科学分野や産業用途などの特定の領域に適用することは、まだあまり検討されていません。
この論文では、データ合成、トレーニング パイプライン、タスク評価に焦点を当て、トレーニング後の MLLM のドメイン適応を体系的に調査します。
(1) データ合成: オープンソース モデルを使用して、ドメイン固有の画像とキャプションのペアから多様な視覚的指示タスクを効果的に生成する視覚的指示シンセサイザーを開発します。
私たちの合成タスクは、MLLM のドメイン固有のパフォーマンスを強化する点で、手動ルール、GPT-4、および GPT-4V によって生成されたタスクを上回ります。
(2) トレーニング パイプライン: 一般的な MLLM の開発では、最初に画像とキャプションのペア、その後に視覚的な指示タスクが続く 2 段階のトレーニングが一般的に採用されていますが、ドメインのタスクの多様性を高めるために、1 段階のトレーニング パイプラインを適用します。
具体的なトレーニング後のこと。
(3) タスクの評価: さまざまなソースと規模の MLLM (例: Qwen2-VL-2B、LLaVA-v1.6-8B、Llama-3.2-11B) をトレーニング後、生物医学と食品の 2 つの領域で実験を実施します。
次に、さまざまなドメイン固有のタスクで MLLM のパフォーマンスを評価します。
MLLM ドメイン適応におけるさらなる研究をサポートするために、実装をオープンソース化します。

要約(オリジナル)

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training–initially on image-caption pairs followed by visual instruction tasks–is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google