Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition

要約

マルチモーダル大規模言語モデル (MLLM) が進化するにつれて、より多用途で効率的な AI の需要を満たすには、単一ドメインの機能を超えた拡張が不可欠です。
しかし、これまでのオムニモデルでは音声の研究が不十分で、マルチモダリティとの統合が無視されていました。
Lyra は、高度な長話理解、音声理解、クロスモダリティの効率性、シームレスな音声インタラクションなど、マルチモーダルな能力を強化する効率的な MLLM です。
効率性と音声中心の機能を実現するために、Lyra は 3 つの戦略を採用しています。(1) 既存のオープンソースの大規模モデルと提案されているマルチモダリティ LoRA を活用して、トレーニング コストとデータ要件を削減します。
(2) 潜在的なマルチモダリティの正則化と抽出を使用して音声と他のモダリティの間の関係を強化し、それによってモデルのパフォーマンスを向上させます。
(3) 1.5M のマルチモーダル (言語、視覚、音声) データ サンプルと 12K の長い音声サンプルを含む高品質で広範なデータセットを構築することで、Lyra が複雑な長い音声入力を処理し、より堅牢なオムニ認知を実現できるようになります。
他のオムニ手法と比較して、Lyra はさまざまな視覚言語、視覚言語、音声言語のベンチマークで最先端のパフォーマンスを達成しながら、使用する計算リソースとトレーニング データも少なくなります。

要約(オリジナル)

As Multi-modal Large Language Models (MLLMs) evolve, expanding beyond single-domain capabilities is essential to meet the demands for more versatile and efficient AI. However, previous omni-models have insufficiently explored speech, neglecting its integration with multi-modality. We introduce Lyra, an efficient MLLM that enhances multimodal abilities, including advanced long-speech comprehension, sound understanding, cross-modality efficiency, and seamless speech interaction. To achieve efficiency and speech-centric capabilities, Lyra employs three strategies: (1) leveraging existing open-source large models and a proposed multi-modality LoRA to reduce training costs and data requirements; (2) using a latent multi-modality regularizer and extractor to strengthen the relationship between speech and other modalities, thereby enhancing model performance; and (3) constructing a high-quality, extensive dataset that includes 1.5M multi-modal (language, vision, audio) data samples and 12K long speech samples, enabling Lyra to handle complex long speech inputs and achieve more robust omni-cognition. Compared to other omni-methods, Lyra achieves state-of-the-art performance on various vision-language, vision-speech, and speech-language benchmarks, while also using fewer computational resources and less training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google