Ocean-omni: To Understand the World with Omni-modality

要約

GPT-4o の顕著なマルチモーダル機能とインタラクティブなエクスペリエンスは、実際のアプリケーションにおけるその重要な役割を際立たせていますが、それに対応する高性能のオープンソースのものがありません。
このペーパーでは、高度なマルチモーダル インタラクティブ エクスペリエンスと強力なパフォーマンスを提供しながら、画像、ビデオ、オーディオ、テキストのモダリティの同時処理と分析に優れた初のオープンソース 7B マルチモーダル大規模言語モデル (MLLM) である Ocean-omni を紹介します。
。
私たちは、7B モデルから始まり、オーディオ、画像、ビデオ、テキスト モーダルにわたるマルチモーダル調整とマルチタスク微調整の 2 つの段階を経て、効果的なマルチモーダル トレーニング スキーマを提案します。
このアプローチにより、言語モデルに視覚データと音声データを効果的に処理できる機能が備わります。
さまざまなオムニモーダルおよびマルチモーダルのベンチマークにわたって強力なパフォーマンスを実証し、この貢献がマルチモーダルの理解とリアルタイムのインタラクションを促進するオープンソース コミュニティの競争力のあるベースラインとして機能することを目指しています。

要約(オリジナル)

The salient multimodal capabilities and interactive experience of GPT-4o highlight its critical role in practical applications, yet it lacks a high-performing open-source counterpart. In this paper, we introduce Ocean-omni, the first open-source 7B Multimodal Large Language Model (MLLM) adept at concurrently processing and analyzing modalities of image, video, audio, and text, while delivering an advanced multimodal interactive experience and strong performance. We propose an effective multimodal training schema starting with 7B model and proceeding through two stages of multimodal alignment and multitask fine-tuning across audio, image, video, and text modal. This approach equips the language model with the ability to handle visual and audio data effectively. Demonstrating strong performance across various omni-modal and multimodal benchmarks, we aim for this contribution to serve as a competitive baseline for the open-source community in advancing multimodal understanding and real-time interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google