SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities

要約

マルチモーダル大規模言語モデルは、汎用人工知能 (AGI) に向けた重要なステップとみなされており、ChatGPT の出現により大きな関心を集めています。
ただし、現在の音声言語モデルは通常、カスケード パラダイムを採用しており、モーダル間の知識伝達を妨げています。
この論文では、マルチモデル コンテンツを認識して生成できる、本質的にクロスモーダルな会話能力を備えた大規模な言語モデルである SpeechGPT を提案します。
離散音声表現を使用して、まず、大規模なクロスモーダル音声命令データセットである SpeechInstruct を構築します。
さらに、モダリティ適応の事前トレーニング、クロスモーダル指導の微調整、モダリティ連鎖指導の微調整を含む 3 段階のトレーニング戦略を採用しています。
実験結果は、SpeechGPT が人間のマルチモーダルな指示に従う優れた能力を備えていることを実証し、1 つのモデルで複数のモダリティを処理できる可能性を強調しています。
デモは https://0nutation.github.io/SpeechGPT.github.io/ に示されています。

要約(オリジナル)

Multi-modal large language models are regarded as a crucial step towards Artificial General Intelligence (AGI) and have garnered significant interest with the emergence of ChatGPT. However, current speech-language models typically adopt the cascade paradigm, preventing inter-modal knowledge transfer. In this paper, we propose SpeechGPT, a large language model with intrinsic cross-modal conversational abilities, capable of perceiving and generating multi-model content. With discrete speech representations, we first construct SpeechInstruct, a large-scale cross-modal speech instruction dataset. Additionally, we employ a three-stage training strategy that includes modality-adaptation pre-training, cross-modal instruction fine-tuning, and chain-of-modality instruction fine-tuning. The experimental results demonstrate that SpeechGPT has an impressive capacity to follow multi-modal human instructions and highlight the potential of handling multiple modalities with one model. Demos are shown in https://0nutation.github.io/SpeechGPT.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google