Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models

要約

最近、指示に従う音声言語モデルが、人間との音声対話において広く注目を集めています。
しかし、さまざまなオーディオの種類やタスクを処理できる事前トレーニング済みのオーディオ モデルが存在しないことが、この分野の進歩の妨げになっています。
その結果、既存の作品のほとんどは、限られた範囲のインタラクション機能しかサポートできませんでした。
この論文では、Qwen-Audio モデルを開発し、30 を超えるタスクと、人間の音声、自然音、音楽、歌などのさまざまな音声タイプをカバーするように音声言語の事前トレーニングをスケールアップすることで、この制限に対処します。
音声理解能力。
ただし、すべてのタスクとデータセットを直接共同トレーニングすると、異なるデータセットに関連付けられたテキスト ラベルが、タスクの焦点、言語、注釈の粒度、およびテキスト構造の違いによりかなりのばらつきを示すため、干渉の問題が発生する可能性があります。
1 対多の干渉を克服するために、デコーダへの一連の階層タグを条件付けすることでマルチタスク トレーニング フレームワークを慎重に設計し、知識の共有を促進し、共有タグと指定タグを介した干渉をそれぞれ回避します。
驚くべきことに、Qwen-Audio は、タスク固有の微調整を必要とせずに、さまざまなベンチマーク タスクにわたって優れたパフォーマンスを達成し、同等の製品を上回っています。
Qwen-Audio の機能を基盤として、さまざまなオーディオおよびテキスト入力からの入力を可能にする Qwen-Audio-Chat をさらに開発し、マルチターン対話を可能にし、さまざまなオーディオ中心のシナリオをサポートします。

要約(オリジナル)

Recently, instruction-following audio-language models have received broad attention for audio interaction with humans. However, the absence of pre-trained audio models capable of handling diverse audio types and tasks has hindered progress in this field. Consequently, most existing works have only been able to support a limited range of interaction capabilities. In this paper, we develop the Qwen-Audio model and address this limitation by scaling up audio-language pre-training to cover over 30 tasks and various audio types, such as human speech, natural sounds, music, and songs, to facilitate universal audio understanding abilities. However, directly co-training all tasks and datasets can lead to interference issues, as the textual labels associated with different datasets exhibit considerable variations due to differences in task focus, language, granularity of annotation, and text structure. To overcome the one-to-many interference, we carefully design a multi-task training framework by conditioning on a sequence of hierarchical tags to the decoder for encouraging knowledge sharing and avoiding interference through shared and specified tags respectively. Remarkably, Qwen-Audio achieves impressive performance across diverse benchmark tasks without requiring any task-specific fine-tuning, surpassing its counterparts. Building upon the capabilities of Qwen-Audio, we further develop Qwen-Audio-Chat, which allows for input from various audios and text inputs, enabling multi-turn dialogues and supporting various audio-central scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google