Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions

要約

大規模な言語モデル（LLM）の最近の進歩は、さまざまなドメインに革命をもたらし、大きな進歩と新しい機会をもたらしました。
音声関連のタスクの進歩にもかかわらず、LLMはマルチトーカーシナリオで十分に調査されていません。
この作業では、マルチトーカーの自動音声認識（ASR）、ターゲットトーカーASR、およびASRに関連する多用途の指示に従って、性別、発生順序、言語、キーワードなどの特定のトーカー属性に基づいて、マルチトーカー環境でのスピーチの転写におけるLLMの能力を調査するための先駆的な取り組みを提示します。
私たちのアプローチでは、WAVLMとWhisperエンコーダーを利用して、スピーカーの特性とセマンティックコンテキストに敏感な多面的な音声表現を抽出します。
これらの表現は、LORAを使用して微調整されたLLMに供給され、音声理解と転写の能力を可能にします。
包括的な実験では、カクテルパーティーシナリオで提案されたシステムであるMT-LLMの有望なパフォーマンスが明らかになり、このような複雑な設定でのユーザー命令に基づいて音声関連のタスクを処理するLLMの可能性を強調しています。
コード、モデル、およびサンプルは、https：//github.com/cuhealthybrains/mt-llmで入手できます。

要約(オリジナル)

Recent advancements in large language models (LLMs) have revolutionized various domains, bringing significant progress and new opportunities. Despite progress in speech-related tasks, LLMs have not been sufficiently explored in multi-talker scenarios. In this work, we present a pioneering effort to investigate the capability of LLMs in transcribing speech in multi-talker environments, following versatile instructions related to multi-talker automatic speech recognition (ASR), target talker ASR, and ASR based on specific talker attributes such as sex, occurrence order, language, and keyword spoken. Our approach utilizes WavLM and Whisper encoder to extract multi-faceted speech representations that are sensitive to speaker characteristics and semantic context. These representations are then fed into an LLM fine-tuned using LoRA, enabling the capabilities for speech comprehension and transcription. Comprehensive experiments reveal the promising performance of our proposed system, MT-LLM, in cocktail party scenarios, highlighting the potential of LLM to handle speech-related tasks based on user instructions in such complex settings. The code, model, and samples are available at https://github.com/cuhealthybrains/MT-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google