Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Model

要約

Large Audio-Language Model (LALM) は、音声認識や音声キャプションなど、音声の知覚と理解に関わるタスクで顕著なパフォーマンスを示しています。
しかし、現実世界の複雑な問題を解決するために不可欠な彼らの推論能力は、まだ解明されていません。
この研究では、思考連鎖 (CoT) 推論を LALM に統合して、聴覚モダリティ全体の推論能力を強化するための最初の調査を行います。
私たちは代表的な CoT 手法を評価し、サウンド、音楽、音声の領域にわたる情報抽出と推論タスクの両方におけるパフォーマンスを分析します。
私たちの調査結果では、CoT 手法は簡単なタスクと中程度のタスクではパフォーマンスを大幅に向上させますが、難しいタスクでは課題に直面し、推論チェーンが精度を向上させるのではなくモデルを混乱させる可能性があることを明らかにしました。
さらに、推論パスの長さと精度の間に正の相関関係があることを確認し、高度な命令追従と推論のためのスケーリング推論の可能性を示しています。
この研究は、LALM 推論能力の強化における CoT の可能性を強調するだけでなく、重要な限界を特定し、将来の研究に実用的な方向性を提供します。

要約(オリジナル)

Large Audio-Language Models (LALMs) have demonstrated remarkable performance in tasks involving audio perception and understanding, such as speech recognition and audio captioning. However, their reasoning capabilities – critical for solving complex real-world problems – remain underexplored. In this work, we conduct the first exploration into integrating Chain-of-Thought (CoT) reasoning into LALMs to enhance their reasoning ability across auditory modalities. We evaluate representative CoT methods, analyzing their performance in both information extraction and reasoning tasks across sound, music, and speech domains. Our findings reveal that CoT methods significantly improve performance on easy and medium tasks but encounter challenges with hard tasks, where reasoning chains can confuse the model rather than improve accuracy. Additionally, we identify a positive correlation between reasoning path length and accuracy, demonstrating the potential of scaling inference for advanced instruction-following and reasoning. This study not only highlights the promise of CoT in enhancing LALM reasoning capabilities but also identifies key limitations and provides actionable directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google