MusicLIME: Explainable Multimodal Music Understanding

要約

マルチモーダル モデルは、オーディオと歌詞の間の複雑な相互作用を捉えるため、音楽を理解するタスクにとって非常に重要です。
しかし、これらのモデルが普及するにつれて、説明可能性の必要性が高まっています。これらのシステムがどのように意思決定を行うかを理解することは、公平性を確保し、偏見を減らし、信頼を育むために不可欠です。
本稿では、マルチモーダル音楽モデル向けに設計された、モデルに依存しない特徴重要度説明手法である MusicLIME を紹介します。
各モダリティ間の相互作用を考慮せずに各モダリティを個別に分析し、しばしば不完全または誤解を招く説明につながる従来の単峰性手法とは異なり、MusicLIME は、オーディオと歌詞の特徴がどのように相互作用して予測に寄与するかを明らかにし、モデルの意思決定の全体的なビューを提供します。
さらに、ローカルな説明をグローバルな説明に集約することで強化し、モデルの動作についてより広い視野をユーザーに提供します。
この取り組みを通じて、私たちはマルチモーダル音楽モデルの解釈可能性を向上させ、ユーザーが情報に基づいた選択をできるようにし、より公平で公正かつ透明な音楽理解システムの育成に貢献します。

要約(オリジナル)

Multimodal models are critical for music understanding tasks, as they capture the complex interplay between audio and lyrics. However, as these models become more prevalent, the need for explainability grows-understanding how these systems make decisions is vital for ensuring fairness, reducing bias, and fostering trust. In this paper, we introduce MusicLIME, a model-agnostic feature importance explanation method designed for multimodal music models. Unlike traditional unimodal methods, which analyze each modality separately without considering the interaction between them, often leading to incomplete or misleading explanations, MusicLIME reveals how audio and lyrical features interact and contribute to predictions, providing a holistic view of the model’s decision-making. Additionally, we enhance local explanations by aggregating them into global explanations, giving users a broader perspective of model behavior. Through this work, we contribute to improving the interpretability of multimodal music models, empowering users to make informed choices, and fostering more equitable, fair, and transparent music understanding systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google