要約
ディープ ニューラル ネットワークは本質的に不透明で、解釈が困難です。
手作りの特徴ベースのモデルとは異なり、学習した概念とそれらがモデル内でどのように相互作用するかを理解するのに苦労します。
この理解は、デバッグの目的だけでなく、倫理的な意思決定の公平性を確保するためにも重要です。
私たちの研究では、プロービング フレームワーク [1] を使用して、事前学習済み音声モデルの事後機能的解釈可能性分析を実行します。
具体的には、話者認識や方言識別などのさまざまなタスク用にトレーニングされた音声モデルの発話レベルの表現を分析します。
レイヤーおよびニューロンごとの分析を実施し、話者、言語、チャネルのプロパティを調べます。
私たちの研究は、次の質問に答えることを目的としています: i) 表現内でどのような情報が捕捉されていますか?
ii) それはどのように表現され、配布されますか?
iii) この情報を所有するネットワークの最小限のサブセットを特定できるか?
私たちの結果は、i) チャネルと性別の情報がネットワーク全体に分散している、ii) 情報がタスクに関してニューロンで重複して利用可能である、iii) 方言情報などの複雑な特性がタスク内でのみエンコードされている、などのいくつかの新しい発見を明らかにしました。
指向性の事前学習済みネットワーク、iv) 上位層に局在化されている、v) 事前定義されたプロパティをエンコードするニューロンの最小限のサブセットを抽出できる、vi) 顕著なニューロンはプロパティ間で共有される場合がある、vii) 私たちの分析は、
ネットワーク内の偏見（性別など）。
アーキテクチャ間の比較では、i) 事前トレーニング済みモデルは話者不変情報をキャプチャし、ii) CNN モデルは、十分に研究されていないさまざまなプロパティのエンコードにおいて Transformer モデルと競合できることを示しています。
要約(オリジナル)
Deep neural networks are inherently opaque and challenging to interpret. Unlike hand-crafted feature-based models, we struggle to comprehend the concepts learned and how they interact within these models. This understanding is crucial not only for debugging purposes but also for ensuring fairness in ethical decision-making. In our study, we conduct a post-hoc functional interpretability analysis of pretrained speech models using the probing framework [1]. Specifically, we analyze utterance-level representations of speech models trained for various tasks such as speaker recognition and dialect identification. We conduct layer and neuron-wise analyses, probing for speaker, language, and channel properties. Our study aims to answer the following questions: i) what information is captured within the representations? ii) how is it represented and distributed? and iii) can we identify a minimal subset of the network that possesses this information? Our results reveal several novel findings, including: i) channel and gender information are distributed across the network, ii) the information is redundantly available in neurons with respect to a task, iii) complex properties such as dialectal information are encoded only in the task-oriented pretrained network, iv) and is localised in the upper layers, v) we can extract a minimal subset of neurons encoding the pre-defined property, vi) salient neurons are sometimes shared between properties, vii) our analysis highlights the presence of biases (for example gender) in the network. Our cross-architectural comparison indicates that: i) the pretrained models capture speaker-invariant information, and ii) CNN models are competitive with Transformer models in encoding various understudied properties.
arxiv情報
| 著者 | Shammur Absar Chowdhury,Nadir Durrani,Ahmed Ali |
| 発行日 | 2023-07-10 18:08:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google