Spectral Introspection Identifies Group Training Dynamics in Deep Neural Networks for Neuroimaging

要約

研究者が複雑な現象を研究する方法に大きな影響を与えているニューラル ネットワークは、人間の研究者が解釈するのが難しい複雑な非線形数学的構造を通じて研究を行っています。
この障害は、研究者がバイアス、過剰適合、過剰パラメータ化などの特定のモデルの動作の出現をより深く理解したい場合に特に顕著になる可能性があります。
ニューロイメージングでは、このような現象がどのようにして現れるのかを理解することは、実際に伴う潜在的なリスクを防止し、ユーザーに知らせるための基礎となります。
この研究では、ニューロイメージング データの深層学習のための新しい内省フレームワークを紹介します。これは、逆モード自動微分中の勾配成分の特異値分解を介して勾配計算の自然な構造を利用します。
評価のために完全にトレーニングされたモデルを必要とするポストホック イントロスペクション手法とは異なり、私たちの方法ではトレーニング ダイナミクスをその場で研究することができ、さらに興味深いことに、どのサンプルが特定の対象グループに属しているかに基づいて勾配を分解することができます。
。
我々は、いくつかの一般的なディープラーニングモデルの勾配スペクトルが、COBRE研究の統合失調症参加者と対照参加者の間でどのように異なるかを示し、これらの軌跡がさらなる分析に役立つ特定のトレーニングダイナミクスをどのように明らかにするかを示します。

要約(オリジナル)

Neural networks, whice have had a profound effect on how researchers study complex phenomena, do so through a complex, nonlinear mathematical structure which can be difficult for human researchers to interpret. This obstacle can be especially salient when researchers want to better understand the emergence of particular model behaviors such as bias, overfitting, overparametrization, and more. In Neuroimaging, the understanding of how such phenomena emerge is fundamental to preventing and informing users of the potential risks involved in practice. In this work, we present a novel introspection framework for Deep Learning on Neuroimaging data, which exploits the natural structure of gradient computations via the singular value decomposition of gradient components during reverse-mode auto-differentiation. Unlike post-hoc introspection techniques, which require fully-trained models for evaluation, our method allows for the study of training dynamics on the fly, and even more interestingly, allow for the decomposition of gradients based on which samples belong to particular groups of interest. We demonstrate how the gradient spectra for several common deep learning models differ between schizophrenia and control participants from the COBRE study, and illustrate how these trajectories may reveal specific training dynamics helpful for further analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google