Sensitivity Analysis On Loss Landscape

要約

勾配は感度分析に使用できます。
ここでは、損失ランドスケープの利点を活用して、どの独立変数が従属変数に影響を与えるかを理解します。
自動微分による一次微分、二次微分、三次微分を利用して損失状況の把握を目指します。
スピアマンの順位相関係数によって 2 つの変数間の単調な関係を検出できることがわかっています。
ただし、特定の構成とパラメーターを使用した 2 次勾配は、Spearman の結果と同様に視覚化できる情報を提供することがわかりました。このアプローチでは、損失関数と活性化関数を組み込んでおり、結果として非線形パターンが得られます。
再トレーニングを通じて損失状況を調査するたびに、新たな貴重な情報が得られます。
さらに、一次導関数と三次導関数も、独立変数が従属変数に影響を与える程度を示すため、有益です。

要約(オリジナル)

Gradients can be employed for sensitivity analysis. Here, we leverage the advantages of the Loss Landscape to comprehend which independent variables impact the dependent variable. We seek to grasp the loss landscape by utilizing first, second, and third derivatives through automatic differentiation. we know that Spearman’s rank correlation coefficient can detect the monotonic relationship between two variables. However, I have found that second-order gradients, with certain configurations and parameters, provide information that can be visualized similarly to Spearman results, In this approach, we incorporate a loss function with an activation function, resulting in a non-linear pattern. Each exploration of the loss landscape through retraining yields new valuable information. Furthermore, the first and third derivatives are also beneficial, as they indicate the extent to which independent variables influence the dependent variable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google