On the dice loss gradient and the ways to mimic it

要約

タイトル：Dice loss gradientとそれを模倣する方法について

要約：
– 完全教師ありの意味論的セグメンテーションの文脈において、いくつかの損失関数（例えば、クロスエントロピーとDice損失）がニューラルネットワークを監視するデファクトスタンダードとして登場している。
– Dice損失は興味深いケースであり、人気のあるDice係数の緩和から来る。Dice係数は医用画像処理における主要な評価尺度の1つである。
– この論文では、まずDice損失の勾配を理論的に研究し、具体的には非常に小さな動的範囲を持つ負のグラウンドトゥルースの重み付けの負であることを示す。
– これにより、この論文の第2部では、ネットワークの出力と負のグラウンドトゥルースの要素ごとの乗算によってDice損失の監視を模倣することができる。
– このかなり驚くべき結果は、勾配降下中にDice損失によって行われる実用的な監視を明らかにし、実践者が結果を理解し解釈するのに役立ち、新しい損失を設計する研究者を指導することができる。

要約(オリジナル)

In the past few years, in the context of fully-supervised semantic segmentation, several losses — such as cross-entropy and dice — have emerged as de facto standards to supervise neural networks. The Dice loss is an interesting case, as it comes from the relaxation of the popular Dice coefficient; one of the main evaluation metric in medical imaging applications. In this paper, we first study theoretically the gradient of the dice loss, showing that concretely it is a weighted negative of the ground truth, with a very small dynamic range. This enables us, in the second part of this paper, to mimic the supervision of the dice loss, through a simple element-wise multiplication of the network output with a negative of the ground truth. This rather surprising result sheds light on the practical supervision performed by the dice loss during gradient descent. This can help the practitioner to understand and interpret results while guiding researchers when designing new losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI