Stress and Adaptation: Applying Anna Karenina Principle in Deep Learning for Image Classification

要約

ディープ ニューラル ネットワークによる画像分類は、高い精度で最先端に達しています。
この成功は、非凸最適化問題の困難を回避する優れた内部表現機能によるものです。
私たちは、これらの内部表現をほとんど理解しておらず、それらを定量化することはできません。
最近の研究努力は、代替理論とこれらのディープ ネットワークの一般化可能性の説明に焦点を当てています。
トレーニング中の深いモデルの代替摂動は、異なるファミリーへの移行につながる変更を誘発することを提案します。
その結果、深層学習用のアンナ・カレーニナの原則 AKP が得られます。このモデルでは、一般化できないモデルの不幸な家族は、より一般化可能なモデルの幸せな家族よりも表現が異なります。すべての幸せな家族は似ているというレオ トルストイの格言と平行しており、それぞれの不幸な家族は独自の方法で不幸です。
.
アンナ・カレーニナの原理は、過酷な天候にさらされた絶滅危惧種のサンゴの表面から、エイズによる致命的な病気に苦しむ患者の肺まで、幅広いシステムで発見されています。
私たちの論文では、トレーニング中に活性化関数と損失関数をホットスワップすることにより、モデルに人為的な摂動を生成しました。
この論文では、癌細胞と非癌細胞を分類するモデルを構築します。
一般化可能な幸せなモデルの内部表現が漸近極限で類似していることを理論的に証明します。
私たちの実験は、一般化可能なモデルの同様の表現を検証します。

要約(オリジナル)

Image classification with deep neural networks has reached state-of-art with high accuracy. This success is attributed to good internal representation features that bypasses the difficulties of the non-convex optimization problems. We have little understanding of these internal representations, let alone quantifying them. Recent research efforts have focused on alternative theories and explanations of the generalizability of these deep networks. We propose the alternative perturbation of deep models during their training induces changes that lead to transitions to different families. The result is an Anna Karenina Principle AKP for deep learning, in which less generalizable models unhappy families vary more in their representation than more generalizable models happy families paralleling Leo Tolstoy dictum that all happy families look alike, each unhappy family is unhappy in its own way. Anna Karenina principle has been found in systems in a wide range: from the surface of endangered corals exposed to harsh weather to the lungs of patients suffering from fatal diseases of AIDs. In our paper, we have generated artificial perturbations to our model by hot-swapping the activation and loss functions during the training. In this paper, we build a model to classify cancer cells from non-cancer ones. We give theoretical proof that the internal representations of generalizable happy models are similar in the asymptotic limit. Our experiments verify similar representations of generalizable models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google