Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets

要約

統計的教師あり学習フレームワークは、トレーニング データセットによって確実に表される同時確率分布を持つ入出力セットを想定しています。
次に、学習者は、トレーニング データセットの入出力ペアから学習した予測ルールを出力する必要があります。
この作業では、機械学習のコンテキストで漸近的等分割プロパティ (AEP) \citep{Shannon:1948} に意味のある洞察を提供し、少数ショット学習の潜在的な影響のいくつかを明らかにします。
情報理論的 AEP の下での信頼できる学習と、サンプル サイズに関する一般化エラーの理論的保証を提供します。
次に、非常に効率的なリカレント ニューラル ネットワーク (RNN) フレームワークに注目し、少数ショット学習用の縮小エントロピー アルゴリズムを提案します。
また、スパース コーディング ソルバーの近似として、RNN の数学的直観を提案します。
画像のブレ除去と光コヒーレンストモグラフィ (OCT) スペックル抑制を使用して、提案されたアプローチの適用性、ロバスト性、および計算効率を検証します。
私たちの実験結果は、学習モデルのサンプル効率、一般化、および時間の複雑さを改善する大きな可能性を示しているため、実用的なリアルタイム アプリケーションに活用できます。

要約(オリジナル)

The statistical supervised learning framework assumes an input-output set with a joint probability distribution that is reliably represented by the training dataset. The learner is then required to output a prediction rule learned from the training dataset’s input-output pairs. In this work, we provide meaningful insights into the asymptotic equipartition property (AEP) \citep{Shannon:1948} in the context of machine learning, and illuminate some of its potential ramifications for few-shot learning. We provide theoretical guarantees for reliable learning under the information-theoretic AEP, and for the generalization error with respect to the sample size. We then focus on a highly efficient recurrent neural net (RNN) framework and propose a reduced-entropy algorithm for few-shot learning. We also propose a mathematical intuition for the RNN as an approximation of a sparse coding solver. We verify the applicability, robustness, and computational efficiency of the proposed approach with image deblurring and optical coherence tomography (OCT) speckle suppression. Our experimental results demonstrate significant potential for improving learning models’ sample efficiency, generalization, and time complexity, that can therefore be leveraged for practical real-time applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google