Aux-Drop: Handling Haphazard Inputs in Online Learning Using Auxiliary Dropouts

要約

オンライン学習に基づく多くの現実世界のアプリケーションは、本質的にでたらめなストリーミング データを生成します。つまり、欠落している機能、時間の経過とともに陳腐化する機能、後の時点での新しい機能の出現、および合計数の明確性の欠如が含まれています。
入力機能。
これらの課題は、そのようなアプリケーション用の学習可能なシステムを構築することを困難にし、この問題に対処するディープ ラーニングの研究はほとんど存在しません。
この論文では、偶然の入力機能を効果的な方法で処理するオンライン学習のための補助ドロップアウト正則化戦略である Aux-Drop を紹介します。
Aux-Drop は、従来のドロップアウト正則化スキームを無計画な入力特徴空間に適応させ、そのような特徴の無秩序な外観による最終出力への影響を最小限に抑えます。
これは、特に補助機能と基本機能の相互適応を防ぎ、モデルの補助入力への出力の強い依存を減らすのに役立ちます。
これは、特定の機能が時間の経過とともに消えるシナリオや、新しい機能をモデル化するシナリオの学習を改善するのに役立ちます。
Aux-Drop の有効性は、イタリアの電力需要、HIGGS、SUSY、および複数の UCI データセットを含む SOTA ベンチマーク データセットでの広範な数値実験を通じて実証されています。

要約(オリジナル)

Many real-world applications based on online learning produce streaming data that is haphazard in nature, i.e., contains missing features, features becoming obsolete in time, the appearance of new features at later points in time and a lack of clarity on the total number of input features. These challenges make it hard to build a learnable system for such applications, and almost no work exists in deep learning that addresses this issue. In this paper, we present Aux-Drop, an auxiliary dropout regularization strategy for online learning that handles the haphazard input features in an effective manner. Aux-Drop adapts the conventional dropout regularization scheme for the haphazard input feature space ensuring that the final output is minimally impacted by the chaotic appearance of such features. It helps to prevent the co-adaptation of especially the auxiliary and base features, as well as reduces the strong dependence of the output on any of the auxiliary inputs of the model. This helps in better learning for scenarios where certain features disappear in time or when new features are to be modeled. The efficacy of Aux-Drop has been demonstrated through extensive numerical experiments on SOTA benchmarking datasets that include Italy Power Demand, HIGGS, SUSY and multiple UCI datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google