Augmenting Deep Classifiers with Polynomial Neural Networks

要約

ディープ ニューラル ネットワークは、物体認識や音声認識などの分類タスクの成功の原動力となっています。
最近提案されたさまざまなアーキテクチャによって印象的な結果と一般化が達成されましたが、その大部分は一見バラバラに見えます。
この作業では、統合フレームワークの下で深い分類子の研究を行います。
特に、入力の異なる次数多項式の形式で最先端のアーキテクチャ (残差ネットワークや非ローカル ネットワークなど) を表現します。
私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供し、多項式の性質に基づく自然な拡張を可能にします。
提案されたモデルの有効性は、標準の画像および音声分類ベンチマークで評価されます。
提案されたモデルの表現力は、モデルのパフォーマンスの向上とモデルの圧縮の両方の点で強調されています。
最後に、この分類法で許可されている拡張機能は、限られたデータとロングテール データ分布が存在する場合に利点を示します。
この分類法が、既存のドメイン固有のアーキテクチャ間のリンクを提供することを期待しています。
ソース コードは、\url{https://github.com/grigorisg9gr/polynomials-for-augmenting-NNs} で入手できます。

要約(オリジナル)

Deep neural networks have been the driving force behind the success in classification tasks, e.g., object and audio recognition. Impressive results and generalization have been achieved by a variety of recently proposed architectures, the majority of which are seemingly disconnected. In this work, we cast the study of deep classifiers under a unifying framework. In particular, we express state-of-the-art architectures (e.g., residual and non-local networks) in the form of different degree polynomials of the input. Our framework provides insights on the inductive biases of each model and enables natural extensions building upon their polynomial nature. The efficacy of the proposed models is evaluated on standard image and audio classification benchmarks. The expressivity of the proposed models is highlighted both in terms of increased model performance as well as model compression. Lastly, the extensions allowed by this taxonomy showcase benefits in the presence of limited data and long-tailed data distributions. We expect this taxonomy to provide links between existing domain-specific architectures. The source code is available at \url{https://github.com/grigorisg9gr/polynomials-for-augmenting-NNs}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google