Informed deep hierarchical classification: a non-standard analysis inspired approach

要約

この研究は、深い階層的な分類タスク、つまり、厳格な親子構造で編成された複数のラベルに従ってデータを分類する問題に対する新しいアプローチを提案します。
これは、各出力層の前に配置された特定の射影演算子を備えた複数出力のディープ ニューラル ネットワークで構成されています。
辞書編集的ハイブリッドディープニューラルネットワーク（LH-DNN）と呼ばれるこのようなアーキテクチャの設計は、辞書編集的多目的最適化、非標準分析、深層学習など、まったく離れた異なる研究分野のツールを組み合わせることで可能になりました。
このアプローチの有効性を評価するために、結果として得られるネットワークを、CIFAR10、CIFAR100 上の階層分類タスク用に調整された畳み込みニューラル ネットワークである B-CNN と比較します (このネットワークは、当初および最近提案されてから、複数の用途に採用および調整されています)。
現実世界のアプリケーション) と Fashion-MNIST ベンチマーク。
証拠によれば、LH-DNN は、特に階層関係の学習において、学習パラメータ、トレーニング エポック、および計算時間が大幅に削減されたにもかかわらず、アドホックな処理を必要とせずに、優れているとは言えないにしても同等のパフォーマンスを達成できることが示されています。
損失関数の重み付け値。

要約(オリジナル)

This work proposes a novel approach to the deep hierarchical classification task, i.e., the problem of classifying data according to multiple labels organized in a rigid parent-child structure. It consists in a multi-output deep neural network equipped with specific projection operators placed before each output layer. The design of such an architecture, called lexicographic hybrid deep neural network (LH-DNN), has been possible by combining tools from different and quite distant research fields: lexicographic multi-objective optimization, non-standard analysis, and deep learning. To assess the efficacy of the approach, the resulting network is compared against the B-CNN, a convolutional neural network tailored for hierarchical classification tasks, on the CIFAR10, CIFAR100 (where it has been originally and recently proposed before being adopted and tuned for multiple real-world applications) and Fashion-MNIST benchmarks. Evidence states that an LH-DNN can achieve comparable if not superior performance, especially in the learning of the hierarchical relations, in the face of a drastic reduction of the learning parameters, training epochs, and computational time, without the need for ad-hoc loss functions weighting values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google