Conditional Information Gain Trellis

要約

条件付きコンピューティングは、ニューラル ネットワークの計算ユニットの一部のみを使用して入力を処理します。
個々のサンプルをルーティングすることによって深い畳み込みネットワークの一部を実行する方法を学習することには、いくつかの利点があります。 計算負荷の軽減は明らかな利点です。
さらに、類似のクラスが同じパスにルーティングされる場合、ネットワークのその部分はより細かい違いを区別することを学習し、より少ないパラメータでより良い分類精度を達成できます。
最近、いくつかの論文がこのアイデアを利用して、ツリー状ネットワーク内のノードの特定の子を取得したり、ネットワークの一部をスキップしたりしています。
この研究では、トレリスベースのアプローチに従って、ディープ畳み込みニューラル ネットワークで特定の実行パスを生成します。
私たちは、微分可能な情報利得ベースのコスト関数を使用して、畳み込み層の機能のどのサブセットが実行されるかを決定するルーティング メカニズムを設計しました。
このメソッドをConditional Information Gain Trellis (CIGT)と呼びます。
条件付き実行メカニズムは、計算リソースの一部のみを使用して、無条件ベースラインと比較して同等以上のモデル パフォーマンスを達成することを示します。

要約(オリジナル)

Conditional computing processes an input using only part of the neural network’s computational units. Learning to execute parts of a deep convolutional network by routing individual samples has several advantages: Reducing the computational burden is an obvious advantage. Furthermore, if similar classes are routed to the same path, that part of the network learns to discriminate between finer differences and better classification accuracies can be attained with fewer parameters. Recently, several papers have exploited this idea to take a particular child of a node in a tree-shaped network or to skip parts of a network. In this work, we follow a Trellis-based approach for generating specific execution paths in a deep convolutional neural network. We have designed routing mechanisms that use differentiable information gain-based cost functions to determine which subset of features in a convolutional layer will be executed. We call our method Conditional Information Gain Trellis (CIGT). We show that our conditional execution mechanism achieves comparable or better model performance compared to unconditional baselines, using only a fraction of the computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google