I-SPLIT: Deep Network Interpretability for Split Computing

要約

この研究は、スプリット コンピューティングの分野で重要な一歩を踏み出しました。つまり、ディープ ニューラル ネットワークを分割して、初期の部分を組み込みデバイスでホストし、残りをサーバーでホストする方法です。
これまでのところ、潜在的な分割位置は、独自のアーキテクチャの側面を利用して、つまりレイヤーサイズに基づいて特定されています。
このパラダイムでは、精度に関する分割の有効性は、分割を実行し、パイプライン全体を再トレーニングした後にのみ評価できます。これにより、すべての妥当な分割ポイントを徹底的に評価することは、時間的に不可能になります。
ここでは、レイヤーのアーキテクチャだけでなく、レイヤーに含まれるニューロンの重要性も重要であることを示しています。
正しいクラス決定に対する勾配が高い場合、ニューロンは重要です。
したがって、それまでの情報の流れを維持するために、重要なニューロンの密度が高い層の直後に分割を適用する必要があります。
このアイデアに基づいて、解釈可能な分割 (I-SPLIT) を提案します。これは、効果的な実装の前に、この分割が分類精度の観点からどの程度うまく機能するかについて信頼できる予測を提供することにより、最適な分割ポイントを特定する手順です。
I-SPLIT のさらなる主要な貢献として、マルチクラスの分類問題における分割ポイントの最適な選択は、ネットワークがどの特定のクラスを処理する必要があるかにも依存することを示します。
VGG16 と ResNet-50 の 2 つのネットワークと、Tiny-Imagenet-200、notMNIST、胸部 X 線肺炎の 3 つのデータセットで徹底的な実験が行われました。
ソース コードは https://github.com/vips4/I-Split で入手できます。

要約(オリジナル)

This work makes a substantial step in the field of split computing, i.e., how to split a deep neural network to host its early part on an embedded device and the rest on a server. So far, potential split locations have been identified exploiting uniquely architectural aspects, i.e., based on the layer sizes. Under this paradigm, the efficacy of the split in terms of accuracy can be evaluated only after having performed the split and retrained the entire pipeline, making an exhaustive evaluation of all the plausible splitting points prohibitive in terms of time. Here we show that not only the architecture of the layers does matter, but the importance of the neurons contained therein too. A neuron is important if its gradient with respect to the correct class decision is high. It follows that a split should be applied right after a layer with a high density of important neurons, in order to preserve the information flowing until then. Upon this idea, we propose Interpretable Split (I-SPLIT): a procedure that identifies the most suitable splitting points by providing a reliable prediction on how well this split will perform in terms of classification accuracy, beforehand of its effective implementation. As a further major contribution of I-SPLIT, we show that the best choice for the splitting point on a multiclass categorization problem depends also on which specific classes the network has to deal with. Exhaustive experiments have been carried out on two networks, VGG16 and ResNet-50, and three datasets, Tiny-Imagenet-200, notMNIST, and Chest X-Ray Pneumonia. The source code is available at https://github.com/vips4/I-Split.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google