Logits are predictive of network type

要約

我々は、与えられたロジットベクトルを生成したディープネットワークを、偶然をはるかに上回る精度で予測することが可能であることを示す。我々は、ランダムな重みまたは事前学習された重みで初期化されたデータセットと同様に、微調整されたネットワーク上のいくつかのネットワークを利用する。そして、このデータセットの学習済みセットのロジットベクトルに対して分類器を学習させ、ロジットベクトルをそれを生成したネットワークインデックスに対応させる。そして、この分類器はデータセットのテストセットで評価される。結果は，ランダムに初期化されたネットワークの方が優れているが，事前に学習されたネットワークや，微調整されたネットワークにも一般化される．分類精度は正規化されたロジットよりも非正規化されたロジットを用いた方が高い。同じネットワークで重みのセットを変えて分類器を適用した場合、ほとんど移行しないことがわかった。この発見は、ディープネットワークとその不確実性の符号化方法についての理解を深めるだけでなく、ある種のアプリケーション（例えば、ある種のネットワークに対して敵対的な攻撃を仕掛けるなど）において有用であることが予想されます。コードは https://github.com/aliborji/logits で公開されています。

要約(オリジナル)

We show that it is possible to predict which deep network has generated a given logit vector with accuracy well above chance. We utilize a number of networks on a dataset, initialized with random weights or pretrained weights, as well as fine-tuned networks. A classifier is then trained on the logit vectors of the trained set of this dataset to map the logit vector to the network index that has generated it. The classifier is then evaluated on the test set of the dataset. Results are better with randomly initialized networks, but also generalize to pretrained networks as well as fine-tuned ones. Classification accuracy is higher using unnormalized logits than normalized ones. We find that there is little transfer when applying a classifier to the same networks but with different sets of weights. In addition to help better understand deep networks and the way they encode uncertainty, we anticipate our finding to be useful in some applications (e.g. tailoring an adversarial attack for a certain type of network). Code is available at https://github.com/aliborji/logits.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL