ResBuilder: Automated Learning of Depth with Residual Structures

要約

この研究では、適度な計算コストで高い精度を達成する ResNet アーキテクチャをゼロから開発する、Resbuilder と呼ばれるニューラル アーキテクチャ検索アルゴリズムを開発します。
また、既存のアーキテクチャを変更するために使用することもでき、ResNet ブロックを削除および挿入して、ResNet アーキテクチャの空間内で適切なアーキテクチャを検索する機能があります。
さまざまな画像分類データセットでの実験では、Resbuilder は、既製の ResNet と比較して計算コストを節約しながら、最先端に近いパフォーマンスを達成しました。
注目すべきは、CIFAR10 でパラメーターを一度調整すると、他のすべてのデータセットに適切なデフォルトの選択が得られることです。
独自の不正検出データセットにデフォルト パラメーターを使用してメソッドを適用することにより、この特性が産業アプリケーションにも一般化されることを示します。

要約(オリジナル)

In this work, we develop a neural architecture search algorithm, termed Resbuilder, that develops ResNet architectures from scratch that achieve high accuracy at moderate computational cost. It can also be used to modify existing architectures and has the capability to remove and insert ResNet blocks, in this way searching for suitable architectures in the space of ResNet architectures. In our experiments on different image classification datasets, Resbuilder achieves close to state-of-the-art performance while saving computational cost compared to off-the-shelf ResNets. Noteworthy, we once tune the parameters on CIFAR10 which yields a suitable default choice for all other datasets. We demonstrate that this property generalizes even to industrial applications by applying our method with default parameters on a proprietary fraud detection dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google