Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost

要約

私たちは、主タスクの単一タスク推論コストを維持しながら、独立した (補助) タスクから追加の補助ラベルを活用して、私たちが焦点を当てている主タスクのパフォーマンスを向上させることを目指しています。
既存のほとんどの補助学習方法は損失重み/勾配操作に依存した最適化ベースですが、私たちの方法は主タスクと補助タスクに柔軟な非対称構造を備えたアーキテクチャベースであり、トレーニングと推論用に異なるネットワークを生成します。
具体的には、2 つの単一タスク ネットワーク/ブランチ (それぞれがタスクを表す) から開始して、収束後のクロスタスク接続としてプライマリから補助へのリンクのみが存在するネットワークを進化させる新しい方法を提案します。
これらの接続は、主要なタスクの推論中に削除される可能性があり、その結果、単一タスクの推論コストが発生します。
これは、ニューラル アーキテクチャ検索 (NAS) 問題を定式化することで実現されます。この問題では、検索空間で双方向接続を初期化し、片側のプライマリから補助への接続のみを持つアーキテクチャに収束する NAS 最適化をガイドします。
さらに、私たちの方法は、最適化ベースの補助学習アプローチと組み込むことができます。
VGG、ResNet、および ViT バックボーンを使用した NYU v2、CityScapes、および Taskonomy データセット上の 6 つのタスクによる広範な実験により、有望なパフォーマンスが検証されました。
コードは https://github.com/ethanygao/Aux-NAS で入手できます。

要約(オリジナル)

We aim at exploiting additional auxiliary labels from an independent (auxiliary) task to boost the primary task performance which we focus on, while preserving a single task inference cost of the primary task. While most existing auxiliary learning methods are optimization-based relying on loss weights/gradients manipulation, our method is architecture-based with a flexible asymmetric structure for the primary and auxiliary tasks, which produces different networks for training and inference. Specifically, starting from two single task networks/branches (each representing a task), we propose a novel method with evolving networks where only primary-to-auxiliary links exist as the cross-task connections after convergence. These connections can be removed during the primary task inference, resulting in a single-task inference cost. We achieve this by formulating a Neural Architecture Search (NAS) problem, where we initialize bi-directional connections in the search space and guide the NAS optimization converging to an architecture with only the single-side primary-to-auxiliary connections. Moreover, our method can be incorporated with optimization-based auxiliary learning approaches. Extensive experiments with six tasks on NYU v2, CityScapes, and Taskonomy datasets using VGG, ResNet, and ViT backbones validate the promising performance. The codes are available at https://github.com/ethanygao/Aux-NAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google