Task Adaptation of Reinforcement Learning-based NAS Agents through Transfer Learning

要約

最近、特定のアーキテクチャの段階的な改善を中心とした、強化学習ベースの NAS エージェント用の新しいパラダイムが提案されました。
私たちは、このような強化学習エージェントが異なるタスク間を移行する能力を評価します。
Trans-NASBench-101 ベンチマークを使用して評価を実行し、転送されたエージェントの有効性と、それらがどれだけ早くトレーニングできるかを考慮します。
最終的なパフォーマンスを考慮すると、1 つのタスクでエージェントを事前トレーニングすると、1 つのタスクを除くすべてのタスクで別のタスクのエージェントのパフォーマンスが向上することがわかりました。
また、エージェントを別のタスクで事前トレーニングすることで、エージェントのトレーニング手順を大幅に短縮できることも示します。
私たちの結果は、これらの影響はソースタスクまたはターゲットタスクに関係なく発生するが、一部のタスクでは他のタスクよりも顕著であることを示しています。
私たちの結果は、転移学習が強化学習ベースの NAS エージェントの初期トレーニング手順の計算コストを軽減する効果的なツールとなり得ることを示しています。

要約(オリジナル)

Recently, a novel paradigm has been proposed for reinforcement learning-based NAS agents, that revolves around the incremental improvement of a given architecture. We assess the abilities of such reinforcement learning agents to transfer between different tasks. We perform our evaluation using the Trans-NASBench-101 benchmark, and consider the efficacy of the transferred agents, as well as how quickly they can be trained. We find that pretraining an agent on one task benefits the performance of the agent in another task in all but 1 task when considering final performance. We also show that the training procedure for an agent can be shortened significantly by pretraining it on another task. Our results indicate that these effects occur regardless of the source or target task, although they are more pronounced for some tasks than for others. Our results show that transfer learning can be an effective tool in mitigating the computational cost of the initial training procedure for reinforcement learning-based NAS agents.

arxiv情報

著者 Amber Cassimon,Siegfried Mercelis,Kevin Mets
発行日 2024-12-19 15:51:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG パーマリンク