Compete and Compose: Learning Independent Mechanisms for Modular World Models

要約

我々は、異なる環境間で再利用可能な独立したメカニズムを活用するモジュール式の世界モデルである COmpetitive Mechanisms for Efficient Transfer (COMET) を紹介します。
COMET は、競争と構成という 2 段階のプロセスを通じて、さまざまなダイナミクスを持つ複数の環境でトレーニングされます。
これにより、モデルは伝達可能なメカニズムを認識して学習できるようになります。
具体的には、競争フェーズでは、COMET は勝者総取りの勾配割り当てでトレーニングされ、独立したメカニズムの出現を促進します。
これらはその後、構成フェーズで再利用され、COMET は介在する環境のダイナミクスを捕捉する方法で、学習したメカニズムを再構成することを学習します。
そうすることで、COMET は事前の知識を明示的に再利用し、効率的で解釈可能な適応を可能にします。
画像ベースの観測環境でCOMETを評価します。
競合ベースラインとは対照的に、COMET は監視なしで認識可能なメカニズムを捕捉することを実証します。
さらに、COMET は従来の微調整アプローチと比較してサンプル効率が向上し、さまざまな数のオブジェクトを含む新しい環境に適応できることを示します。

要約(オリジナル)

We present COmpetitive Mechanisms for Efficient Transfer (COMET), a modular world model which leverages reusable, independent mechanisms across different environments. COMET is trained on multiple environments with varying dynamics via a two-step process: competition and composition. This enables the model to recognise and learn transferable mechanisms. Specifically, in the competition phase, COMET is trained with a winner-takes-all gradient allocation, encouraging the emergence of independent mechanisms. These are then re-used in the composition phase, where COMET learns to re-compose learnt mechanisms in ways that capture the dynamics of intervened environments. In so doing, COMET explicitly reuses prior knowledge, enabling efficient and interpretable adaptation. We evaluate COMET on environments with image-based observations. In contrast to competitive baselines, we demonstrate that COMET captures recognisable mechanisms without supervision. Moreover, we show that COMET is able to adapt to new environments with varying numbers of objects with improved sample efficiency compared to more conventional finetuning approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google