Simulator-Free Visual Domain Randomization via Video Games

要約

ドメインランダマイゼーションは、類似した内容を示す視覚的に異なるドメイン間での視覚モデルの移植性を向上させるための効果的なコンピュータビジョン技術である。しかし、既存のアプローチは、複雑で特殊なシミュレーションエンジンの構築に依存しており、その構築は困難である。本論文では、既存の商用ビデオゲームを活用し、そのシミュレーションエンジンにアクセスすることなくドメインランダマイゼーションを行う、ビデオ理解フレームワークBehAVEを紹介する。BehAVEでは、(1)ビデオゲーム固有の豊かな視覚的多様性がランダム化のソースとして機能し、(2)プレイヤーの行動(行動のテキスト記述によって意味的に表現される)が、類似したコンテンツを持つビデオの*整列*をガイドする。我々はBehAVEを25のFPSジャンルのゲームでテストし、様々なビデオとテキスト基盤モデルで検証した。BehAVEはプレイヤーの行動パターンを整列させることに成功し、1つのFPSゲームだけで学習させた場合、それらを複数の未知のFPSゲームにゼロショット転送することができる。より困難な設定では、BehAVEは異なるジャンルのゲーム(Minecraft)で訓練した場合でも、未見のFPSゲームへの基礎モデルのゼロショット転送性を向上させることに成功しています(最大22%)。コードとデータセットはhttps://github.com/nrasajski/BehAVE。

要約(オリジナル)

Domain randomization is an effective computer vision technique for improving transferability of vision models across visually distinct domains exhibiting similar content. Existing approaches, however, rely extensively on tweaking complex and specialized simulation engines that are difficult to construct, subsequently affecting their feasibility and scalability. This paper introduces BehAVE, a video understanding framework that uniquely leverages the plethora of existing commercial video games for domain randomization, without requiring access to their simulation engines. Under BehAVE (1) the inherent rich visual diversity of video games acts as the source of randomization and (2) player behavior — represented semantically via textual descriptions of actions — guides the *alignment* of videos with similar content. We test BehAVE on 25 games of the first-person shooter (FPS) genre across various video and text foundation models and we report its robustness for domain randomization. BehAVE successfully aligns player behavioral patterns and is able to zero-shot transfer them to multiple unseen FPS games when trained on just one FPS game. In a more challenging setting, BehAVE manages to improve the zero-shot transferability of foundation models to unseen FPS games (up to 22%) even when trained on a game of a different genre (Minecraft). Code and dataset can be found at https://github.com/nrasajski/BehAVE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL