Game State Learning via Game Scene Augmentation

要約

正確なゲーム状態情報にアクセスできることは、ゲームのプレイ、テスト、プレーヤーのモデリング、手続き型コンテンツの生成など、人工知能のタスクにとって最も重要です。
自己教師あり学習（SSL）技術は、ゲーム映像の高次元ピクセル入力から圧縮された潜在的表現への正確なゲーム状態情報を推測できることが示されています。
対照学習は人気のあるSSLパラダイムであり、ゲームの画像の視覚的理解は、単純な画像拡張方法によって定義された、異なる類似のゲーム状態を対比することから得られます。
この研究では、ゲームエンジンを利用してさまざまなゲーム状態の特定の高度に制御されたレンダリングを定義および合成し、それによって対照的な学習パフォーマンスを向上させる、GameCLRという名前の新しいゲームシーン拡張手法を紹介します。
CARLAドライビングシミュレータ環境の画像でGameCLR手法をテストし、一般的なSimCLRベースラインSSL方式と比較します。
私たちの結果は、GameCLRがベースラインと比較してより正確にゲーム映像からゲームの状態情報を推測できることを示唆しています。
私たちが提案するアプローチでは、画面のピクセルを入力として直接利用することで、ゲームの人工知能の研究を行うことができます。

要約(オリジナル)

Having access to accurate game state information is of utmost importance for any artificial intelligence task including game-playing, testing, player modeling, and procedural content generation. Self-Supervised Learning (SSL) techniques have shown to be capable of inferring accurate game state information from the high-dimensional pixel input of game footage into compressed latent representations. Contrastive Learning is a popular SSL paradigm where the visual understanding of the game’s images comes from contrasting dissimilar and similar game states defined by simple image augmentation methods. In this study, we introduce a new game scene augmentation technique — named GameCLR — that takes advantage of the game-engine to define and synthesize specific, highly-controlled renderings of different game states, thereby, boosting contrastive learning performance. We test our GameCLR technique on images of the CARLA driving simulator environment and compare it against the popular SimCLR baseline SSL method. Our results suggest that GameCLR can infer the game’s state information from game footage more accurately compared to the baseline. Our proposed approach allows us to conduct game artificial intelligence research by directly utilizing screen pixels as input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google