LuckyMera: a Modular AI Framework for Building Hybrid NetHack Agents

要約

過去数十年間、私たちは、主にシミュレート環境やビデオ ゲームに基づいたさまざまなテストベッドが利用できるようになったおかげで、人工知能 (AI) の大幅な発展を目の当たりにしてきました。
その中でも、ローグライク ゲームは、環境の複雑さと計算コストの点で非常に優れたトレードオフを提供するため、AI エージェントの汎化機能をテストするのに最適です。
この作業では、人気のあるターミナル ベースのシングル プレイヤー ローグライク ビデオ ゲームである NetHack を中心に構築された、柔軟でモジュール式で拡張可能で構成可能な AI フレームワークである LuckyMera を紹介します。
このライブラリは、ゲームを正常にプレイできる AI エージェントの開発を簡素化および高速化し、ゲーム戦略を設計するための高レベルのインターフェイスを提供することを目的としています。
LuckyMera には、既製の記号モジュールとニューラル モジュール (「スキル」と呼ばれる) のセットが付属しています。これらのモジュールは、ハードコードされた動作またはニューラル強化学習アプローチのいずれかであり、構成的なハイブリッド ソリューションを作成する可能性があります。
さらに、LuckyMera には、さらなる分析のためにその経験を軌跡の形で保存し、それらをニューラル モジュールをトレーニングするためのデータセットとして使用する一連のユーティリティ機能が付属しており、NetHack 学習環境および MiniHack への直接インターフェイスが備わっています。
経験的な評価を通じてスキルの実装を検証し、完全な NetHack ゲームで最先端のパフォーマンスを達成できる強力なベースライン エージェントを提案します。
LuckyMera はオープンソースで、https://github.com/Pervasive-AI-Lab/LuckyMera から入手できます。

要約(オリジナル)

In the last few decades we have witnessed a significant development in Artificial Intelligence (AI) thanks to the availability of a variety of testbeds, mostly based on simulated environments and video games. Among those, roguelike games offer a very good trade-off in terms of complexity of the environment and computational costs, which makes them perfectly suited to test AI agents generalization capabilities. In this work, we present LuckyMera, a flexible, modular, extensible and configurable AI framework built around NetHack, a popular terminal-based, single-player roguelike video game. This library is aimed at simplifying and speeding up the development of AI agents capable of successfully playing the game and offering a high-level interface for designing game strategies. LuckyMera comes with a set of off-the-shelf symbolic and neural modules (called ‘skills’): these modules can be either hard-coded behaviors, or neural Reinforcement Learning approaches, with the possibility of creating compositional hybrid solutions. Additionally, LuckyMera comes with a set of utility features to save its experiences in the form of trajectories for further analysis and to use them as datasets to train neural modules, with a direct interface to the NetHack Learning Environment and MiniHack. Through an empirical evaluation we validate our skills implementation and propose a strong baseline agent that can reach state-of-the-art performances in the complete NetHack game. LuckyMera is open-source and available at https://github.com/Pervasive-AI-Lab/LuckyMera.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google