TextWorldExpress: Simulating Text Games at One Million Steps Per Second

要約

テキストベースのゲームは、言語理解、多段階の問題解決、および常識的な推論で仮想エージェントを評価するための挑戦的なテスト ベッドを提供します。
ただし、速度は現在のテキストベースのゲームの主な制限であり、主にレガシー ツールの使用が原因で、1 秒あたり 300 ステップに制限されています。
この作業では、3 つの一般的なテキスト ゲーム ベンチマークの実装を含む高性能シミュレーターである TextWorldExpress を紹介します。このシミュレーターは、シミュレーションのスループットを約 3 桁向上させ、一般的なデスクトップ ハードウェアで 1 秒あたり 100 万ステップ以上に達します。
これにより、実験の実行時間が大幅に短縮され、約 1 日で 10 億ステップ規模の実験が可能になります。

要約(オリジナル)

Text-based games offer a challenging test bed to evaluate virtual agents at language understanding, multi-step problem-solving, and common-sense reasoning. However, speed is a major limitation of current text-based games, capping at 300 steps per second, mainly due to the use of legacy tooling. In this work we present TextWorldExpress, a high-performance simulator that includes implementations of three common text game benchmarks that increases simulation throughput by approximately three orders of magnitude, reaching over one million steps per second on common desktop hardware. This significantly reduces experiment runtime, enabling billion-step-scale experiments in about one day.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google