Achieving Fairness in DareFightingICE Agents Evaluation Through a Delay Mechanism

要約

この論文では、gRPC フレームワーク (高性能なオープンソースのユニバーサル リモート プロシージャ コール (RPC) フレームワーク) における、異なるプログラミング言語間のレイテンシの差が DareFightingICE のエージェントのパフォーマンスに及ぼす影響を軽減するための遅延メカニズムを提案します。
格闘ゲーム研究プラットフォーム。
この調査では、Java と Python の間の gRPC レイテンシの違いがリアルタイムの意思決定に大きな影響を与える可能性があることがわかりました。
遅延メカニズムがない場合、Java プラットフォームでの gRPC 遅延が低いため、Java ベースのエージェントは Python ベースのエージェントよりも優れたパフォーマンスを発揮します。
ただし、提案された遅延メカニズムを使用すると、Java ベースのエージェントと Python ベースのエージェントの両方が同様のパフォーマンスを示し、異なるプログラミング言語を使用して開発されたエージェント間の公正な比較につながります。
したがって、この研究は、DareFightingICE でエージェントを開発および評価する際に gRPC レイテンシを考慮することが極めて重要であることを強調しており、得られた洞察は他の gRPC ベースのアプリケーションにも拡張できる可能性があります。

要約(オリジナル)

This paper proposes a delay mechanism to mitigate the impact of latency differences in the gRPC framework–a high-performance, open-source universal remote procedure call (RPC) framework–between different programming languages on the performance of agents in DareFightingICE, a fighting game research platform. The study finds that gRPC latency differences between Java and Python can significantly impact real-time decision-making. Without a delay mechanism, Java-based agents outperform Python-based ones due to lower gRPC latency on the Java platform. However, with the proposed delay mechanism, both Java-based and Python-based agents exhibit similar performance, leading to a fair comparison between agents developed using different programming languages. Thus, this work underscores the crucial importance of considering gRPC latency when developing and evaluating agents in DareFightingICE, and the insights gained could potentially extend to other gRPC-based applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google