Value Iteration Networks with Gated Summarization Module

要約

このペーパーでは、より大きな入力マップを処理し、反復の増加によって引き起こされる累積誤差の影響を軽減する際に、Value Iteration Networks (VIN) が直面する課題に取り組みます。
我々は、新しいアプローチであるゲート型要約モジュール (GS-VIN) を備えた値反復ネットワークを提案します。これには、(1) 値反復モジュールで適応反復戦略を採用して反復回数を削減すること、および (2)
反復プロセスを要約するための Gated Summarization モジュール。
適応型反復戦略では、より少ない反復回数でより大きなコンボリューション カーネルを使用し、計画プロセスの精度を維持しながら、ネットワークの深さを減らし、トレーニングの安定性を高めます。
ゲート要約モジュールを使用すると、ネットワークは、VI モジュール内の計画プロセス全体を時間的および空間的にリサンプリングすることで、最終的なグローバル計画の結果だけに依存するのではなく、計画プロセス全体を強調できます。
私たちは 2D グリッド ワールドの経路探索問題と Atari Mr. Pac-man 環境に関する実験を実施し、シングル ステップの精度、計画の成功率、およびさまざまなマップ サイズにわたる全体的なパフォーマンスの点で GS-VIN がベースラインを上回っていることを実証しました。
さらに、VI ベースのモデルにおける入力サイズ、カーネル サイズ、反復回数の関係の分析も提供します。これは、VI ベースのモデルの大部分に適用可能であり、研究者や産業展開に貴重な洞察を提供します。

要約(オリジナル)

In this paper, we address the challenges faced by Value Iteration Networks (VIN) in handling larger input maps and mitigating the impact of accumulated errors caused by increased iterations. We propose a novel approach, Value Iteration Networks with Gated Summarization Module (GS-VIN), which incorporates two main improvements: (1) employing an Adaptive Iteration Strategy in the Value Iteration module to reduce the number of iterations, and (2) introducing a Gated Summarization module to summarize the iterative process. The adaptive iteration strategy uses larger convolution kernels with fewer iteration times, reducing network depth and increasing training stability while maintaining the accuracy of the planning process. The gated summarization module enables the network to emphasize the entire planning process, rather than solely relying on the final global planning outcome, by temporally and spatially resampling the entire planning process within the VI module. We conduct experiments on 2D grid world path-finding problems and the Atari Mr. Pac-man environment, demonstrating that GS-VIN outperforms the baseline in terms of single-step accuracy, planning success rate, and overall performance across different map sizes. Additionally, we provide an analysis of the relationship between input size, kernel size, and the number of iterations in VI-based models, which is applicable to a majority of VI-based models and offers valuable insights for researchers and industrial deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google