Reinforcement Learning with Segment Feedback

要約

標準補強学習（RL）は、エージェントが各状態アクションペアに対して報酬を観察できると想定しています。
ただし、実際のアプリケーションでは、各状態アクションペアに対して報酬を収集することが困難で費用がかかることがよくあります。
軌道のフィードバックを伴うRLを検討しているいくつかの作品がありましたが、軌跡のフィードバックが軌道の長い時期に学習するのに非効率的であるかどうかは不明です。
この作業では、セグメントフィードバックを備えたRLという名前のモデルを検討します。このモデルは、一般的なパラダイムを提供し、州ごとのアクションフィードバックと軌道フィードバックの間のギャップを埋めることができます。
このモデルでは、各エピソードが$ m $セグメントに分割され、エージェントが各セグメントの最後にのみ報酬フィードバックを観察するエピソードマルコフ決定プロセス（MDP）を検討します。
このモデルでは、2つの一般的なフィードバック設定を調査します。バイナリフィードバックとサムフィードバック。エージェントは、基礎となる報酬関数に従ってそれぞれバイナリの結果と報酬合計を観察します。
学習パフォーマンスに対するセグメント$ M $の数の影響を調査するために、効率的なアルゴリズムを設計し、両方のフィードバック設定の後悔の上限と下限を確立します。
理論的および実験的結果は、次のことを示しています。バイナリフィードバックの下で、セグメントの数を増やすと、指数関数的な速度で後悔が減少します。
対照的に、驚くべきことに、合計フィードバックの下で、$ M $を増やすことは後悔を大幅に減らすことはありません。

要約(オリジナル)

Standard reinforcement learning (RL) assumes that an agent can observe a reward for each state-action pair. However, in practical applications, it is often difficult and costly to collect a reward for each state-action pair. While there have been several works considering RL with trajectory feedback, it is unclear if trajectory feedback is inefficient for learning when trajectories are long. In this work, we consider a model named RL with segment feedback, which offers a general paradigm filling the gap between per-state-action feedback and trajectory feedback. In this model, we consider an episodic Markov decision process (MDP), where each episode is divided into $m$ segments, and the agent observes reward feedback only at the end of each segment. Under this model, we study two popular feedback settings: binary feedback and sum feedback, where the agent observes a binary outcome and a reward sum according to the underlying reward function, respectively. To investigate the impact of the number of segments $m$ on learning performance, we design efficient algorithms and establish regret upper and lower bounds for both feedback settings. Our theoretical and experimental results show that: under binary feedback, increasing the number of segments $m$ decreases the regret at an exponential rate; in contrast, surprisingly, under sum feedback, increasing $m$ does not reduce the regret significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google