Joint Age-State Belief is All You Need: Minimizing AoII via Pull-Based Remote Estimation

要約

不正確な情報の経過時間 (AoII) は、不正確な推定にその期間とともにペナルティを課す、最近提案された鮮度と不一致の指標です。
したがって、AoII を追跡するには、ソースと推定プロセスの両方の知識が必要です。
この論文では、情報源が一般的な離散時間マルコフ連鎖 (DTMC) プロセスであるサンプリング レート制約の下で、タイムスロット プルベースのリモート推定システムを検討します。
さらに、ソースからモニターへのパケット送信時間はゼロではないため、モニターはいつでも実際の AoII プロセスに関する完全な情報を得ることができません。
したがって、このプルベースのシステムでは、すべての観測の履歴から取得される年齢とソースプロセスの結合分布を表す {\em believe} と呼ばれる十分な統計をモニターが維持することを提案します。
信念を使用して、文献にある既存のマーチンゲール推定量とは対照的に、モニターで使用される最大事後推定 (MAP) 推定量を最初に提案します。
次に、信念 MDP (マルコフ決定プロセス) 定式化から最適性方程式を取得します。
最後に、我々は 2 つの信念依存ポリシーを提案します。1 つは深層強化学習に基づくもので、もう 1 つは瞬間的に予想される AoII に基づく閾値ベースのポリシーです。

要約(オリジナル)

Age of incorrect information (AoII) is a recently proposed freshness and mismatch metric that penalizes an incorrect estimation along with its duration. Therefore, keeping track of AoII requires the knowledge of both the source and estimation processes. In this paper, we consider a time-slotted pull-based remote estimation system under a sampling rate constraint where the information source is a general discrete-time Markov chain (DTMC) process. Moreover, packet transmission times from the source to the monitor are non-zero which disallows the monitor to have perfect information on the actual AoII process at any time. Hence, for this pull-based system, we propose the monitor to maintain a sufficient statistic called {\em belief} which stands for the joint distribution of the age and source processes to be obtained from the history of all observations. Using belief, we first propose a maximum a posteriori (MAP) estimator to be used at the monitor as opposed to existing martingale estimators in the literature. Second, we obtain the optimality equations from the belief-MDP (Markov decision process) formulation. Finally, we propose two belief-dependent policies one of which is based on deep reinforcement learning, and the other one is a threshold-based policy based on the instantaneous expected AoII.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google