Online Learning with Adversaries: A Differential Inclusion Analysis

要約

タイトル：敵対者を含むオンライン学習：微分包含分析

要約：
– $ Y = AX $という測定モデルを考慮する。
– ここで$ X $と$ Y $はランダム変数であり、$ A $は先行して知られた高い行列とする。
– 各時間インスタンスで$ Y $の座標の1つのサンプルが利用可能であり、このサンプルを通じて$ \mu := \mathbb {E} [X] $を推定することが目的である。
– しかし、課題は、$ Y $の小さなが未知の部分集合が無限の力を持つ敵対者によって制御されていることである。
– この敵対的な設定に対して、我々はほぼ確実に$ \mu $に収束する初めての非同期オンラインアルゴリズムを提案する。
– この結果は、新しい微分包含ベースの2つの時間スケール分析を用いて証明される。
– 証明の2つの主要なハイライトは、（a）我々のアルゴリズムの限定ダイナミクスの唯一のグローバルアトラクタであることを示すために新しいLyapunov関数の使用、および（b）我々のアルゴリズムの反復がほぼ確実にバウンドされていることを示すためにマルチンゲールと停止時間理論の使用である。

要点：
– オンライン学習において、無限のパワーを持つ敵対者がいる場合、ほぼ確実に収束する非同期オンラインアルゴリズムを提案する。
– 新しい微分包含ベースの2つの時間スケール分析を使用して証明される。
– 我々のアルゴリズムの反復がほぼ確実にバウンドされていることを示すためにマルチンゲールと停止時間理論を使用する。
– 新しいLyapunov関数を使用して、アルゴリズムの限定ダイナミクスの唯一のグローバルアトラクタであることを示す。

要約(オリジナル)

We consider the measurement model $Y = AX,$ where $X$ and, hence, $Y$ are random variables and $A$ is an a priori known tall matrix. At each time instance, a sample of one of $Y$’s coordinates is available, and the goal is to estimate $\mu := \mathbb{E}[X]$ via these samples. However, the challenge is that a small but unknown subset of $Y$’s coordinates are controlled by adversaries with infinite power: they can return any real number each time they are queried for a sample. For such an adversarial setting, we propose the first asynchronous online algorithm that converges to $\mu$ almost surely. We prove this result using a novel differential inclusion based two-timescale analysis. Two key highlights of our proof include: (a) the use of a novel Lyapunov function for showing that $\mu$ is the unique global attractor for our algorithm’s limiting dynamics, and (b) the use of martingale and stopping time theory to show that our algorithm’s iterates are almost surely bounded.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI