On the Importance of Exploration for Real Life Learned Algorithms

要約

タイトル: 現実で学習されたアルゴリズムの重要性についての探索

要約:
– データ駆動の学習アルゴリズムの品質は、利用可能なデータの品質に大きく依存する。
– 質の良いデータを生成する最も明確な方法の1つは、データソースを賢くサンプリングすることである。
– スマートなサンプリングは、サンプル取得のコストを削減し、学習における計算コストを削減し、学習アルゴリズムを未知のイベントに適応させることができる。
– 本論文では、連続するURRCメッセージの穴あき問題を解決するために、3つの異なる探索戦略を持つDeep Q-Networks（DQN）を教える。
– 標準的な簡単なε-greedy探索アプローチに比べて、分散ベースの探索と最大エントロピーに基づく探索の2つの適応的な探索候補の効率性を実証する。

要点:
– データ駆動の学習アルゴリズムの品質は、利用可能なデータの品質に大きく依存する。
– 質の良いデータを生成する最も明確な方法の1つは、データソースを賢くサンプリングすることである。
– スマートなサンプリングは、サンプル取得のコストを削減し、学習における計算コストを削減し、学習アルゴリズムを未知のイベントに適応させることができる。
– 本文では、3つの異なる探索戦略を持つDeep Q-Networks（DQN）を使用して、連続するURRCメッセージの穴あき問題を解決する。
– 分散ベースの探索と最大エントロピーに基づく探索の2つの適応的な探索候補の効率性を実証する。

要約(オリジナル)

The quality of data driven learning algorithms scales significantly with the quality of data available. One of the most straight-forward ways to generate good data is to sample or explore the data source intelligently. Smart sampling can reduce the cost of gaining samples, reduce computation cost in learning, and enable the learning algorithm to adapt to unforeseen events. In this paper, we teach three Deep Q-Networks (DQN) with different exploration strategies to solve a problem of puncturing ongoing transmissions for URLLC messages. We demonstrate the efficiency of two adaptive exploration candidates, variance-based and Maximum Entropy-based exploration, compared to the standard, simple epsilon-greedy exploration approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI