The Gittins Index: A Design Principle for Decision-Making Under Uncertainty

要約

Gittinsインデックスは、マルチアームの盗賊問題、キューの平均遅延を最小限に抑え、Pandora’s Boxモデルなどの検索問題など、不確実性を含むさまざまな意思決定問題を最適に解決するツールです。
ただし、上記の例とその後の拡張にもかかわらず、Gittinsインデックスが完全に最適に解決できる問題の空間は制限されており、その定義は他のマルチアームの盗賊アルゴリズムのものと比較してかなり微妙です。
その結果、Gittinsインデックスは、意思決定の問題を解決するための実用的なツールではなく、主に理論的重要性の概念であると見なされることがよくあります。
このチュートリアルの目的は、Gittinsインデックスが実際的な問題に実り多いものを適用できることを実証することです。
まず、Gittins Indexの例主導型の紹介を行い、それが解決する問題のいくつかの例を説明します。いくつかは最適なもの、最適ではありますが、それでも優れたパフォーマンスを備えています。
後者のカテゴリの2つの実用的なハイライトは、Gittinsインデックスをベイジアンの最適化に適用し、キューのテールレイテンシを最小化するためにGittinsインデックスを適用することです。

要約(オリジナル)

The Gittins index is a tool that optimally solves a variety of decision-making problems involving uncertainty, including multi-armed bandit problems, minimizing mean latency in queues, and search problems like the Pandora’s box model. However, despite the above examples and later extensions thereof, the space of problems that the Gittins index can solve perfectly optimally is limited, and its definition is rather subtle compared to those of other multi-armed bandit algorithms. As a result, the Gittins index is often regarded as being primarily a concept of theoretical importance, rather than a practical tool for solving decision-making problems. The aim of this tutorial is to demonstrate that the Gittins index can be fruitfully applied to practical problems. We start by giving an example-driven introduction to the Gittins index, then walk through several examples of problems it solves – some optimally, some suboptimally but still with excellent performance. Two practical highlights in the latter category are applying the Gittins index to Bayesian optimization, and applying the Gittins index to minimizing tail latency in queues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google