The Principle of Uncertain Maximum Entropy

要約

最大エントロピーの原理は、バイアスを最小限に抑えながら、入手可能な情報と一致する分布を選択するための確立された手法です。
科学分野や機械学習において幅広く使用されています。
ただし、によって定義される原理は、ノイズや観測誤差の影響を受けやすくなります。
これにより、現実世界の実践者は原則の緩和バージョンを場当たり的に使用することを余儀なくされ、解釈に悪影響を及ぼします。
この状況に対処するために、古典的な原理を一般化し、使用されている観察方法に関係なく解釈可能な解決策を提供する、不確定最大エントロピーと呼ばれる新しい原理を提示します。
新しい原理の解決策を見つけるために、凸近似と期待値最大化に基づくアルゴリズムを導入します。
最後に、この新しい手法を、より単純で一般に適用可能な 2 つのソリューションと理論的に対比し、我々の手法が優れた精度を提供することを実験的に示します。

要約(オリジナル)

The principle of maximum entropy is a well-established technique for choosing a distribution that matches available information while minimizing bias. It finds broad use across scientific disciplines and in machine learning. However, the principle as defined by is susceptible to noise and error in observations. This forces real-world practitioners to use relaxed versions of the principle in an ad hoc way, negatively impacting interpretation. To address this situation, we present a new principle we call uncertain maximum entropy that generalizes the classic principle and provides interpretable solutions irrespective of the observational methods in use. We introduce a convex approximation and expectation-maximization based algorithm for finding solutions to our new principle. Finally, we contrast this new technique with two simpler generally applicable solutions theoretically and experimentally show our technique provides superior accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google