Integrating Human Expertise in Continuous Spaces: A Novel Interactive Bayesian Optimization Framework with Preference Expected Improvement

要約

インタラクティブ機械学習 (IML) は、人間の専門知識を機械学習プロセスに統合することを目指しています。
ただし、既存のアルゴリズムのほとんどは、状態空間やアクション空間が離散値に制限されているため、現実世界のシナリオに適用できません。
さらに、既存のすべてのメソッドの相互作用は、複数の提案間の決定に限定されます。
したがって、ベイズ最適化 (BO) に基づいた新しいフレームワークを提案します。
インタラクティブ ベイジアン最適化 (IBO) により、機械学習アルゴリズムと人間の間のコラボレーションが可能になります。
このフレームワークはユーザーの好みを把握し、ユーザーが手動で戦略を形作るためのインターフェイスを提供します。
さらに、新しい取得機能である Preference Expected Improvement (PEI) を組み込み、ユーザーの好みの確率モデルを使用してシステムの効率を改善しました。
私たちのアプローチは、機械が人間の専門知識から確実に恩恵を受けられるようにすることを目的としており、より調整された効果的な学習プロセスを目指しています。
この作業の過程で、私たちはシミュレーションと、Franka Panda ロボットを使用した現実世界のタスクにこの方法を適用し、人間とロボットのコラボレーションを示しました。

要約(オリジナル)

Interactive Machine Learning (IML) seeks to integrate human expertise into machine learning processes. However, most existing algorithms cannot be applied to Realworld Scenarios because their state spaces and/or action spaces are limited to discrete values. Furthermore, the interaction of all existing methods is restricted to deciding between multiple proposals. We therefore propose a novel framework based on Bayesian Optimization (BO). Interactive Bayesian Optimization (IBO) enables collaboration between machine learning algorithms and humans. This framework captures user preferences and provides an interface for users to shape the strategy by hand. Additionally, we’ve incorporated a new acquisition function, Preference Expected Improvement (PEI), to refine the system’s efficiency using a probabilistic model of the user preferences. Our approach is geared towards ensuring that machines can benefit from human expertise, aiming for a more aligned and effective learning process. In the course of this work, we applied our method to simulations and in a real world task using a Franka Panda robot to show human-robot collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google