Active Inference in Contextual Multi-Armed Bandits for Autonomous Robotic Exploration

要約

不確実な環境では、複数の選択肢からデータ収集のための最適なオプションを自律的に選択することは困難です。
オプションに関する二次情報にアクセスできる場合、そのような問題は状況に応じた多腕バンディット (CMAB) として分類できます。
ニューロにヒントを得た能動推論は、期待される自由エネルギー目的関数を使用して探索と活用のバランスを取る能力に関心を集めています。
合成データを使用して CMAB に対するアクティブ推論に基づく戦略の有効性を示した以前の研究とは異なり、この研究は、シミュレートされた鉱物調査サイト選択問題を使用して、アクティブ推論を現実的なシナリオに適用することを目的としています。
ネバダ州カップライトの AVIRIS-NG からのハイパースペクトル データは、結果の確率を予測するためのコンテキスト情報として機能し、地質学者の鉱物ラベルは結果を表します。
モンテカルロ シミュレーションは、専門家の好みの変化に対するアクティブ推論の堅牢性を評価します。
その結果、アクティブ推論は、実世界のノイズが多く偏ったデータを使用する標準的なバンディットアプローチよりも必要な反復が少なく、専門家のシフトに合わせて選択戦略を適応させることで、結果の好みがオンラインで変化する場合でもパフォーマンスが向上することが示されています。

要約(オリジナル)

Autonomous selection of optimal options for data collection from multiple alternatives is challenging in uncertain environments. When secondary information about options is accessible, such problems can be framed as contextual multi-armed bandits (CMABs). Neuro-inspired active inference has gained interest for its ability to balance exploration and exploitation using the expected free energy objective function. Unlike previous studies that showed the effectiveness of active inference based strategy for CMABs using synthetic data, this study aims to apply active inference to realistic scenarios, using a simulated mineralogical survey site selection problem. Hyperspectral data from AVIRIS-NG at Cuprite, Nevada, serves as contextual information for predicting outcome probabilities, while geologists’ mineral labels represent outcomes. Monte Carlo simulations assess the robustness of active inference against changing expert preferences. Results show that active inference requires fewer iterations than standard bandit approaches with real-world noisy and biased data, and performs better when outcome preferences vary online by adapting the selection strategy to align with expert shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google