Active Acquisition for Multimodal Temporal Data: A Challenging Decision-Making Task

要約

我々は、マルチモーダル時間データのための能動的獲得（A2MT）と呼ぶ、困難な意思決定タスクを紹介する。多くの実世界のシナリオでは、入力特徴はテスト時に容易に利用できないため、代わりに大きなコストをかけて取得する必要がある。A2MTでは、入力のどのモダリティを取得するかを能動的に選択するエージェントを学習し、取得コストと予測性能のトレードオフを行うことを目的とする。A2MTは、能動的特徴獲得と呼ばれる従来の課題を、高次元入力に対する時間的判断に拡張したものである。さらに、Perceiver IOアーキテクチャに基づき、A2MTに実際に対処する方法を提案する。我々のエージェントは、現実的に関連するクロスモーダルな推論スキルを必要とする新しい合成シナリオを解決することができる。また、Kinetics-700とAudioSetという2つの大規模な実世界データセットにおいて、我々のエージェントはコストに応じた獲得行動の学習に成功した。しかし、アブレーションにより、適応的な獲得戦略を学習することができないことが明らかになり、最先端のモデルであってもこのタスクの難しさが強調された。A2MTの応用は、医療、ロボット工学、金融など、取得コストや情報量が異なるモダリティの領域にインパクトを与える可能性がある。

要約(オリジナル)

We introduce a challenging decision-making task that we call active acquisition for multimodal temporal data (A2MT). In many real-world scenarios, input features are not readily available at test time and must instead be acquired at significant cost. With A2MT, we aim to learn agents that actively select which modalities of an input to acquire, trading off acquisition cost and predictive performance. A2MT extends a previous task called active feature acquisition to temporal decision making about high-dimensional inputs. Further, we propose a method based on the Perceiver IO architecture to address A2MT in practice. Our agents are able to solve a novel synthetic scenario requiring practically relevant cross-modal reasoning skills. On two large-scale, real-world datasets, Kinetics-700 and AudioSet, our agents successfully learn cost-reactive acquisition behavior. However, an ablation reveals they are unable to learn to learn adaptive acquisition strategies, emphasizing the difficulty of the task even for state-of-the-art models. Applications of A2MT may be impactful in domains like medicine, robotics, or finance, where modalities differ in acquisition cost and informativeness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL