From the Lab to the Wild: Affect Modeling via Privileged Information

要約

制御された実験室条件 (in vitro) でトレーニングされた影響モデルを、制御されていない現実世界の設定 (in vivo) にどのように確実に移すことができるでしょうか?
in-vitro アプリケーションと in-vivo アプリケーションの間の情報ギャップは、感情コンピューティングの中核的な課題を定義します。
このギャップは、侵入性、ハードウェアの誤動作、センサーの可用性など、影響センシングに関連する制限によって引き起こされます。
これらの制限への対応として、実世界のシナリオ (実際の環境) で影響モデルを操作するための特権情報の概念を導入します。
特権情報により、ラボで利用可能な複数のモダリティにわたって影響モデルをトレーニングし、実際の動作時に利用できないモダリティを大幅なパフォーマンス低下なしに無視できるようになります。
私たちのアプローチは、2 つのマルチモーダル感情データベースでテストされ、そのうちの 1 つは野生の感情モデルをテストするために設計されています。
すべてのモダリティを使用して感情モデルをトレーニングし、その後モデルのテストに生の映像フレームのみを使用することで、トレーニングとテストの両方に利用可能なすべてのモダリティを融合したモデルのパフォーマンスに到達します。
結果は、感情コンピューティングの主要なパラダイムである分類と回帰の両方の影響モデリング タスクにわたって堅牢です。
私たちの発見は、野生での感情相互作用の実現に向けた決定的な一歩となります。

要約(オリジナル)

How can we reliably transfer affect models trained in controlled laboratory conditions (in-vitro) to uncontrolled real-world settings (in-vivo)? The information gap between in-vitro and in-vivo applications defines a core challenge of affective computing. This gap is caused by limitations related to affect sensing including intrusiveness, hardware malfunctions and availability of sensors. As a response to these limitations, we introduce the concept of privileged information for operating affect models in real-world scenarios (in the wild). Privileged information enables affect models to be trained across multiple modalities available in a lab, and ignore, without significant performance drops, those modalities that are not available when they operate in the wild. Our approach is tested in two multimodal affect databases one of which is designed for testing models of affect in the wild. By training our affect models using all modalities and then using solely raw footage frames for testing the models, we reach the performance of models that fuse all available modalities for both training and testing. The results are robust across both classification and regression affect modeling tasks which are dominant paradigms in affective computing. Our findings make a decisive step towards realizing affect interaction in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google