BigSmall: Efficient Multi-Task Learning for Disparate Spatial and Temporal Physiological Measurements

要約

人間の視覚認識の理解は、歴史的にコンピュータ ビジョン アーキテクチャの設計に影響を与えてきました。
一例として、知覚は空間的にも時間的にも異なるスケールで発生し、さまざまなスケールで特定の特徴に注意を払うことで顕著な視覚情報の抽出がより効果的になる可能性があることを示唆しています。
生理学的プロセスによる身体の視覚的変化も、さまざまなスケールで、モダリティ固有の特徴的な特性で発生します。
これに触発されて、私たちは生理学的および行動測定のための効率的なアーキテクチャである BigSmall を紹介します。
最初の共同カメラベースの顔の動作、心臓、肺の測定モデルを紹介します。
精度と効率の両方を向上させる、ラップ時間シフト モジュールを備えたマルチブランチ ネットワークを提案します。
低レベルの機能を融合すると最適なパフォーマンスが得られませんが、高レベルの機能を融合すると、精度の損失は無視できる程度に効率が向上することがわかります。
実験結果は、BigSmall が計算コストを大幅に削減することを示しています。
さらに、既存のタスク固有のモデルと比較して、BigSmall は統合モデルを使用して同時に複数の生理学的測定タスクで同等以上の結果を達成します。

要約(オリジナル)

Understanding of human visual perception has historically inspired the design of computer vision architectures. As an example, perception occurs at different scales both spatially and temporally, suggesting that the extraction of salient visual information may be made more effective by paying attention to specific features at varying scales. Visual changes in the body due to physiological processes also occur at different scales and with modality-specific characteristic properties. Inspired by this, we present BigSmall, an efficient architecture for physiological and behavioral measurement. We present the first joint camera-based facial action, cardiac, and pulmonary measurement model. We propose a multi-branch network with wrapping temporal shift modules that yields both accuracy and efficiency gains. We observe that fusing low-level features leads to suboptimal performance, but that fusing high level features enables efficiency gains with negligible loss in accuracy. Experimental results demonstrate that BigSmall significantly reduces the computational costs. Furthermore, compared to existing task-specific models, BigSmall achieves comparable or better results on multiple physiological measurement tasks simultaneously with a unified model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google