The Heat is On: Thermal Facial Landmark Tracking

要約

熱画像の顔のランドマーク追跡では、照明と陰影を省いて被写体の温度を示す熱画像の画像を使用して、被写体の顔の特定の重要な領域を追跡する必要があります。
特定の場所の熱の変動は、血流や発汗などの生理学的変化を反映しており、不安や興奮などを遠隔から測定するために使用できます。
この分野におけるこれまでの研究は、非常に限られた一連のアーキテクチャと技術のみに限定されてきました。
この研究は、残留接続、チャネル、機能ごとの注意などのさまざまなコンポーネントを備えたさまざまなモデルの包括的なスーツを試すことによってさらに前進し、ネットワークのコンポーネントをアンサンブルして並行して動作させる実践も行います。
最良のモデルは、畳み込み層と残差層を統合し、その後にチャネルごとのセルフアテンション層を統合しており、必要なパラメーターは 100K 未満です。

要約(オリジナル)

Facial landmark tracking for thermal images requires tracking certain important regions of subjects’ faces, using images from thermal images, which omit lighting and shading, but show the temperatures of their subjects. The fluctuations of heat in particular places reflect physiological changes like bloodflow and perspiration, which can be used to remotely gauge things like anxiety and excitement. Past work in this domain has been limited to only a very limited set of architectures and techniques. This work goes further by trying a comprehensive suit of various models with different components, such as residual connections, channel and feature-wise attention, as well as the practice of ensembling components of the network to work in parallel. The best model integrated convolutional and residual layers followed by a channel-wise self-attention layer, requiring less than 100K parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google