PainNet: Statistical Relation Network with Episode-Based Training for Pain Estimation

要約

表情からの痛みを推定する際のスパンにもかかわらず、限られた作品は、患者によって報告され、診療所で一般的に使用されるシーケンスレベルの痛みの推定に焦点を合わせてきました。
この論文では、シーケンスレベルの痛みの推定のために設計されたPainnetと呼ばれる新しい統計関係ネットワークを紹介します。
Painnetは、痛みのビデオのペアを比較するために、埋め込みモジュールの2つの重要なモジュールを採用し、各ペアが同じ痛みカテゴリに属しているかどうかを示す関係スコアを生成します。
埋め込みモジュールのコアには、コンパクトなビデオレベルの機能を抽出するためにRNNの上部に取り付けられた統計レイヤーがあります。
統計層は、ディープアーキテクチャの一部として実装されています。
そうすることで、以前の研究で使用された複数のトレーニング段階を、単一のエンドツーエンドトレーニング段階に組み合わせることができます。
Painnetは、エピソードベースのトレーニングスキームを使用してトレーニングされます。これには、クエリビデオをさまざまな痛みカテゴリを表す一連のビデオと比較することが含まれます。
実験結果は、提案されたモデルで統計層とエピソードベースのトレーニングを使用する利点を示しています。
さらに、Painnetは、自己報告された痛みの推定に関する最先端の結果よりも優れています。

要約(オリジナル)

Despite the span in estimating pain from facial expressions, limited works have focused on estimating the sequence-level pain, which is reported by patients and used commonly in clinics. In this paper, we introduce a novel Statistical Relation Network, referred to as PainNet, designed for the estimation of the sequence-level pain. PainNet employs two key modules, the embedding and the relation modules, for comparing pairs of pain videos, and producing relation scores indicating if each pair belongs to the same pain category or not. At the core of the embedding module is a statistical layer mounted on the top of a RNN for extracting compact video-level features. The statistical layer is implemented as part of the deep architecture. Doing so, allows combining multiple training stages used in previous research, into a single end-to-end training stage. PainNet is trained using the episode-based training scheme, which involves comparing a query video with a set of videos representing the different pain categories. Experimental results show the benefit of using the statistical layer and the episode-based training in the proposed model. Furthermore, PainNet outperforms the state-of-the-art results on self-reported pain estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google