Position and Orientation-Aware One-Shot Learning for Medical Action Recognition from Signal Data

要約

この研究では、信号データから医療行為を認識するための、位置と方向を意識したワンショット学習フレームワークを提案します。
提案されたフレームワークは 2 つのステージで構成され、各ステージには信号レベル画像生成 (SIG)、クロスアテンション (CsA)、ダイナミック タイム ワーピング (DTW) モジュール、および提案されたプライバシーを保護する位置と方向の機能の間の情報融合が含まれます。
提案された SIG 手法は、生のスケルトン データをトレーニング用にプライバシーが保護された特徴に変換することを目的としています。
CsA モジュールは、同様の医療行為関連の問題に対処することを目的として、医療行為の認識バイアスを軽減し、特定の行為ごとに人体の重要な部分にさらに焦点を当てるようにネットワークをガイドするために開発されました。
さらに、DTW モジュールを使用して、インスタンス間の時間的な不一致を最小限に抑え、モデルのパフォーマンスをさらに向上させます。
さらに、提案されたプライバシーが保護された方向レベルの特徴は、医療行為の認識パフォーマンスを向上させるための 2 つの段階の両方で位置レベルの特徴を支援するために利用されます。
広く使用されよく知られている NTU RGB+D 60、NTU RGB+D 120、および PKU-MMD データセットに関する広範な実験結果はすべて、他の最先端の方法を上回る、提案された方法の有効性を実証しています。
一般的なデータセット分割はそれぞれ 2.7%、6.2%、4.1% です。

要約(オリジナル)

In this work, we propose a position and orientation-aware one-shot learning framework for medical action recognition from signal data. The proposed framework comprises two stages and each stage includes signal-level image generation (SIG), cross-attention (CsA), dynamic time warping (DTW) modules and the information fusion between the proposed privacy-preserved position and orientation features. The proposed SIG method aims to transform the raw skeleton data into privacy-preserved features for training. The CsA module is developed to guide the network in reducing medical action recognition bias and more focusing on important human body parts for each specific action, aimed at addressing similar medical action related issues. Moreover, the DTW module is employed to minimize temporal mismatching between instances and further improve model performance. Furthermore, the proposed privacy-preserved orientation-level features are utilized to assist the position-level features in both of the two stages for enhancing medical action recognition performance. Extensive experimental results on the widely-used and well-known NTU RGB+D 60, NTU RGB+D 120, and PKU-MMD datasets all demonstrate the effectiveness of the proposed method, which outperforms the other state-of-the-art methods with general dataset partitioning by 2.7%, 6.2% and 4.1%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google