DisguisOR: Holistic Face Anonymization for the Operating Room

要約

目的: 外科データ サイエンス (SDS) の最近の進歩により、病院環境からのビデオ録画の増加に貢献しています。
外科ワークフロー認識などの方法は患者ケアの質を向上させる可能性を示していますが、ビデオデータの量は画像を手動で匿名化できる規模を超えています。
既存の自動化された 2D 匿名化手法は、閉塞や障害物のため、手術室 (OR) では十分なパフォーマンスを発揮できません。
私たちは、複数のカメラ ストリームからの 3D データを使用して、マルチビュー OR 録画を匿名化することを提案します。
方法: 複数のカメラからの RGB および深度画像がシーンの 3D 点群表現に融合されます。
次に、検出された 3D 人間のキーポイントにパラメトリック ヒューマン メッシュ モデルを回帰し、顔のメッシュを融合された 3D 点群と位置合わせすることで、3D で各個人の顔を検出します。
メッシュ モデルは、取得されたすべてのカメラ ビューにレンダリングされ、各個人の顔を置き換えます。
結果: 私たちの方法は、既存のアプローチよりも高い確率で顔を特定することができる可能性を示しています。
DisguisOR は、カメラ ビューごとに幾何学的に一貫した匿名化を生成し、下流のタスクへの悪影響が少ない、より現実的な匿名化を可能にします。
結論: 手術室では障害物や混雑が頻繁に発生するため、既製の匿名化方法には改善の余地が大きく残されています。
DisguisOR はシーン レベルでプライバシーに対処し、SDS でのさらなる研究を促進する可能性があります。

要約(オリジナル)

Purpose: Recent advances in Surgical Data Science (SDS) have contributed to an increase in video recordings from hospital environments. While methods such as surgical workflow recognition show potential in increasing the quality of patient care, the quantity of video data has surpassed the scale at which images can be manually anonymized. Existing automated 2D anonymization methods under-perform in Operating Rooms (OR), due to occlusions and obstructions. We propose to anonymize multi-view OR recordings using 3D data from multiple camera streams. Methods: RGB and depth images from multiple cameras are fused into a 3D point cloud representation of the scene. We then detect each individual’s face in 3D by regressing a parametric human mesh model onto detected 3D human keypoints and aligning the face mesh with the fused 3D point cloud. The mesh model is rendered into every acquired camera view, replacing each individual’s face. Results: Our method shows promise in locating faces at a higher rate than existing approaches. DisguisOR produces geometrically consistent anonymizations for each camera view, enabling more realistic anonymization that is less detrimental to downstream tasks. Conclusion: Frequent obstructions and crowding in operating rooms leaves significant room for improvement for off-the-shelf anonymization methods. DisguisOR addresses privacy on a scene level and has the potential to facilitate further research in SDS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google