Hoi2Anomaly: An Explainable Anomaly Detection Approach Guided by Human-Object Interaction

要約

画像の異常検出（IAD）の領域では、既存の方法はしばしば細粒の解釈可能なセマンティック情報の不足を示し、その結果、機械の幻想に敏感な異常なエンティティまたは活動が検出されます。
この欠陥は、しばしば、機械の幻想に敏感で十分な説明がない異常なエンティティまたは行動の検出につながります。
この論文では、HOI2ANOMALYと呼ばれる異常検出への新しいアプローチを提案します。これは、異常の正確な差別と局在を達成することを目的としています。
提案された方法論には、異常なシナリオでのヒトオブジェクト相互作用（HOI）ペアを含むマルチモーダル命令チューニングデータセットの構築が含まれます。
第二に、脅威シナリオでHOI抽出器を訓練し、異常なアクションとエンティティをローカライズし、一致させました。
最後に、視覚言語の事前トレーニング（VLP）フレームワークを微調整することにより、検出された異常なHOIの説明コンテンツが生成されます。
実験結果は、HOI2ANOMALYが精度と説明可能性の観点から既存の生成アプローチを上回ることを示しています。
異常検出の分野の進歩のためにHOI2ANOMALYを放出します。

要約(オリジナル)

In the domain of Image Anomaly Detection (IAD), Existing methods frequently exhibit a paucity of fine-grained, interpretable semantic information, resulting in the detection of anomalous entities or activities that are susceptible to machine illusions. This deficiency often leads to the detection of anomalous entities or actions that are susceptible to machine illusions and lack sufficient explanation. In this thesis, we propose a novel approach to anomaly detection, termed Hoi2Anomaly, which aims to achieve precise discrimination and localization of anomalies. The proposed methodology involves the construction of a multi-modal instruction tuning dataset comprising human-object interaction (HOI) pairs in anomalous scenarios. Second, we have trained an HOI extractor in threat scenarios to localize and match anomalous actions and entities. Finally, explanatory content is generated for the detected anomalous HOI by fine-tuning the visual language pretraining (VLP) framework. The experimental results demonstrate that Hoi2Anomaly surpasses existing generative approaches in terms of precision and explainability. We will release Hoi2Anomaly for the advancement of the field of anomaly detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google