A Survey on Interpretable Cross-modal Reasoning

要約

近年、さまざまなモダリティを超えて理解および推論するプロセスであるクロスモーダル推論 (CMR) が、マルチメディア分析から医療診断にまで及ぶアプリケーションを備えた重要な分野として浮上しています。
AI システムの導入がより普及するにつれて、これらのシステムの意思決定プロセスにおける透明性とわかりやすさに対する要求が高まっています。
この調査は、解釈可能なクロスモーダル推論 (I-CMR) の領域を掘り下げており、その目的は、高い予測パフォーマンスを達成するだけでなく、結果について人間が理解できる説明を提供することです。
この調査では、I-CMR の 3 レベルの分類による典型的な手法の包括的な概要が示されています。
さらに、この調査では、説明のための注釈を付けて既存の CMR データセットをレビューします。
最後に、この調査では I-CMR の課題を要約し、潜在的な将来の方向性について議論します。
結論として、この調査は、研究者にパノラマ的かつ包括的な視点を提供し、最先端の技術を明らかにし、機会を識別することで、この新たな研究分野の進歩を促進することを目的としています。
要約されたメソッド、データセット、およびその他のリソースは、https://github.com/ZuyiZhou/Awesome-Interpretable-Cross-modal-Reasoning で入手できます。

要約(オリジナル)

In recent years, cross-modal reasoning (CMR), the process of understanding and reasoning across different modalities, has emerged as a pivotal area with applications spanning from multimedia analysis to healthcare diagnostics. As the deployment of AI systems becomes more ubiquitous, the demand for transparency and comprehensibility in these systems’ decision-making processes has intensified. This survey delves into the realm of interpretable cross-modal reasoning (I-CMR), where the objective is not only to achieve high predictive performance but also to provide human-understandable explanations for the results. This survey presents a comprehensive overview of the typical methods with a three-level taxonomy for I-CMR. Furthermore, this survey reviews the existing CMR datasets with annotations for explanations. Finally, this survey summarizes the challenges for I-CMR and discusses potential future directions. In conclusion, this survey aims to catalyze the progress of this emerging research area by providing researchers with a panoramic and comprehensive perspective, illuminating the state of the art and discerning the opportunities. The summarized methods, datasets, and other resources are available at https://github.com/ZuyiZhou/Awesome-Interpretable-Cross-modal-Reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google