A Review of Multimodal Explainable Artificial Intelligence: Past, Present and Future

要約

人工知能 (AI) は、計算能力の進歩と大規模なデータセットの増加によって急速に発展しました。
しかし、この進歩により、AI モデルの「ブラックボックス」の性質を解釈する際の課題も高まっています。
これらの懸念に対処するために、AI の意思決定プロセスにおける人間の理解と信頼を高めるために、透明性と解釈可能性に重点を置いた eXplainable AI (XAI) が登場しました。
マルチモーダル データの融合と複雑な推論シナリオのコンテキストにおいて、Multimodal eXplainable AI (MXAI) の提案は、予測タスクと説明タスクのための複数のモダリティを統合します。
一方、大規模言語モデル (LLM) の出現により、自然言語処理は目覚ましい進歩を遂げましたが、その複雑さが MXAI の問題をさらに悪化させています。
MXAI メソッドの開発に関する重要な洞察を獲得し、より透明性、公平性、信頼性の高い AI システムを構築するための重要なガイダンスを提供するために、私たちは MXAI メソッドを歴史的な観点からレビューし、それらを 4 つの時代 (従来の機械学習、深層学習、識別学習) に分類します。
基礎モデルと生成LLM。
また、MXAI 研究で使用される評価指標とデータセットをレビューし、将来の課題と方向性についての議論で締めくくります。
このレビューに関連するプロジェクトが https://github.com/ShilinSun/mxai_review に作成されています。

要約(オリジナル)

Artificial intelligence (AI) has rapidly developed through advancements in computational power and the growth of massive datasets. However, this progress has also heightened challenges in interpreting the ‘black-box’ nature of AI models. To address these concerns, eXplainable AI (XAI) has emerged with a focus on transparency and interpretability to enhance human understanding and trust in AI decision-making processes. In the context of multimodal data fusion and complex reasoning scenarios, the proposal of Multimodal eXplainable AI (MXAI) integrates multiple modalities for prediction and explanation tasks. Meanwhile, the advent of Large Language Models (LLMs) has led to remarkable breakthroughs in natural language processing, yet their complexity has further exacerbated the issue of MXAI. To gain key insights into the development of MXAI methods and provide crucial guidance for building more transparent, fair, and trustworthy AI systems, we review the MXAI methods from a historical perspective and categorize them across four eras: traditional machine learning, deep learning, discriminative foundation models, and generative LLMs. We also review evaluation metrics and datasets used in MXAI research, concluding with a discussion of future challenges and directions. A project related to this review has been created at https://github.com/ShilinSun/mxai_review.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google