DLBacktrace: A Model Agnostic Explainability for any Deep Learning Models

要約

人工知能の急速な進歩により、深層学習モデルはますます洗練されており、意思決定プロセスの透明性が限られた不透明な「ブラック ボックス」として動作することがよくあります。
この解釈可能性の欠如は、特にモデルの出力の背後にある理論的根拠を理解することが出力自体と同じくらい重要である一か八かのアプリケーションにおいて、かなりの課題を引き起こします。
この研究は、AI システムにおける解釈可能性の差し迫ったニーズに対処し、信頼の醸成、説明責任の確保、ミッションクリティカルな分野での責任ある展開の促進における AI システムの役割を強調しています。
深層学習における解釈可能性の課題に対処するために、単純な多層パーセプトロン (MLP)、畳み込みニューラル ネットワーク (CNN)、大規模言語など、幅広いドメインにわたるモデルの決定を明らかにするために AryaXAI チームによって開発された革新的な技術である DLBacktrace を導入します。
モデル (LLM)、コンピューター ビジョン モデルなど。
DLBacktrace アルゴリズムの包括的な概要を提供し、さまざまなタスクベースのメトリクスを使用して、SHAP、LIME、GradCAM、統合勾配、SmoothGrad、およびアテンション ロールアウトなどの確立された解釈可能性手法とそのパフォーマンスを比較するベンチマーク結果を示します。
提案された DLBacktrace 手法は、PyTorch や TensorFlow で構築されたさまざまなモデル アーキテクチャと互換性があり、Llama 3.2 などのモデル、BERT や LSTM などの他の NLP アーキテクチャ、ResNet や U-Net などのコンピュータ ビジョン モデル、カスタム ディープ ニューラル ネットワーク (DNN) をサポートしています。
) 表形式データのモデル。
この柔軟性は、幅広いアプリケーションにわたってモデルの透明性を高める上での DLBacktrace の適応性と有効性を強調しています。
このライブラリはオープンソースであり、 https://github.com/AryaXAI/DLBacktrace から入手できます。

要約(オリジナル)

The rapid advancement of artificial intelligence has led to increasingly sophisticated deep learning models, which frequently operate as opaque ‘black boxes’ with limited transparency in their decision-making processes. This lack of interpretability presents considerable challenges, especially in high-stakes applications where understanding the rationale behind a model’s outputs is as essential as the outputs themselves. This study addresses the pressing need for interpretability in AI systems, emphasizing its role in fostering trust, ensuring accountability, and promoting responsible deployment in mission-critical fields. To address the interpretability challenge in deep learning, we introduce DLBacktrace, an innovative technique developed by the AryaXAI team to illuminate model decisions across a wide array of domains, including simple Multi Layer Perceptron (MLPs), Convolutional Neural Networks (CNNs), Large Language Models (LLMs), Computer Vision Models, and more. We provide a comprehensive overview of the DLBacktrace algorithm and present benchmarking results, comparing its performance against established interpretability methods, such as SHAP, LIME, GradCAM, Integrated Gradients, SmoothGrad, and Attention Rollout, using diverse task-based metrics. The proposed DLBacktrace technique is compatible with various model architectures built in PyTorch and TensorFlow, supporting models like Llama 3.2, other NLP architectures such as BERT and LSTMs, computer vision models like ResNet and U-Net, as well as custom deep neural network (DNN) models for tabular data. This flexibility underscores DLBacktrace’s adaptability and effectiveness in enhancing model transparency across a broad spectrum of applications. The library is open-sourced and available at https://github.com/AryaXAI/DLBacktrace .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google