ILLC: Iterative Layer-by-Layer Compression for Enhancing Structural Faithfulness in SpArX

要約

説明可能な人工知能（XAI）の分野では、隠されたノードを議論として解釈することにより、深い神経ネットワークの内部推論プロセスをより透明な方法で表現するために、論争的なXAIアプローチが提案されています。
ただし、層の数が増えると、既存の圧縮方法が一度にすべての層を単純化するため、蓄積された情報の損失が高くなります。
これを補うために、各層が個別に圧縮され、次のレイヤーの還元誤差が直ちに補償され、モデルの全体的な入出力と構造的忠実度を改善する反復層ごとの圧縮技術を提案します。
乳がん診断データセットの実験は、従来の圧縮と比較して、この方法が入出力と構造的不誠実さを減らし、議論の説明スキームでより一貫した攻撃サポート関係を維持することを示しています。
これは、歪みなしで内部推論ロジックを伝えながら、複雑なMLPモデルをよりコンパクトにする新しい方法を提供するため、重要です。

要約(オリジナル)

In the field of Explainable Artificial Intelligence (XAI), argumentative XAI approaches have been proposed to represent the internal reasoning process of deep neural networks in a more transparent way by interpreting hidden nodes as arguements. However, as the number of layers increases, existing compression methods simplify all layers at once, which lead to high accumulative information loss. To compensate for this, we propose an iterative layer-by-layer compression technique in which each layer is compressed separately and the reduction error in the next layer is immediately compensated for, thereby improving the overall input-output and structural fidelity of the model. Experiments on the Breast Cancer Diagnosis dataset show that, compared to traditional compression, the method reduces input-output and structural unfaithfulness, and maintains a more consistent attack-support relationship in the Argumentative Explanation scheme. This is significant because it provides a new way to make complex MLP models more compact while still conveying their internal inference logic without distortion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google