Reasoning Inconsistencies and How to Mitigate Them in Deep Learning

要約

近年のディープラーニングモデルと技術の進歩により、多様なタスクやモダリティにおけるパフォーマンスが飛躍的に向上している。しかし、モデルの全体的な能力は有望な成長を示しているものの、その内部推論プロセスに関する理解はまだ限られており、特に論理的または推論的欠陥の系統的な矛盾やエラーパターンに関する理解が不十分である。このような矛盾は、矛盾した出力、類似のタスク間での一般化の失敗、特定の文脈での誤った結論として現れることがある。このような推論の不一致を検出し測定することは、不透明な内部手順、トレーニングデータの偏りや不均衡、またはタスクの本質的な複雑性から生じる可能性があるため、困難である。これらのエラーを検出、測定、緩和する効果的な方法がなければ、偏った、悪用可能な、あるいは論理的に信頼できないモデルを展開する危険性がある。本論文は、知識グラフ、自然言語、画像を推論する深層学習モデルのための新しい手法を生み出すことにより、これらの問題に対処することを目的とする。本論文は、自然言語と画像処理モデルにおける不透明な内部手続きに由来する予測矛盾を検出し定量化するための2つの技術を提供する。また、学習データの偏りに起因する矛盾を緩和するために、公平性と性能を向上させるデータ効率的なサンプリング手法と、低リソースシナリオにおける合成データセット生成手法を提案する。最後に、本論文は複雑な推論タスクに対してモデルを最適化する2つの手法を提供する。これらの手法は、推論中により忠実で解釈可能な探索と利用を可能にしながら、モデルの性能を向上させる。本論文は、多様なタスクやモダリティにおける深層学習モデルの頑健性、公平性、解釈可能性を向上させるための包括的なフレームワークを提供する。

要約(オリジナル)

The recent advancements in Deep Learning models and techniques have led to significant strides in performance across diverse tasks and modalities. However, while the overall capabilities of models show promising growth, our understanding of their internal reasoning processes remains limited, particularly concerning systematic inconsistencies or errors patterns of logical or inferential flaws. These inconsistencies may manifest as contradictory outputs, failure to generalize across similar tasks, or erroneous conclusions in specific contexts. Even detecting and measuring such reasoning discrepancies is challenging, as they may arise from opaque internal procedures, biases and imbalances in training data, or the inherent complexity of the task. Without effective methods to detect, measure, and mitigate these errors, there is a risk of deploying models that are biased, exploitable, or logically unreliable. This thesis aims to address these issues by producing novel methods for deep learning models that reason over knowledge graphs, natural language, and images. The thesis contributes two techniques for detecting and quantifying predictive inconsistencies originating from opaque internal procedures in natural language and image processing models. To mitigate inconsistencies from biases in training data, this thesis presents a data efficient sampling method to improve fairness and performance and a synthetic dataset generation approach in low resource scenarios. Finally, the thesis offers two techniques to optimize the models for complex reasoning tasks. These methods enhance model performance while allowing for more faithful and interpretable exploration and exploitation during inference. Critically, this thesis provides a comprehensive framework to improve the robustness, fairness, and interpretability of deep learning models across diverse tasks and modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL