Teaching Humans Subtle Differences with DIFFusion

要約

科学的専門知識には、ドメインの専門家にとっても明確にするのが難しい微妙な視覚的な違いを認識する必要があることがよくあります。
生成モデルを活用して、インスタンスのアイデンティティを保持しながら、カテゴリ間で最小限の識別機能を自動的に発見および視覚化するシステムを提示します。
私たちの方法は、クラス間の微妙なターゲットを絞った変換を伴う反事実的な視覚化を生成し、データがまばらであり、例が対応しておらず、カテゴリの境界が口頭での説明に抵抗するドメインでもうまく機能します。
ブラックホールシミュレーション、バタフライの分類法、医療イメージングを含む6つのドメインにわたる実験は、限られたトレーニングデータを備えた正確な遷移を示し、確立された識別機能とカテゴリの差別化を測定できるように測定できる新しい微妙な区別の両方を強調しています。
ユーザーの研究では、生成された反事実が、人間に微調整されたクラスを正しく区別するように教える際の従来のアプローチを大幅に上回り、視覚学習と科学的研究を進める生成モデルの可能性を示しています。

要約(オリジナル)

Scientific expertise often requires recognizing subtle visual differences that remain challenging to articulate even for domain experts. We present a system that leverages generative models to automatically discover and visualize minimal discriminative features between categories while preserving instance identity. Our method generates counterfactual visualizations with subtle, targeted transformations between classes, performing well even in domains where data is sparse, examples are unpaired, and category boundaries resist verbal description. Experiments across six domains, including black hole simulations, butterfly taxonomy, and medical imaging, demonstrate accurate transitions with limited training data, highlighting both established discriminative features and novel subtle distinctions that measurably improved category differentiation. User studies confirm our generated counterfactuals significantly outperform traditional approaches in teaching humans to correctly differentiate between fine-grained classes, showing the potential of generative models to advance visual learning and scientific research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google