Optimising Human-AI Collaboration by Learning Convincing Explanations

要約

準自動運転車から臨床意思決定支援システムに至るまで、複雑で影響の大きい意思決定を下したり、意思決定を支援したりするために、機械学習モデルの導入が増えています。
これは、特にモデルに検出が困難な障害モードがあり、見落とされることなくアクションを実行できる場合に課題を引き起こします。
この課題に対処するために、私たちは、人間が最終的に意思決定を行う一方で、解釈可能な説明を用いてモデルに説得し議論する最良の機会を与えることで、安全性を維持する協力システムの方法を提案します。
ただし、最も役立つ説明は個人によって異なり、述べられた好みによって一貫性がない場合もあります。
この目的を達成するために、私たちはインタラクションを通じてランキングを効率的に学習し、人間がタスクを完了するのを最大限に支援するアルゴリズム Ardent を開発しました。
協力的なアプローチを活用することで、透明性と説明責任の問題に対処しながら、安全性を確保し、パフォーマンスを向上させることができます。
Ardent は、説明に対する個人の好みに適応することで、効率的かつ効果的な意思決定を可能にします。これは、困難な画像分類タスクを伴うユーザー調査と並行して広範なシミュレーションを通じて検証され、競合システムと比べて一貫した改善が実証されています。

要約(オリジナル)

Machine learning models are being increasingly deployed to take, or assist in taking, complicated and high-impact decisions, from quasi-autonomous vehicles to clinical decision support systems. This poses challenges, particularly when models have hard-to-detect failure modes and are able to take actions without oversight. In order to handle this challenge, we propose a method for a collaborative system that remains safe by having a human ultimately making decisions, while giving the model the best opportunity to convince and debate them with interpretable explanations. However, the most helpful explanation varies among individuals and may be inconsistent across stated preferences. To this end we develop an algorithm, Ardent, to efficiently learn a ranking through interaction and best assist humans complete a task. By utilising a collaborative approach, we can ensure safety and improve performance while addressing transparency and accountability concerns. Ardent enables efficient and effective decision-making by adapting to individual preferences for explanations, which we validate through extensive simulations alongside a user study involving a challenging image classification task, demonstrating consistent improvement over competing systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google