Harnessing the Power of Multi-Task Pretraining for Ground-Truth Level Natural Language Explanations

要約

自然言語による説明は、最近の VL-NLE モデルで追求されているように、複雑な視覚言語タスクにおけるニューラル ネットワークの決定プロセスの直感的に理解できる説明を提供することを約束します。
現在のモデルは、タスクの正確性と説明の妥当性に関して優れたパフォーマンスを提供しますが、さまざまな問題に悩まされています。一部のモデルは、説明生成モジュールがタスク回答予測用の別のモジュールと十分に統合されていないモジュール設計を特徴としており、トレーニングされたバックボーン モデルを採用しています。
限定された一連のタスク、またはアドホック ソリューションを組み込んで、単一のデータセットでのパフォーマンスを向上させることができます。
生成的な Transformer モデルの大規模なマルチタスク事前トレーニングにおける最近の進歩を VL-NLE タスクの問題に適用することにより、これらの制限を回避することを提案します。
私たちのアプローチは、最近のモデルよりも大幅に優れており、人間のアノテーターは、評価された 3 つのデータセットのうち 2 つにおいて、グラウンド トゥルースよりも生成された説明を好みます。
VL-NLE 研究における新たな課題として、マルチタスク VL-NLE の問題を提案し、複数のタスクを共同でトレーニングすることで説明の質が向上することを示します。
最近の VL-NLE 研究における高品質の NLE 生成とその他の問題の倫理的影響について説明します。

要約(オリジナル)

Natural language explanations promise to offer intuitively understandable explanations of a neural network’s decision process in complex vision-language tasks, as pursued in recent VL-NLE models. While current models offer impressive performance on task accuracy and explanation plausibility, they suffer from a range of issues: Some models feature a modular design where the explanation generation module is poorly integrated with a separate module for task-answer prediction, employ backbone models trained on limited sets of tasks, or incorporate ad hoc solutions to increase performance on single datasets. We propose to evade these limitations by applying recent advances in large-scale multi-task pretraining of generative Transformer models to the problem of VL-NLE tasks. Our approach outperforms recent models by a large margin, with human annotators preferring the generated explanations over the ground truth in two out of three evaluated datasets. As a novel challenge in VL-NLE research, we propose the problem of multi-task VL-NLE and show that jointly training on multiple tasks can increase the explanation quality. We discuss the ethical implications of high-quality NLE generation and other issues in recent VL-NLE research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google