Transferring Procedural Knowledge across Commonsense Tasks

要約

日常の状況に関するストーリーは人間のコミュニケーションに不可欠な部分であり、これらのストーリーを確実に理解できる AI エージェントを開発する必要性が生じています。
ストーリーの完成と手順の理解のための教師あり手法の長いリストにもかかわらず、現在の AI には、目に見えないストーリーの手順を自動的に追跡して説明するメカニズムがありません。
このギャップを埋めるために、私たちは透明な方法で手続き型知識を新しい物語タスクに転送する AI モデルの能力を研究します。
私たちは LEAP を設計します。これは、最先端のモデリング アーキテクチャ、トレーニング体制、自然ストーリーと合成ストーリーの両方に基づく拡張戦略を統合する包括的なフレームワークです。
密に注釈が付けられたトレーニング データの不足に対処するために、拡張データを強化するための少数ショット プロンプトに基づいた堅牢な自動ラベラーを考案しました。
ドメイン内およびドメイン外のタスクを使った実験により、さまざまなアーキテクチャ、トレーニング体制、拡張戦略の相互作用についての洞察が明らかになりました。
LEAP のラベラーは、ドメイン外のデータセットに明らかにプラスの影響を及ぼし、結果として得られる高密度のアノテーションによりネイティブな説明可能性が提供されます。

要約(オリジナル)

Stories about everyday situations are an essential part of human communication, motivating the need to develop AI agents that can reliably understand these stories. Despite the long list of supervised methods for story completion and procedural understanding, current AI has no mechanisms to automatically track and explain procedures in unseen stories. To bridge this gap, we study the ability of AI models to transfer procedural knowledge to novel narrative tasks in a transparent manner. We design LEAP: a comprehensive framework that integrates state-of-the-art modeling architectures, training regimes, and augmentation strategies based on both natural and synthetic stories. To address the lack of densely annotated training data, we devise a robust automatic labeler based on few-shot prompting to enhance the augmented data. Our experiments with in- and out-of-domain tasks reveal insights into the interplay of different architectures, training regimes, and augmentation strategies. LEAP’s labeler has a clear positive impact on out-of-domain datasets, while the resulting dense annotation provides native explainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google