Transferring Procedural Knowledge across Commonsense Tasks

要約

【タイトル】
コモンセンスタスク間での手順知識の転移

【要約】
・日常的な状況に関するストーリーは人間のコミュニケーションにおいて重要な役割を持ち、これらのストーリーを確実に理解するAIエージェントを開発する必要性がある。
・ストーリーの完結や手順理解のための教師あり学習の手法が多数存在するにも関わらず、AIには見たことのないストーリーの手順を自動的に追跡・説明するメカニズムがない。
・そこで、AIモデルが透明な形で新しい物語の手順知識を転送する能力を調査することを目的とした包括的なフレームワーク「LEAP」を設計した。
・自然言語と合成ストーリーの両方に基づく最新のモデリングアーキテクチャ、トレーニングレジーム、および増幅戦略を統合している。
・密集したアノテーションのトレーニングデータが不足していることに対処するために、フューショットのプロンプトに基づく堅牢な自動ラベラーを開発し、増幅されたデータを強化している。
・ドメイン内・外のタスクでの実験により、異なるアーキテクチャ、トレーニングレジーム、および増幅戦略の相互作用についての洞察が得られた。LEAPのラベラーは、ドメイン外データセットに明らかに正の影響を与え、結果として密密とした注釈が備わるようになった。

要約(オリジナル)

Stories about everyday situations are an essential part of human communication, motivating the need to develop AI agents that can reliably understand these stories. Despite the long list of supervised methods for story completion and procedural understanding, current AI has no mechanisms to automatically track and explain procedures in unseen stories. To bridge this gap, we study the ability of AI models to transfer procedural knowledge to novel narrative tasks in a transparent manner. We design LEAP: a comprehensive framework that integrates state-of-the-art modeling architectures, training regimes, and augmentation strategies based on both natural and synthetic stories. To address the lack of densely annotated training data, we devise a robust automatic labeler based on few-shot prompting to enhance the augmented data. Our experiments with in- and out-of-domain tasks reveal insights into the interplay of different architectures, training regimes, and augmentation strategies. LEAP’s labeler has a clear positive impact on out-of-domain datasets, while the resulting dense annotation provides native explainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI