Collecting Interactive Multi-modal Datasets for Grounded Language Understanding

要約

人間の知性は、新しいタスクや環境に驚くほど迅速に適応できます。
人間は幼い頃から新しいスキルを習得し、他の人の行動を真似たり、与えられた自然言語の指示に従って新しいタスクを解決する方法を学んだりします。
機械で同様の機能を可能にする研究を促進するために、次の貢献を行いました。
(2) 広範かつスケーラブルなデータ収集のためのツールを開発しました。
(3) インタラクティブな言語理解のための最初のデータセットを収集しました。

要約(オリジナル)

Human intelligence can remarkably adapt quickly to new tasks and environments. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research which can enable similar capabilities in machines, we made the following contributions (1) formalized the collaborative embodied agent using natural language task; (2) developed a tool for extensive and scalable data collection; and (3) collected the first dataset for interactive grounded language understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google