Unsupervised Task Graph Generation from Instructional Video Transcripts

要約

タイトル：Unsupervised Task Graph Generation from Instructional Video Transcripts（教育映像のテキストトランスクリプトからの自己学習タスクグラフ生成）

要約：

– 本論文は、現実世界でのアクティビティのタスクグラフを生成する問題を探究するものである。
– 以前の定式化とは異なり、実世界の活動（例：コーヒーを作る）を行う教育映像のテキストトランスクリプトが提供され、タスクに関連する主要なステップとこれらの主要ステップ間の依存関係を特定することを目的としている。
– 完全な自己学習方法で正確なタスクグラフを生成するために、指示語に調整された言語モデルの推論能力とクラスタリングおよびランキングのコンポーネントを組み合わせた、画期的なタスクグラフ生成アプローチを提案する。
– 提案手法が、ProceLとCrossTaskのデータセットのタスクに対して、教師あり学習アプローチと比較してより正確なタスクグラフを生成することを示す。

要約(オリジナル)

This work explores the problem of generating task graphs of real-world activities. Different from prior formulations, we consider a setting where text transcripts of instructional videos performing a real-world activity (e.g., making coffee) are provided and the goal is to identify the key steps relevant to the task as well as the dependency relationship between these key steps. We propose a novel task graph generation approach that combines the reasoning capabilities of instruction-tuned language models along with clustering and ranking components to generate accurate task graphs in a completely unsupervised manner. We show that the proposed approach generates more accurate task graphs compared to a supervised learning approach on tasks from the ProceL and CrossTask datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI