OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking

要約

オープンボキャブラリー状態追跡は、状態空間とエンティティ空間を制限することなく、プロセス全体にわたるエンティティの状態変化を追跡することを目的とした状態追跡のより実用的なバージョンです。
OpenPI は、これまでのところ、オープン語彙状態追跡用に注釈が付けられた唯一のデータセットです。
ただし、データセットの品質と評価指標に問題があることを確認しています。
データセットは、手順レベル、ステップレベル、状態変化レベルの3種類の問題をそれぞれ分類し、人間による複数回の判断を経てクリーンなデータセットOpenPI-Cを構築します。
評価メトリックについては、元のメトリックの繰り返し優先度を修正するクラスターベースのメトリックを提案します。
モデル的には、状態追跡のための 2 つの重要なプロパティ (時間依存性とエンティティ認識) を復元することで、seq2seq 生成ベースラインを強化します。
アクション後の世界の状態は、本質的に前の状態に依存します。
この依存関係を動的メモリ バンクを通じてモデル化し、デコード中にモデルがメモリ スロットに対応できるようにします。
一方、世界の状態は、当然のことながら、関係する主体の状態の結合です。
オープン語彙設定ではエンティティは未知であるため、最初の段階で予測されたエンティティに基づいて状態変化予測を改良する 2 段階モデル​​を提案します。
経験的な結果は、特にクラスターベースのメトリックに関して、提案したモデルの有効性を示しています。
コードとデータは https://github.com/shirley-wu/openpi-c で公開されています。

要約(オリジナル)

Open-vocabulary state tracking is a more practical version of state tracking that aims to track state changes of entities throughout a process without restricting the state space and entity space. OpenPI is to date the only dataset annotated for open-vocabulary state tracking. However, we identify issues with the dataset quality and evaluation metric. For the dataset, we categorize 3 types of problems on the procedure level, step level and state change level respectively, and build a clean dataset OpenPI-C using multiple rounds of human judgment. For the evaluation metric, we propose a cluster-based metric to fix the original metric’s preference for repetition. Model-wise, we enhance the seq2seq generation baseline by reinstating two key properties for state tracking: temporal dependency and entity awareness. The state of the world after an action is inherently dependent on the previous state. We model this dependency through a dynamic memory bank and allow the model to attend to the memory slots during decoding. On the other hand, the state of the world is naturally a union of the states of involved entities. Since the entities are unknown in the open-vocabulary setting, we propose a two-stage model that refines the state change prediction conditioned on entities predicted from the first stage. Empirical results show the effectiveness of our proposed model especially on the cluster-based metric. The code and data are released at https://github.com/shirley-wu/openpi-c

arxiv情報

提供元, 利用サービス

arxiv.jp, Google