ParallelPARC: A Scalable Pipeline for Generating Natural-Language Analogies

要約

類推は人間の認知の中心であり、これにより新しい状況に適応できるようになります。これは現在の AI システムにはまだ欠けている能力です。
現在のほとんどの類推データセットは、単純な類推 (単語の類推など) に焦点を当てています。
複雑なタイプのアナロジーを含むデータセットは通常、手動でキュレーションされ、非常に小規模です。
これが計算アナロジーの進歩を妨げていると私たちは考えています。
この作業では、最先端の大規模言語モデル (LLM) を活用したデータ生成パイプライン ParallelPARC (Parallel Paragraph Creator) を設計し、複雑な段落ベースのアナロジーと、単純かつ困難なディストラクターを作成します。
私たちはパイプラインを実証し、科学プロセス間の類似性のデータセットである ProPara-Logy を作成します。
人間によって検証されたゴールド セットと、自動的に生成されたシルバー セットを公開します。
私たちは LLM と人間の類似認識を二項選択および多肢選択の設定でテストし、軽い監視の後では人間が最良のモデルを上回るパフォーマンス (最大 13% の差) を発見しました。
シルバーセットがモデルのトレーニングに役立つことを示します。
最後に、挑戦的な気を散らすものは LLM を混乱させるが、人間は混乱させないことを示します。
私たちのパイプラインがこの新興分野の研究を促進することを願っています。

要約(オリジナル)

Analogy-making is central to human cognition, allowing us to adapt to novel situations — an ability that current AI systems still lack. Most analogy datasets today focus on simple analogies (e.g., word analogies); datasets including complex types of analogies are typically manually curated and very small. We believe that this holds back progress in computational analogy. In this work, we design a data generation pipeline, ParallelPARC (Parallel Paragraph Creator) leveraging state-of-the-art Large Language Models (LLMs) to create complex, paragraph-based analogies, as well as distractors, both simple and challenging. We demonstrate our pipeline and create ProPara-Logy, a dataset of analogies between scientific processes. We publish a gold-set, validated by humans, and a silver-set, generated automatically. We test LLMs’ and humans’ analogy recognition in binary and multiple-choice settings, and found that humans outperform the best models (~13% gap) after a light supervision. We demonstrate that our silver-set is useful for training models. Lastly, we show challenging distractors confuse LLMs, but not humans. We hope our pipeline will encourage research in this emerging field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google