ThoughtSource: A central hub for large language model reasoning data

要約

GPT-3 や ChatGPT などの大規模言語モデル (LLM) は、最近、幅広いタスクにわたって印象的な結果を示しました。
しかし、LLM は、複雑な推論に失敗することが多く、推論プロセスが不透明であり、事実を「幻覚」にしがちであり、根底にあるバイアスについて懸念があるという点で、まだ限界があります。
これらの問題のいくつかに対処する方法として、モデルに推論ステップを自然言語として言語化させる、思考連鎖プロンプティングとして知られる手法が最近提案されました。
ここでは、思考連鎖 (CoT) 推論用のメタデータセットおよびソフトウェア ライブラリである、ThoughtSource の最初のリリースを紹介します。
ThoughtSource の目標は、CoT の定性的理解を促進し、経験的評価を可能にし、トレーニング データを提供することにより、将来の人工知能システムを改善することです。
このソートソースの最初のリリースでは、6 つの科学/医療、3 つの一般分野、5 つの数学用語の質問応答データセットが統合されています。

要約(オリジナル)

Large language models (LLMs) such as GPT-3 and ChatGPT have recently demonstrated impressive results across a wide range of tasks. LLMs are still limited, however, in that they frequently fail at complex reasoning, their reasoning processes are opaque, they are prone to ‘hallucinate’ facts, and there are concerns about their underlying biases. Letting models verbalize reasoning steps as natural language, a technique known as chain-of-thought prompting, has recently been proposed as a way to address some of these issues. Here we present the first release of ThoughtSource, a meta-dataset and software library for chain-of-thought (CoT) reasoning. The goal of ThoughtSource is to improve future artificial intelligence systems by facilitating qualitative understanding of CoTs, enabling empirical evaluations, and providing training data. This first release of ThoughtSource integrates six scientific/medical, three general-domain and five math word question answering datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google