ThoughtSource: A central hub for large language model reasoning data

要約

GPT-4 などの大規模言語モデル (LLM) は、最近、幅広いタスクにわたって目覚ましい結果を示しています。
しかし、LLM は複雑な推論で失敗することが多く、推論プロセスが不透明で、事実を「幻覚」させる傾向があり、根底にあるバイアスに関する懸念があるという点で依然として限界があります。
モデルに推論ステップを自然言語として言語化させる、思考連鎖プロンプティングとして知られる手法が、これらの問題のいくつかに対処する方法として最近提案されています。
ここでは、思考連鎖 (CoT) 推論のためのメタデータセットおよびソフトウェア ライブラリである ThoughtSource を紹介します。
ThoughtSourceの目標は、CoTの定性的理解を促進し、経験的評価を可能にし、トレーニングデータを提供することによって、将来の人工知能システムを改善することです。
ThoughtSource のこの最初のリリースには、6 つの科学/医学データセット、3 つの一般領域データセット、および 5 つの数学の単語質問応答データセットが統合されています。

要約(オリジナル)

Large language models (LLMs) such as GPT-4 have recently demonstrated impressive results across a wide range of tasks. LLMs are still limited, however, in that they frequently fail at complex reasoning, their reasoning processes are opaque, they are prone to ‘hallucinate’ facts, and there are concerns about their underlying biases. Letting models verbalize reasoning steps as natural language, a technique known as chain-of-thought prompting, has recently been proposed as a way to address some of these issues. Here we present ThoughtSource, a meta-dataset and software library for chain-of-thought (CoT) reasoning. The goal of ThoughtSource is to improve future artificial intelligence systems by facilitating qualitative understanding of CoTs, enabling empirical evaluations, and providing training data. This first release of ThoughtSource integrates six scientific/medical, three general-domain and five math word question answering datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google