Blackbird language matrices (BLM), a new task for rule-like generalization in neural networks: Motivations and Formal Specifications

要約

私たちは、大規模な言語モデルにおけるルールのような一般化を微調整するための新しいタスクを動機付け、正式に定義します。
現在の LLM の欠点は、一般化する能力の欠如によるものと推測されます。
むしろ、人間は複雑なデータからルールを抽出する傾向があるため、一般化が得意であると主張されています。
私たちは、この傾向をルールに基づいて一般化する傾向を再現しようと試みます。
視覚的な RAVEN IQ テストなど、分析的知能のテストを受けると、人間の問題解決者は、画像内の関連するオブジェクトとその関連する属性を識別し、これらのオブジェクトと属性に適用されるルールに基づいて理由を特定します。
誘導されたルールに基づいて、テストに対する解決策を提供できます。
このIQタスクを言語に翻訳するタスクを提案します。
このペーパーでは、タスクの正式な仕様とそのデータセットの生成プロセスを提供します。

要約(オリジナル)

We motivate and formally define a new task for fine-tuning rule-like generalization in large language models. It is conjectured that the shortcomings of current LLMs are due to a lack of ability to generalize. It has been argued that, instead, humans are better at generalization because they have a tendency at extracting rules from complex data. We try to recreate this tendency to rule-based generalization. When exposed to tests of analytic intelligence, for example, the visual RAVEN IQ test, human problem-solvers identify the relevant objects in the picture and their relevant attributes and reason based on rules applied to these objects and attributes. Based on the induced rules, they are able to provide a solution to the test. We propose a task that translates this IQ task into language. In this paper, we provide the formal specification for the task and the generative process of its datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google