Neural Comprehension: Language Models with Compiled Neural Networks

要約

タイトル：Neural Comprehension：コンパイルされたニューラルネットワークを持つ言語モデル

要約：

– 自然言語処理タスクの分野で、言語モデルは素晴らしい成果を上げているが、それらは暗黙的にデータからルールを学ぶことに起因するため、記号操作や算術操作を行う能力に制限がある。
– 我々は、特別に設計された重みを持つコンパイルされたニューラルネットワーク（CoNNs）を言語モデルのアーキテクチャに組み込むことで、勾配によってトレーニングされた言語モデルが完全にルール理解能力を獲得できるようにする方法を探求している。
– コンパイルされたニューラルネットワークの組み込みは、トレーニングデータのパターン認識以上に抽象的なルールのより深い理解を必要とする領域において、複合タスクにおいて言語モデルのパフォーマンスを向上する有望な方向性を提供する。
– 我々の「Neural Comprehension」と呼ばれる方法は、記号操作において絶対的な精度を達成することで、言語モデルがルール推論、記号推論、算術推論の能力を向上させるのに役立つ。
– 私たちのコードは次のURLで公開されています：\url {https：//github.com/WENGSYX/Neural-Comprehension}。

要約(オリジナル)

Language models have achieved impressive results in natural language processing tasks, but their ability to perform symbolic operations and arithmetic operations, remains limited, which attribute to their learn the rules implicitly from data. We explore how to incorporate compiled neural networks (CoNNs) which weight is specially designed, into the architecture of language models to enable the language model trained by gradient to obtain fully rule comprehension ability. The incorporation of compiled neural networks offers a promising direction for improving the performance of language models on compound tasks, particularly in areas that require a deeper comprehension of abstract rules beyond recognizing patterns in training data. Our method, which call ‘Neural Comprehension’, helps language models achieve absolute accuracy in symbolic operations, thereby enhancing their ability for rule reasoning, symbolic reasoning, and arithmetic reasoning. Our code is publicly available at: \url{https://github.com/WENGSYX/Neural-Comprehension}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI