Boolformer: Symbolic Regression of Logic Functions with Transformers

要約

この研究では、ブール関数のエンドツーエンドのシンボリック回帰を実行するようにトレーニングされた最初の Transformer アーキテクチャである Boolformer を紹介します。
まず、クリーンな真理値表が提供された場合、トレーニング中には見ら​​れなかった複雑な関数のコンパクトな式を予測できることを示します。
次に、不完全でノイズの多い観測が提供された場合に近似式を見つける能力を実証します。
私たちは現実世界の広範なバイナリ分類データセットで Boolformer を評価し、古典的な機械学習手法に代わる解釈可能な代替手段としての可能性を実証しています。
最後に、それを遺伝子制御ネットワークのダイナミクスをモデル化するという広範なタスクに適用します。
最近のベンチマークを使用して、Boolformer が最先端の遺伝的アルゴリズムと競合し、数桁の速度向上を実現していることを示します。
私たちのコードとモデルは公開されています。

要約(オリジナル)

In this work, we introduce Boolformer, the first Transformer architecture trained to perform end-to-end symbolic regression of Boolean functions. First, we show that it can predict compact formulas for complex functions which were not seen during training, when provided a clean truth table. Then, we demonstrate its ability to find approximate expressions when provided incomplete and noisy observations. We evaluate the Boolformer on a broad set of real-world binary classification datasets, demonstrating its potential as an interpretable alternative to classic machine learning methods. Finally, we apply it to the widespread task of modelling the dynamics of gene regulatory networks. Using a recent benchmark, we show that Boolformer is competitive with state-of-the art genetic algorithms with a speedup of several orders of magnitude. Our code and models are available publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google