Comparing Optimization Targets for Contrast-Consistent Search

要約

私たちは、大規模な言語モデルの真実の内部表現を回復することを目的としたコントラスト一貫性検索 (CCS) の最適化ターゲットを調査します。
中点変位 (MD) 損失関数と呼ばれる新しい損失関数を提示します。
特定のハイパーパラメータ値に対して、この MD 損失関数により、CCS と非常によく似た重みを持つプローバーが得られることを示します。
さらに、このハイパーパラメータが最適ではなく、より優れたハイパーパラメータを使用すると、MD 損失関数が CCS よりも高いテスト精度を達成できることを示します。

要約(オリジナル)

We investigate the optimization target of Contrast-Consistent Search (CCS), which aims to recover the internal representations of truth of a large language model. We present a new loss function that we call the Midpoint-Displacement (MD) loss function. We demonstrate that for a certain hyper-parameter value this MD loss function leads to a prober with very similar weights to CCS. We further show that this hyper-parameter is not optimal and that with a better hyper-parameter the MD loss function attains a higher test accuracy than CCS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google