反対の設計が、どちらも機能するのはなぜか
二値量子化には、ベクトルをランダムに回転する方式と元の軸を保つ方式があり、同じビット幅でも表現によって検索品質は大きく変わります。本論文は、対比学習による埋め込みの統計からこれらを調べます。
共分散と座標の不均一性を分けて考える
ガウスモデルの下では、共分散構造全体が順位の忠実度に影響し、周辺分散だけでは座標間に蓄積した信号を見落とします。座標分散の不均一性は、大きさビットの情報量や、回転が有用な構造を助けるか失わせるかを左右します。
回転は分散を均等化して等方的な距離補正を助ける一方、別のコードが利用する不均一性を消す場合もあります。論文は忠実度の近似式と、モデルや次元をまたぐ経験的なスケーリング関係を導きます。
表現の構造を、設計の判断材料にする
9 系統の埋め込みと 18 データセットで、共分散、大きさビット、回転の効果を検証します。明示したガウスモデルと近似条件の下で、符号化や前処理を選ぶ統計的な根拠を示します。
原文と引用
論文の原文へ。
導出の詳細、実験設定、結果は公開論文をご覧ください。