반대되는 설계가 모두 작동하는 이유
일부 이진 양자화 시스템은 벡터를 무작위로 회전하고, 다른 시스템은 원래 축을 유지합니다. 같은 비트폭에서도 표현에 따라 검색 품질이 크게 다릅니다. 논문은 대조 학습 임베딩의 통계를 통해 이를 연구합니다.
공분산과 좌표별 이질성을 구분
가우시안 모델에서 전체 공분산 구조는 순위 충실도에 영향을 미칩니다. 주변 분산만으로는 좌표 사이에 축적된 신호를 놓칩니다. 좌표마다 다른 분산은 크기 비트의 추가 이득과 무작위 회전이 도움이 될지, 유용한 구조를 지울지 결정합니다.
회전은 분산을 균등하게 만들어 등방성 거리 보정을 지원할 수 있지만, 다른 코드가 활용하는 이질성을 지울 수도 있습니다. 논문은 모델과 차원을 아우르는 근사 충실도 식과 경험적 스케일링 관계를 유도합니다.
표현 구조를 설계 판단의 근거로
9개 임베딩 계열과 18개 데이터셋에서 공분산, 크기 비트, 회전을 검토합니다. 명시된 가우시안 및 근사 조건 아래에서 인코딩과 전처리 전략을 선택할 통계적 지침을 제공합니다.
읽기와 인용
논문 원문에서 더 살펴보세요.
전체 유도 과정, 실험 설정과 결과는 공개된 원고에서 확인할 수 있습니다.