Pourquoi des conceptions opposées peuvent-elles fonctionner ?
Certains systèmes de quantification binaire appliquent une rotation aléatoire, d’autres conservent les axes d’origine. À nombre de bits identique, la qualité varie fortement selon les représentations. L’article étudie ces observations par les statistiques des plongements contrastifs.
Distinguer covariance et hétérogénéité des coordonnées
Dans un modèle gaussien, toute la structure de covariance influe sur la fidélité des rangs ; les variances marginales seules omettent le signal accumulé entre coordonnées. Des variances inégales déterminent l’apport d’un bit de magnitude et si une rotation aide ou supprime une structure utile.
La rotation égalise les variances et peut permettre une correction isotrope des distances, mais elle peut aussi effacer une hétérogénéité exploitée par un autre code. L’article établit des expressions approximatives de fidélité et des relations d’échelle empiriques entre modèles et dimensions.
Faire de la structure des représentations un signal de conception
Des expériences sur neuf familles de plongements et dix-huit jeux de données examinent covariance, bits de magnitude et rotation. Elles donnent des repères statistiques pour choisir encodage et prétraitement sous les hypothèses gaussiennes et d’approximation énoncées.
Lire et citer
Poursuivez avec l’article original.
Les démonstrations complètes, le protocole expérimental et les résultats figurent dans le manuscrit public.