Warum verändert sich der Nutzen derselben Quantisierungsänderung?

Bessere Rekonstruktion bedeutet nicht immer ein besseres Modell

Quantisierung nach dem Training verändert einen endlichen Code, um Rekonstruktionsfehler von Gewichten oder Aktivierungen zu reduzieren. Bewertet wird das Modell jedoch über Vorhersageverlust und Aufgabenleistung. Die Arbeit fragt, wie sich bei fester Bitbreite der tatsächliche Nutzen eines zulässigen Codeschritts erkennen lässt.

Der Nutzen hängt von der Verschiebung des Schritts ab. Ein Gradient nur am Start übersieht die Krümmung des Weges; die Auswertung am Mittelpunkt schätzt das Vorzeichen der Verluständerung am Endpunkt besser. Experimente mit niedrig quantisiertem Llama-3.2 prüfen diesen Unterschied.

Quantisierungsschritte beeinflussen einander

Die Aufzählung zulässiger quantisierter Zustände zeigt einen näherungsweise quadratischen Gesamtnutzen. Selbst kleine paarweise Wechselwirkungen können den besten Kompromiss zwischen mehreren Zielen verändern. Derselbe Schritt kann in einem anderen Zustand von hilfreich zu schädlich wechseln.

Mittelpunktbewertungen korrigieren lokale Entscheidungen. Bei größeren Kombinationen bewertet die Methode aus tatsächlich erreichten Zuständen neu und prüft exakte Endpunkte. Eine Beam Search mit Endpunktbewertung findet sparsame Aktualisierungen, die größere einmalige Änderungen übertreffen.

Von statischen Werten zur zustandsabhängigen Optimierung

Die Arbeit verlagert Quantisierungsoptimierung auf einzelne Codeänderungen: das Ziel festlegen, jeden Schritt entlang seines Weges bewerten und Schritte im sich entwickelnden Zustand neu kombinieren. Experimente verbinden diese Entscheidungen mit Aufgabengenauigkeit und Perplexität auf zurückgehaltenen Daten.