Architectural Interference as an Implicit Regularizer: Hourglass Geometry in Large Language Models
Three-level geometry in LLMs: weights, hidden representations and functional access. Eight base models from five families show these levels are partially independent.
Architektonische Interferenz als impliziter Regularisierer: Stundenglas-Geometrie in großen Sprachmodellen
Geometrie großer Sprachmodelle auf drei Ebenen: Parameter, Repräsentationen und Funktion. Acht Modelle aus fünf Familien zeigen: diese Ebenen sind teilweise unabhängig.
Архитектурная асимметрия и трёхуровневая геометрия в больших языковых моделях
Трёхуровневая геометрия LLM — параметры, скрытые представления и функция. На восьми моделях пяти архитектурных семейств показано, что уровни частично независимы.
Why geometry fails to compress LLM weights: activations lie in a narrow cone, weights stay full-rank and dense. A six-model comparison of CHMC v6.4 vs GPTQ.
Geometrische Kompression von LLM-Gewichten funktioniert nicht: Aktivierungen im engen Kegel, Gewichte vollrangig. Vergleich von CHMC v6.4 und GPTQ auf sechs Modellen.
Геометрические методы сжатия весов LLM не работают: активации лежат в узком конусе, а веса полноранговые и плотные. Сравнение CHMC v6.4 и GPTQ на шести моделях.
Мы используем файлы cookie для улучшения работы сайта. Продолжая пользоваться сайтом, вы соглашаетесь с использованием cookie. Подробнее — в политике конфиденциальности.