Турбоквантование: инженерное подтверждение статической геометрии эмбеддингов

# Турбоквантование: инженерное подтверждение статической геометрии эмбеддингов

## Почему методы сжатия KV-кэша работают без потери качества и что это говорит о природе современных LLM

**Автор:** Юрий Викторович Острожных

**Ресурс:** Non NDA Zone

**Дата:** 2026

---

## 📋 Аннотация

В данной работе показано, что технология сжатия TurboQuant от Google Research является практическим подтверждением теоретических инвариантов пространств эмбеддингов, описанных в исследовании «Где может существовать ИИ?». Корреляция между теоретическими свойствами (низкая внутренняя размерность, анизотропия, единичная норма, статичность базиса, линейность) и эффективностью сжатия достигает высокого уровня, что открывает путь к революции в оптимизации LLM.

> *«Понимание вещей, о которых я пишу, оказывается не просто моими предположениями, а подтверждается практикой. Это не моя личная заслуга — я искренне рад, что теоретическое виденье многомерных пространств данных находит практическое подтверждение, которое приведёт к перевороту в ИИ-индустрии в обозримом будущем.»*

---

## 1. Введение

В исследовании **«Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления»** было показано, что пространства эмбеддингов в больших языковых моделях обладают универсальными инвариантами:

| Инвариант | Значение |

|-----------|----------|

| Внутренняя размерность | 50–85 (при формальных 384–768) |

| Коэффициент неравномерности | ~0,87 (сильная анизотропия) |

| Самоподобие | Коэффициент согласованности = 1,0 |

| Единичная норма | ‖v‖₂ = 1 ± 2,7·10⁻⁸ |

| Статичность базиса | Сходство базисов разных коллекций > 0,95 |

Я выдвигаю гипотезу: эти пространства **линейны и статичны**, а модель работает как «снежный ком», катящийся по предопределённым рельсам.

Спустя несколько недель после публикации этого исследования появился **TurboQuant** — алгоритм сжатия KV-кэша от Google Research, позволяющий уменьшить потребление памяти LLM в **6–8 раз** без потери точности.

---

## 2. Что такое TurboQuant и почему он работает

**TurboQuant** — это метод квантизации ключей и значений (KV-кэш) в трансформерах, основанный на двух этапах:

### 2.1. PolarQuant (высококачественное сжатие)

Преобразование векторов из декартовых координат **(X, Y, Z)** в полярные **(радиус + угол)** с последующим квантованием угла с высокой точностью.

**Аналогия:** Вместо инструкции «пройдите 3 квартала на восток и 4 на север» используется «пройдите 5 кварталов под углом 37 градусов».

### 2.2. QJL (Quantized Johnson–Lindenstrauss)

Коррекция ошибок квантования с помощью **1-битного знакового кода** (+1 или -1). Работает как математический корректор, сводя остаточную ошибку к минимуму.

| Показатель | Результат |

|------------|-----------|

| Сжатие KV-кэша | 6× (до 3–4 бит на значение) |

| Ускорение на H100 | до 8× |

| Потеря точности | 0% (бенчмарки LongBench, RULER, L-Eval) |

| Требуется дообучение | Нет |

| Поддерживаемые модели | Gemma, Mistral, Llama |

**Ключевой вопрос:** Почему это вообще возможно? Ответ кроется в свойствах пространства, в котором живут эмбеддинги.

---

## 3. Инварианты как предпосылки для TurboQuant

### 3.1. Низкая внутренняя размерность

**Из исследования:** Внутренняя размерность эмбеддингов составляет **51–85**, хотя формальная размерность — **384 или 768**.

**Математическая интерпретация:** Если выполнить PCA, первые **60–80 компонент** объясняют почти всю дисперсию. Остальные измерения содержат шум или несущественные вариации.

```

d_formal = 384 или 768

d_eff ≈ 63 (среднее по измерениям)

d_eff / d_formal ≈ 0,16 – 0,08

```

**Связь с TurboQuant:** Когда TurboQuant квантует вектор до **3–4 бит на значение**, он фактически отбрасывает информацию в «слабых» направлениях. Если бы эмбеддинги были изотропными и высокомерными, такая агрессивная квантизация привела бы к катастрофической потере точности.

**Теоретическая оценка:** Количество бит, необходимое для сохранения качества, зависит логарифмически от эффективной размерности:

```

bits ≈ O(log₂(d_eff) + log₂(1/ε) − log₂(1 − anisotropy))

```

где **ε** — допустимая ошибка восстановления.

```

Для d_eff = 63: log₂(63) ≈ 6 бит

Для d_formal = 768: log₂(768) ≈ 9,6 бит

```

TurboQuant достигает **3–4 бит** благодаря дополнительному использованию анизотропии.

---

### 3.2. Анизотропия: векторы в узком конусе

**Из исследования:** Коэффициент неравномерности = **~0,87** (в среднем). Векторы скучены в узком конусе, а не распределены равномерно по сфере.

| Модель | Коллекция | Неравномерность |

|--------|-----------|-----------------|

| Mono | Wiki | 0,9009 |

| Mono | Products | 0,9355 |

| LaBSE | Маленький принц RU | 0,8206 |

**Связь с TurboQuant:** PolarQuant преобразует вектор в полярные координаты: радиус **r** и направление **u** на единичной сфере. В условиях анизотропии набор возможных направлений **u** лежит в небольшом сегменте сферы.

**Геометрическая иллюстрация:**

Для кодирования узкого сегмента требуется **меньше бит**, чем для полной сферы. TurboQuant использует адаптивные схемы квантования, которые размещают центроиды там, где вероятность выше.

**Оценка выигрыша:** Если векторы занимают только ~15% поверхности сферы (оценка по коэффициенту 0,87), то:

```

bits_anisotropic ≈ bits_isotropic − log₂(1/0,15) ≈ bits_isotropic − 2,7

```

Это объясняет, почему TurboQuant достигает **3–4 бит** вместо теоретических 6 бит.

---

### 3.3. Единичная норма

**Из исследования:** Все модели приводят векторы к единичной длине с погрешностью ~2,7·10⁻⁸.

```

‖v‖₂ = 1 ± 2,7·10⁻⁸

```

**Связь с TurboQuant:** При единичной норме **важен только угол**, а длина не несёт дополнительной информации. TurboQuant так и делает: полярное представление фиксирует **r = 1** (с точностью до малых погрешностей) и квантует только угловые координаты.

**Экономия:** Это снижает количество квантуемых переменных с **d** до **d−1** (или до **d_eff** после учёта низкой размерности).

---

### 3.4. Статичность базиса

**Из исследования:** Все текстовые коллекции проецируются в **один и тот же базис** внутри модели. Сходство базисов между разными корпусами **> 0,95** (угол < 5° в пределах погрешности измерений).

|-------------|-------------|----------|------|

| Маленький принц RU | Wiki | 0,97–0,99 | < 5° |

| Маленький принц EN | Products | 0,96–0,98 | < 7° |

| Wiki | Products | 0,95–0,97 | < 8° |

**Связь с TurboQuant:** TurboQuant использует это свойство, чтобы применять **одну и ту же схему сжатия** ко всем токенам и всем слоям без адаптации под конкретный контекст.

Если бы базис менялся в зависимости от входного текста, потребовались бы **динамические методы** (адаптивное квантование на лету), которые сложнее и медленнее. Статичность позволяет **предварительно вычислить параметры квантования** (например, центроиды для углов) и использовать их во время инференса без дополнительных накладных расходов.

---

### 3.5. Линейность (локальная и глобальная)

**Из исследования:** Работы Голдена (2025) и группы LAMP показывают, что современные LLM являются **локально линейными отображениями**.

**Связь с TurboQuant:**

- **PolarQuant** — линейное преобразование (декартовы → полярные координаты) с последующим покомпонентным квантованием

- **QJL** — линейная операция (умножение на случайную матрицу)

Если бы геометрия была нелинейной, такие фиксированные преобразования не сохраняли бы семантику. Факт успешного применения линейных преобразований для сжатия **без потери качества** служит подтверждением линейности эмбеддинговых пространств.

---

## 4. Сводная таблица соответствий

| Инвариант из исследования | Значение | Как используется в TurboQuant |

|---------------------------|----------|-------------------------------|

| Низкая внутренняя размерность | 50–85 | Позволяет квантовать до 3–4 бит без потери качества |

| Анизотропия (конусность) | ~0,87 | Полярные координаты эффективно кодируют направление в узком секторе |

| Единичная норма | ‖v‖₂ = 1 | Квантование только направления, радиус ≈ 1 |

| Статичность базиса | Сходство > 0,95 | Общая схема сжатия без адаптации под каждый текст |

| Линейность | Локально линейные отображения | PolarQuant + QJL — линейные операции, не требуют дообучения |

**Наблюдается сильная корреляция, подтверждающая теоретические предпосылки.** Точная количественная оценка требует дополнительных экспериментов.

---

## 5. Что это говорит о природе LLM?

Успех TurboQuant — не просто инженерная победа. Это **эмпирическое подтверждение** того, что эмбеддинговые пространства действительно обладают описанными свойствами:

| Свойство | Следствие для сжатия |

|----------|----------------------|

| Низкая размерность | Можно сжимать без потерь |

| Анизотропия | Направление можно кодировать малым числом бит |

| Единичная норма | Не нужно хранить длину |

| Статичность базиса | Схема сжатия может быть общей для всех данных |

| Линейность | Допустимы фиксированные линейные преобразования |

**Иными словами, TurboQuant «работает» именно потому, что пространства устроены так, как описано в исследовании.** Если бы инварианты были иными, метод либо не давал бы выигрыша, либо требовал бы значительно более сложных адаптивных механизмов.

### Но вместе с тем...

TurboQuant подчёркивает и **ограничения**: все эти свойства **статичны**. Модель не создаёт новую геометрию в процессе вывода, а лишь перемещается по фиксированному ландшафту.

> *«Модель работает как снежный ком, скатывающийся с горы. У кома есть форма (структура льда — это базис эмбеддингов), но его путь предопределён рельефом горы (латентным пространством).»*

Сжатие делает движение более эффективным, но **не добавляет способности перестраивать рельсы**.

---

## 6. Ограничения исследования

1. **Измерения внутренней размерности** проводились на ограниченной выборке моделей (all-MiniLM-L6-v2, paraphrase-multilingual-MiniLM-L12-v2, LaBSE). Результаты могут отличаться для авторегрессионных моделей (GPT, Llama).

2. **Сходство базисов** оценивалось на четырёх текстовых коллекциях. Требуется расширение выборки для подтверждения универсальности.

3. **Корреляция между инвариантами и эффективностью TurboQuant** носит качественный характер. Количественная валидация требует отдельных экспериментов.

4. **Выводы об AGI** являются философской гипотезой, а не эмпирическим фактом.

---

## 7. Выводы

1. **Турбоквантование подтверждает инварианты**, выявленные в исследовании «Где может существовать ИИ?». Каждый из пяти инвариантов находит прямое применение в методе сжатия и объясняет, почему возможно 6–8‑кратное сокращение памяти без потери качества.

2. **Математическая связь** между свойствами пространства и эффективностью квантизации может быть формализована через теорию информации и геометрию: низкая размерность и анизотропия снижают требуемое количество бит, единичная норма упрощает представление, статичность позволяет унифицировать схему.

3. **Инженерный успех не означает прорыва к AGI.** Напротив, он иллюстрирует, что текущие LLM работают в жёстко заданных линейных пространствах, и даже самые продвинутые методы оптимизации не меняют этот фундаментальный факт.

---

## 8. Заключение

В конечном счёте, **TurboQuant — это не просто ещё один алгоритм.** Это практическое воплощение геометрии эмбеддингов, которая была описана в исследовании «Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления».

И пока пространства остаются статичными и линейными, все наши попытки ускорить и сжать модели будут лишь **оптимизацией движения по заданной траектории**, а не созданием подлинно динамического интеллекта.

> *«Для настоящего интеллекта нужно не просто скользить по готовым рельсам, а уметь перестраивать саму систему координат, создавать новые измерения, выходить за пределы предопределённого.»*

---

## 📚 Список литературы

1. Mikhalchuk, M., et al. (2024). The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models. Findings of EACL 2024.

2. Чистякова, К. Е. (2024). Исследование различий в векторных представлениях, полученных с помощью разных языковых моделей. НИУ ВШЭ.

3. Golden, J. R. (2025). Large Language Models are Locally Linear Mappings. arXiv:2505.24293.

4. Chen, C., et al. (2025). LAMP: Extracting Locally Linear Decision Surfaces from LLM World Models. arXiv:2505.11772.

5. Tsukagoshi, H., & Sasano, R. (2025). Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings. arXiv:2506.01435.

6. Google Research Blog (2025). TurboQuant: Efficient KV-Cache Compression for LLMs.

7. Острожных, Ю. В. (2026). Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления. Non NDA Zone.