Подзаголовок: от гипотезы песочных часов к экспериментальной карте несводимости параметров, представлений и функции
От «Почему геометрия не сжимает веса» — к архитектуре, которая создаёт асимметрию между параметрами, представлениями и функциональным доступом к информации.
Дата: 2026-09-16 · редакция: 2026-09-21 · Автор: Millog · Лицензия: CC BY-SA 4.0
Данные и код: cmq_experiment/aiir-hourglass/ (эксперименты H1–H4, Exp5–7), cmq_experiment/results_v6/ (исследование квантования)
Аннотация
Мы исследуем геометрию больших языковых моделей на трёх независимых уровнях: (1) геометрия параметров (weight matrices), (2) геометрия представлений (hidden state trajectories), (3) функциональный доступ к информации (retrieval performance and local functional sensitivity). На восьми локальных base-моделях пяти архитектурных семейств от 0.135B до 5.12B параметров, включая контрольную пару «tied vs untied» (Qwen2.5-0.5B и TinyLlama-1.1B) и две дополнительные untied-архитектуры того же масштаба (Pythia-2.8B, Phi-1_5), мы показываем:
(0) Главный итог переоценки: уровни W, X и F не обязаны совпадать. Исходная цепочка «weight tying → геометрическая интерференция → низкоразмерная зона → деградация памяти» не подтверждается как единый механизм. Данные поддерживают более слабую и более интересную картину: геометрия параметров, геометрия скрытых представлений, динамическая устойчивость траекторий и функциональная чувствительность/доступ к информации являются частично независимыми свойствами архитектуры и обучения.
(1) Weight tying и асимметрия градиентных путей. Связывание весов работает как архитектурное ограничение общего параметрического канала. Прямая градиентная оппозиция входного и выходного путей не обнаружена: во всех tied-моделях |cos(G_in, G_out)| ≤ 0.023, а у untied-моделей косинусы также близки к нулю. Вместо конфликта наблюдается доминирование одного пути: в 4 из 5 tied-моделей выходной путь доминирует по норме в 3.75–6.95 раза, и общий апдейт близок к нему (cos(G_total, G_out) ≥ 0.967). У Gemma-4 наблюдается инверсия доминирования (‖G_in‖ / ‖G_out‖ ≈ 47; в разных прогонах 47.1–47.5), функциональная проверка (снятие масштаба √h + v3-абляция PLE-канала) показывает смешанную природу: ~8× из сырого ratio — артефакт масштабирования эмбеддинга, ещё ~1.36× — второй scaled-канал PLE; остаток ≈4.3× — структурное входное доминирование. При этом untied-модели также демонстрируют умеренную асимметрию отношений норм градиентов (ориентировочно ×1.5–×2.6), хотя для untied-архитектур это отношение сравнивает разные матрицы и требует parameter- и scale-normalized интерпретации. Поэтому weight tying не установлен как необходимое условие самого феномена асимметрии путей; он может усиливать или фиксировать её за счёт общего параметрического канала.
(2) Архитектурно-зависимые низкоразмерные зоны представлений. Не «песочные часы в середине стека как универсальный закон», а семейство режимов. На 5 из 8 моделей скрытые состояния концентрируются в низкоразмерных подпространствах (PRc ≈ 1.08–1.17), формируя протяжённые зоны сжатия (36–62% глубины стека). Положение и форма зон зависят от архитектуры: ранняя воронка (Qwen2.5-0.5B, Qwen2.5-3B, TinyLlama), центрированные часы (SmolLM), смешение сжатых слоёв с тройной талией (Qwen3-4B: устойчивый минимум L7, вторичные L11/L17), распределённый режим с высоким полом (Pythia-2.8B, Phi-1_5) и распределённый режим без mid-stack коллапса (Gemma-4). Perturbation-тест на шее Qwen2.5-0.5B показывает компрессию без стягивания: 98.17% энергии подпространства сосредоточено в top-10 направлениях, но параллельные возмущения усиливаются (×~14.6) сильнее ортогональных (×~10.2–10.3). Интерпретация шеи как contracting attractor не подтверждается; данные также не позволяют строго называть систему repeller без отдельного Jacobian-анализа. Кросс-корпусный контроль на пяти корпусах, включая shuffled token noise, показывает устойчивость положения минимального PR в пределах протестированных данных, но не доказывает полной контентонезависимости.
(3) Спектральная асимметрия не означает невозможность квантования. На измеренных шеях веса остаются почти полноранговыми (k95 ≈ 79–85% размерности), тогда как входящие активации радикально низкоразмерны (k95 = 0.4–2.3%). Это локальное подтверждение более общего наблюдения: низкая размерность траектории не означает низкую размерность закона преобразования. Асимметрия воспроизводится и у tied, и у untied модели, следовательно не требует weight tying. Из этого не следует теорема о невозможности квантования: ошибка квантования зависит не только от rank, но и от outliers, curvature, масштабов, распределения ошибок и downstream sensitivity.
(4) Representation compression ≠ memory degradation. Гипотеза о том, что низкоразмерные представления вызывают деградацию длинного контекста (Lost-in-the-Middle), локально фальсифицирована на Qwen2.5-0.5B до 8192 токенов: геометрия представлений плоская (E_DC/PRc не растут), recall не деградирует по длине, Lost-in-the-Middle отсутствует (U-контраст = −0.16). Это не устанавливает attention dilution в качестве причины LiM; наши данные показывают лишь, что геометрическая компрессия представлений не является достаточным объяснением в измеренной конфигурации. Attention и позиционные механизмы остаются кандидатами для объяснения оставшейся межмодельной вариативности.
Дополнительно: функциональный скан пертурбаций (Exp9) показывает, что геометрическая шея и пик функциональной чувствительности находятся в разных местах. У Gemma-4 функциональный пик — L12, где нет геометрического mid-stack коллапса; у Qwen2.5-0.5B геометрическая шея L4 почти не переходит в локальную функциональную чувствительность. Термин «функциональное бутылочное горлышко» заменён на «пик функциональной чувствительности», поскольку KL после аддитивного шума измеряет локальную чувствительность, а не причинную необходимость слоя.
Введение
Вычислительное мясо и иллюзия понимания
Язык — это «вычислительное мясо». Чтобы понять его архитектуру, нужно перестать спрашивать «что модель делает?» и начать спрашивать «как она это вычисляет?». Мы не можем заглянуть внутрь нейронной сети как в программный код, но мы можем измерить её внутреннее состояние.
Эта статья — продолжение предыдущего исследования «Почему геометрия не сжимает веса» (cmq_experiment/results_v6/). Там было показано, что активации LLM лежат в узком конусе: 90% энергии — в ~1–3 главных компонентах, а веса при этом полноранговые и плотные. Все геометрические техники сжатия весов дали ноль или минус; единственный работающий рычаг — data-adaptive компенсация ошибок (GPTQ). Итоговая формула предыдущей работы: веса = закон динамики, активации = траектория в низкоразмерной области.
Но переоценка показала, что исходная метафора «траектория на низкоразмерном аттракторе» слишком сильна. Низкая размерность статистически реальна, но perturbation-тест не подтверждает динамическое стягивание. Поэтому далее мы разделяем три уровня:
- W — геометрия параметров;
- X — геометрия скрытых представлений;
- F — функциональная чувствительность и доступ к информации.
Главный тезис статьи теперь не «weight tying создаёт песочные часы, которые вызывают Lost-in-the-Middle», а: архитектура создаёт несколько несводимых геометрических и функциональных режимов, которые нельзя описать одной «геометрией модели».
Исторически мы использовали термин «архитектурная интерференция», однако эмпирически мы не обнаруживаем градиентной оппозиции входного и выходного путей. Под асимметрией далее понимается не конфликт направлений обновления, а вынужденное неравное распределение вклада в общий параметрический канал при weight tying и, шире, асимметрия между входным и выходным путями в обученных моделях.
Четыре гипотезы в переоценённой формулировке
H1 — Shared parameters and path dominance. Weight tying создаёт общий параметрический канал для входного и выходного путей. Вопрос: приводит ли это к градиентной оппозиции или к асимметричному доминированию одного пути? Переформулировка после данных: tying может усиливать/фиксировать асимметрию, но не является установленной причиной самой асимметрии, поскольку умеренная асимметрия наблюдается и у untied-моделей.
H2 — Architecturally dependent low-dimensional representation zones. Скрытые состояния могут концентрироваться в низкоразмерных подпространствах. Вопрос: где именно, насколько устойчиво и является ли это динамическим attractor? Переформулировка: не «в середине стека universally», а «в архитектурно-зависимых зонах»; attractor-интерпретация проверяется отдельно.
H3 — Spectral asymmetry between law and trajectory. Веса могут оставаться почти полноранговыми, тогда как активации низкоразмерны. Вопрос: означает ли это невозможность геометрического квантования весов? Переформулировка: это спектральное наблюдение, а не теорема о квантовании.
H4 — Representation compression versus memory degradation. Может ли низкоразмерность представлений объяснять деградацию длинного контекста? Переформулировка: проверяется не «геометрия вызывает LiM», а «достаточна ли геометрическая компрессия для объяснения LiM в измеренной конфигурации».
Экспериментальный дизайн: для каждой гипотезы есть прямое измерение (контрольная пара tied vs untied) и кросс-модельное расширение (8 моделей пяти семейств от 0.135B до 5.12B). Важно: работа является observational cross-model study, а не causal architecture study. Архитектурные различия confounded с размером, vocab, attention mechanism, positional encoding, training recipe и tying status. Поэтому утверждения о влиянии отдельных архитектурных факторов носят корреляционный характер.
Результат переоценки: H1 поддержана в модифицированной форме (доминирование, не оппозиция; причинная роль tying ослаблена), H2 поддержана как существование архитектурно-зависимых низкоразмерных зон, но гипотеза о универсальных средних песочных часах и contracting attractor отвергнута, H3 подтверждена локально без вывода о невозможности квантования, H4 локально фальсифицирована. Exp9 добавляет четвёртый важный результат: геометрическая шея и пик функциональной чувствительности не совпадают.
Связанные работы
Weight tying и смещение к выходу
Press & Wolf (2016) показали, что weight tying улучшает языковые модели и экономит параметры. Inan et al. (2017) теоретически обосновали tying как способ уменьшения степеней свободы. Lopardo et al. (2026)[^1] независимо показали, что «tied embedding matrices align more closely with output (unembedding) matrices than with input embeddings». Наша работа подтверждает это через прямое измерение градиентов и добавляет наблюдение об инверсии доминирования у Gemma-4. Выходная языковая головка при этом описывается в литературе как градиентное бутылочное горлышко [^2], что является важным конкурентным объяснением: часть асимметрии путей может быть свойством LM head и выходного масштабирования, а не только weight tying [^10]. Для контроля вклада эмбеддинг-градиентов предложены методы изоляции [^3].
Anisotropy и intrinsic dimensionality
Ethayarajh (2019) показал, что контекстуализированные представления BERT и GPT-2 имеют unusually high anisotropy. Aghajanyan et al. (2021) исследовали intrinsic dimensionality language models, показав, что эффективная размерность значительно ниже номинальной [^6]. Razzhigaev et al. (2024) изучили динамику анизотропии и intrinsic dimension в трансформерах. Новая литература связывает анизотропию с конкретными режимами обучения — в том числе со связыванием входных и выходных матриц и со сдвигом среднего вектора эмбеддингов [^4][^5]. Наша работа добавляет не универсальное утверждение «tying создаёт анизотропию», а более осторожное: в исследованной выборке tied-модели демонстрируют более высокую сырую анизотропию, чем untied-модели, но эффект confounded с масштабом эмбеддингов, vocab size, PLE-каналами и training dynamics.
Quantization и outlier handling
GPTQ (Frantar et al., 2022) показывает, что веса можно агрессивно квантовать, используя second-order information (Hessian). SmoothQuant (Xiao et al., 2023) демонстрирует, что сложность квантования связана с activation outliers и может быть перераспределена между activation и weight. Эти работы показывают, что quantizability ≠ f(rank(W)), а скорее зависит от outliers, curvature и локальной структуры.
Lost in the Middle
Liu et al. (2023) обнаружили U-shaped эффект: модели лучше извлекают информацию с начала и конца контекста, чем из середины. Они показали, что эффект зависит от архитектуры, contextualization и положения информации, а не только от размера пространства представлений; последующие работы указывают на позиционные смещения внимания как возможный механизм [^11][^12][^13]. Наша работа показывает, что низкоразмерные представления сами по себе не объясняют наблюдаемую локальную деградацию retrieval; attention и позиционные механизмы остаются кандидатами, но не установлены как причина в данной работе.
Information Bottleneck и Neural Collapse
Теория Information Bottleneck (Tishby et al., 2000; Kawaguchi, 2023) предлагает теоретическую рамку для понимания компрессии в глубоких сетях. Наши низкоразмерные зоны можно интерпретировать как эмпирический след IB-принципа, но perturbation-тест показывает, что это компрессия дисперсии, а не обязательное динамическое притяжение. Neural Collapse (Papyan et al., 2020; Súkeník, 2025) — феномен, при котором представления классов коллапсируют к их средним значениям в терминальной фазе обучения классификаторов. Наши результаты ослабляют прямую аналогию с динамическим Neural Collapse: представления сжимаются по дисперсии, но не демонстрируют contracting dynamics в проведённом тесте.
Исходная точка: почему геометрия не сжимает веса
Чтобы статья читалась как продолжение, зафиксирую, что уже известно из предыдущего исследования (CHMC v1→v6, results_v6/).
Мы пытались применить конусную геометрию активаций к сжатию самих весов: взвешенный SVD вдоль конуса, адаптивные ранги, ковариационные поправки. Путь от коллапса (ratio 4894× у v1) до паритета (~1.18× у v6 при равном бит-бюджете BPW = 4.2875 — ровно бюджет GPTQ). Итог на трёх моделях: SmolLM — паритет со GPTQ, Qwen2.5-0.5B — проигрыш, TinyLlama-1.1B — реальная победа более чем на 30σ.
Все геометрические техники на весах провалились: Hadamard-ротация, Lloyd-Max, Cone-Aware, QJL. Единственный работающий рычаг — dampening оценки Гессе, то есть контроль шума, а не захват геометрии. По ансамблю из 124 экспериментов единственный флаг с положительной корреляцией успеха — dampening (+0.40); все геометрические флаги — около нуля или отрицательные.
Ключевые спектральные факты, которые эта статья объясняет архитектурно: активации — узкий конус, веса — плотные. Вопрос после переоценки: откуда эта асимметрия? Ответ не «weight tying однозначно создаёт конус и песочные часы», а «архитектура, tying status, масштабирование эмбеддингов, attention mechanism и training dynamics создают несколько частично независимых режимов».
Части 1–2: философия переоценённой картины и данные/протоколы измерений.
Часть 1. Философия переоценённой картины
Рабочая метафора: не одни песочные часы, а семейство режимов
Представьте трансформер как динамическую систему: входной эмбеддинг → L блоков трансформера → выходной lm_head. Если проследить эффективную размерность данных на каждом шаге, наивное ожидание было таким: широко на входе → узко в середине → широко на выходе. Это и есть классические песочные часы.
Реальность оказалась богаче. Мы наблюдаем не один канонический профиль, а семейство режимов:
- ранняя воронка: сжатие происходит в первых слоях и сохраняется дальше;
- центрированные часы: минимум ближе к середине стека;
- смешение сжатых слоёв: несколько локальных минимумов;
- распределённый режим с высоким полом: есть argmin PR, но нет коллапса ниже
PRc ≈ 2; - выходное сжатие: низкий PR только на последнем уровне, без mid-stack collapse.
Поэтому «песочные часы» остаются полезной метафорой для одного из режимов, но не названием универсального закона.
Важно различать два свойства:
1. Anisotropy (конус): векторы имеют сильный общий компонент, средний косинус между парами высок. Но вокруг этого общего компонента может быть существенное разнообразие.
2. Low intrinsic dimensionality: спектр сингулярных чисел обрывистый, почти вся энергия в нескольких направлениях.
Эмбеддинги могут быть анизотропными, но не обязательно узкими по эффективной размерности. Настоящее сужение происходит внутри сети, причём не обязательно в середине.
Почему старая метафора «аттрактора» потребовала проверки
Изначально казалось естественным: если траектория низкоразмерна, значит сеть «притягивает» представления к некоторому manifold. Это красивая динамическая картина.
Но низкая размерность статистики не равна динамической устойчивости. Можно иметь статистически концентрированное множество состояний без стягивания соседних траекторий. Поэтому мы провели прямой perturbation-тест.
Результат: на шее Qwen2.5-0.5B top-10 подпространство несёт 98.17% энергии, но параллельные возмущения усиливаются сильнее ортогональных. Следовательно, contracting attractor не подтверждён. При этом нельзя автоматически называть систему repeller: для этого нужен отдельный анализ Jacobian относительно локальной траектории или manifold. Корректный вывод: низкоразмерная зона — статистическая компрессия траекторий, а не доказанный притягивающий механизм.
Вопрос о памяти
Если вычислительные состояния концентрируются в низкой размерности, как модель помнит длинный контекст? Ответ: память и вычисления — разные объекты. KV-кэш хранит ключи и значения в полной или почти полной размерности; низкоразмерность скрытых состояний текущего токена не противоречит полноразмерной памяти.
Но переоценка добавляет важный нюанс: даже если retrieval функционально деградирует, это не обязательно следует из геометрической компрессии представлений. H4 локально фальсифицирует простую импликацию low PR → memory degradation.
Часть 2. Данные и протоколы измерений
Модели
Восемь локальных base-моделей пяти архитектурных семейств (Llama/Qwen/Gemma/GPTNeoX/Phi), все измерены на физическом GPU 1 (cuda:1); fp32 где хватает памяти (VRAM 15.93 GiB), иначе bf16. У Gemma — изолированное окружение .venv-gemma4 (transformers 5.17.0), так как её архитектура несовместима с transformers остальных моделей; vision-модуль исключён из всех измерений [^9].
| Модель | Архитектура | Параметры (точно) | hidden | Слоёв | Tying? | Vocab | max_pos |
|---|---|---|---|---|---|---|---|
| smollm-135m | LlamaForCausalLM | 134,515,008 | 576 | 30 | да | 49,152 | 2,048 |
| qwen2.5-0.5b | Qwen2ForCausalLM | 494,032,768 | 896 | 24 | да | 151,936 | 32,768 |
| tinyllama-1.1b | LlamaForCausalLM | 1,100,048,384 | 2048 | 22 | нет | 32,000 | 2,048 |
| phi-1_5 | PhiForCausalLM | 1,418,270,720 | 2048 | 24 | нет | 51,200 | 2,048 |
| pythia-2.8b | GPTNeoXForCausalLM | 2,909,427,040 | 2560 | 32 | нет | 50,304 | 2,048 |
| qwen2.5-3b | Qwen2ForCausalLM | 3,085,938,688 | 2048 | 36 | да | 151,936 | 32,768 |
| qwen3-4b | Qwen3ForCausalLM | 4,022,468,096 | 2560 | 36 | да | 151,936 | 40,960 |
| gemma-4-e2b | Gemma4ForConditionalGeneration | 5,123,178,979 | 1536 | 35 | да | 262,144 | 131,072 |
Контрольная пара: Qwen2.5-0.5B (tied) и TinyLlama-1.1B (untied). В выборке три модели без связывания весов — TinyLlama-1.1B, Pythia-2.8B и Phi-1_5.
Важное методологическое ограничение H1: для tied-модели G_in и G_out — градиенты по одной физической матрице, поэтому отношение норм внутри модели осмысленно. Для untied-модели это градиенты по разным матрицам, часто разного размера, инициализации и масштабирования. Поэтому`‖G_out/‖G_in‖`у untied-моделей является ориентировочным индикатором асимметрии путей, а не прямым аналогом tied-ratio. Для строгого сравнения требуется parameter-normalized и scale-normalized пересчёт, который в текущей финальной версии не выполнен как основной результат.
Корпус
4 markdown-документа проекта cmq_experiment (README.md, PROJECT.md, FINAL_REPORT_v4.md, report.md). Пул токенов: до 8599 (токенизатор Qwen) / ~10080–10082 (семейство Llama). Весь корпус помещается в контекст моделей с max_pos ≥ 32k; у SmolLM, TinyLlama, Pythia-2.8B и Phi-1_5 (max_pos = 2048) используется окно корпуса.
Протоколы измерений
Exp7/H1. 128 токенов. G_total — backward встроенного CE-loss. G_in — замороженный клон lm_head, backward CE по входному пути. G_out — no_grad скрытые состояния + свежая копия W', ручной CE с сдвигом HF. У untied модели оба градиента берутся одним backward’ом. Прокси: косинус между qkv0-пертурбацией от обновления эмбеддингов и пертурбацией от обновления весов.
Exp5/H2. Для каждого слоя (уровни 0..L, где уровень 0 = эмбеддинги) берётся контекст 2048 токенов, центрируются скрытые состояния, точный SVD; PR = число главных компонент для 90% дисперсии. Шея = аргминимум центрированного профиля (PRc). Anisotropy — средний косинус пар векторов слоя (raw и centered).
Exp3/H3. Точный SVD весов gate_proj на шее и входящих активаций; k95(веса) против k95(активации), энергия топ-10/топ-3 сингулярных направлений.
E4b (H4, геометрия). E_DC = N·‖x̄‖²/Σ‖vᵢ‖² — доля DC-энергии в last-layer состояниях; два условия: prefix vs mixed, N ∈ {100, 1000, 4096, 8192}.
E4e/E4f (H4, функция). Pattern-completion зонд: уникальный код внедряется в контекст на позиции p; lift = Δlogit целевого токена vs альтернатива минус контрольный прогон без иглы.
Exp6 (кросс-модельное). Per-position lift на всех восьми моделях, позиции [0.05, 0.25, 0.45, 0.75, 0.95], 2 репа/ячейку; Inversion Contrast = Mean Lift(середина) − Mean Lift(края).
Part B / v3 PLE-абляция (инверсия Gemma). Функциональная проверка инверсии доминирования: снятие масштаба √1536, затем зануление PLE-канала.
PR cross corpus. Qwen2.5-0.5B: пять корпусов по 2048 токенов, включая shuffled token noise.
Attractor subspace perturbation. Qwen2.5-0.5B, neck-L4: инъекция случайного возмущения с декомпозицией на параллельную/радиальную/ортогональную компоненты относительно top-10 подпространства.
Multi-level retrieval probe. Qwen2.5-0.5B, L=2048: три уровня иглы — exact code, semantic analog, two-hop relational chain.
Exp9 (функциональный скан пертурбаций). Для каждого декодерного слоя выход слоя заменяется на H + eps·randn_like(H); метрика — KL(base logits || noisy logits). Важно: это мера локальной функциональной чувствительности, а не causal ablation. Высокий KL не означает, что слой причинно необходим; низкий KL не означает, что слой избыточен.
Часть 3: результаты (диагностика H1–H4 с multi-rep и bootstrap, кросс-модельное расширение на 8 моделях, multi-level retrieval probe, функциональный скан Exp9).
Часть 3. Результаты
Единая карта результатов программы: панели G1–G5 и вердикт-полоса по группам; генерируется из JSON вdata/(code/make_infographic.py).
Гипотеза 1 — Weight tying: доминирование пути, а не оппозиция градиентов
#### Метод
Для каждой модели на блоке из 128 токенов корпуса вычисляется полный градиент CE-loss (G_total) и два «разделённых» градиента: G_in и G_out. У tied-модели оба градиента ложатся на одну и ту же физическую матрицу W.
#### Контрольная пара
| Метрика | Qwen2.5-0.5B (tied) | TinyLlama-1.1B (untied) |
|---|---|---|
| cos(G_in, G_out) на общих весах | +0.018 | n/a — матрицы разделены (cos ≈ +0.0013) |
| ‖G_out / ‖G_in‖ | 3.754 | 0.998 single-window; 1.50 ± 0.08 multi-rep |
| cos(G_total, G_out) | 0.967 | — |
| Прокси: cos(Δqkv₀ от эмбеддинга, Δqkv₀ от весов) | +0.007 | +0.002 |
Для TinyLlama single-window ratio ≈ 1.0 не является устойчивой оценкой; multi-subsample оценка даёт ≈1.50. В дальнейшем для сравнения распределений используется multi-rep, а single-run нормы сохраняются только как исторический контроль.
Градиенты входа и выхода не противостоят друг другу: они ортогональны (cos ≈ 0). Это фальсифицирует наивную гипотезу «оппозиции»: если бы градиенты конфликтовали, ожидалось бы cos < −0.5.
Градиенты входного и выходного путей контрольной пары (Qwen2.5-0.5B vs TinyLlama-1.1B): ортогональны,cos ≈ 0, оппозиции нет.
#### Кросс-модельное измерение (Exp7)
| Модель | Tied? | ‖G_in‖ | ‖G_out‖ | Ratio out/in | cos(G_in,G_out) | cos(G_total, доминантного пути) | Прокси emb→qkv0 |
|---|---|---|---|---|---|---|---|
| smollm-135m | да | 428.9 | 1,900.7 | 4.416 | +0.0155 | ≥ 0.967 (G_out) | +0.0014 |
| qwen2.5-0.5b | да | 125.7 | 471.8 | 3.754 | +0.0183 | 0.967 (G_out) | +0.0073 |
| tinyllama-1.1b | нет | 6,800 | 6,786 | 0.998 single / 1.50 multi | 0.0013 | — | +0.0022 |
| phi-1_5 | нет | — | — | 2.56 ± 0.12 (multi-rep) | −0.001 ± 0.002 | — | — |
| pythia-2.8b | нет | — | — | 2.30 ± 0.13 (multi-rep) | −0.005 ± 0.003 | — | — |
| qwen2.5-3b | да | 470.2 | 3,269.6 | 6.953 | −0.0061 | ≥ 0.967 (G_out) | +0.1748 |
| qwen3-4b | да | 1,495.4 | 8,219.7 | 5.496 | −0.0036 | ≥ 0.967 (G_out) | +0.2231 |
| gemma-4-e2b | да | 664.0 | 13.97 | 0.021 (инверсия) | +0.0229 | 0.9997 (G_in) | +0.1197 |
Нормы`‖G_in`/`‖G_out‖`и ratio сравнимы прежде всего внутри модели. Для untied-моделей отношение норм требует осторожной интерпретации, поскольку сравниваются разные матрицы. Перекрёстно более сопоставимыми являются косинусы направлений и qualitative pattern «доминирование без оппозиции».
Exp7 (8 моделей): head-cosinecos(G_in,G_out)≈ 0 и отношение норм ‖G_out‖/‖G_in‖ — доминирование выходного пути ×4–×6.9 у tied, умеренная асимметрия у untied (красный = tied, зелёный = untied).
#### Многократное усреднение (Exp7, 5 случайных окон)
Чтобы исключить артефакт конкретной выборки токенов, cos/ratio пересчитаны на пяти независимых случайных окнах корпуса:
- smollm: cos −0.062 ± 0.040, ratio 4.81 ± 0.95;
- qwen2.5-0.5b: cos −0.031 ± 0.077, ratio 4.03 ± 0.89;
- tinyllama (untied): cos −0.005 ± 0.002, ratio 1.50 ± 0.08;
- qwen2.5-3b: cos −0.008 ± 0.027, ratio 5.16 ± 1.50;
- qwen3-4b: cos −0.031 ± 0.036, ratio 4.08 ± 1.57;
- pythia-2.8b (untied): cos −0.005 ± 0.003, ratio 2.30 ± 0.13;
- phi-1_5 (untied): cos −0.001 ± 0.002, ratio 2.56 ± 0.12.
Во всех пяти tied-моделях cos остаётся практически ортогональным, а ratio выходного пути к входному держится на уровне ×4–5. У трёх untied-моделей также наблюдается умеренная асимметрия отношений норм и cos ≈ 0. Однако из-за раздельных матриц и возможного embedding scaling это следует трактовать как supportive evidence для более общего феномена асимметрии путей, а не как строгое доказательство, что tying не имеет значения.
У Gemma multi-rep прогон не поместился на карте 16 GiB, поэтому её инверсия остаётся single-run измерением, хотя функциональная абляция Part B/v3 воспроизведена.
#### Три наблюдения
Первое. Градиентной оппозиции нет. Во всех пяти tied-моделях |cos| ≤ 0.023; у трёх untied cos ≈ 0. Null-модель показывает, что в размерности d ≈ 3·10⁷–4·10⁸ случайные векторы имеют cos ~ N(0, 1/d). Измеренные |cos| статистически отличимы от нуля, но практически малы. Важно разделять statistical significance и practical orthogonality: слабая общая компонента реальна, но её величина недостаточна для интерпретации как конфликта.
Второе. В большинстве tied-моделей общий апдейт близок к одному пути, чаще выходному. В четырёх из пяти tied-моделей выходной путь доминирует по норме, а G_total практически совпадает с ним. Это согласуется с Lopardo et al. (2026) и с идеей LM-head gradient bottleneck. Но поскольку untied-модели тоже показывают умеренную асимметрию, нельзя строго утверждать, что именно tying создаёт доминирование. Более корректно: tying может усиливать или фиксировать асимметрию, поскольку оба пути вынуждены делить одну матрицу.
Третье. Gemma-4 — структурное исключение, частично объяснённое масштабированием. Входной путь доминирует примерно в 47 раз, и G_total совпадает с G_in. Две оговорки: (i) норма градиента зависит от размера матрицы; (ii) bf16-точность у 5B-модели ниже, чем fp32 у малых моделей. У Gemma4 выход эмбеддинга проходит через масштабирование scale = √1536 = 39.19.
#### Функциональная проверка инверсии Gemma
Part B: scaled эмбеддинг заменён на обычный nn.Embedding, делящий тот же тензор весов. После снятия масштаба: ‖G_in'‖ = 123.42, ‖G_out'‖ = 21.14, ratio 5.84 против сырых ~47. Чистое деление на масштаб предсказывает ratio ≈1.20, поэтому ~8× из инверсии объясняется масштабом, но не вся.
v3 PLE-абляция: при снятом масштабе PLE-таблица занулена. Получено ‖G_in'‖ = 67.36, ‖G_out'‖ = 15.74, ratio 4.28 против контрольного 5.83. PLE — вкладчик, но не вся история.
Полный расклад инверсии Gemma: ~8× из сырых 47× даёт масштаб √h основного эмбеддинга, ещё ~1.36× — PLE-канал, остаток ≈4.3× — структурное входное доминирование. Небольшие различия между single-run Exp7 (664.0 / 13.97) и функциональным прогоном Part B (658.7 / 13.97) отражают разные прогоны/округление; направление и порядок величины инверсии совпадают.
Functional-прогон Part B/v3 для Gemma-4: снятие масштаба √h эмбеддинга и PLE-абляция — большая часть сырых 47× объясняется масштабированием, остаток ≈4.3× структурный.
#### Вердикт H1
H1 поддержана в модифицированной форме, но не как строгая причинная теория.
- Подтверждено: градиентная оппозиция входного и выходного путей не обнаружена.
- Подтверждено: в tied-моделях общий апдейт обычно близок к одному доминирующему пути, чаще выходному.
- Подтверждено частично: Gemma-4 демонстрирует инверсию, значительная часть которой объясняется scale и PLE, но остаток структурный.
- Не установлено: что weight tying является необходимой причиной асимметрии путей. Untied-модели также показывают умеренную асимметрию, хотя их ratio требует нормировки.
- Удалено из формулировок: «регуляризатор всегда выбирает одного победителя». Корректно: «во всех рассмотренных tied-моделях общий апдейт оказался близко к одному из путей; у untied-моделей также наблюдается умеренная асимметрия, но её интерпретация ограниченна».
Гипотеза 2 — Архитектурно-зависимые низкоразмерные зоны представлений
#### Метод
Forward на 2048 токенах реального корпуса. По каждому уровню скрытых состояний — центрирование и точный SVD; Participation Ratio = (Σσᵢ²)²/Σσᵢ⁴. Шея = уровень с минимальным PRc.
#### Контрольная пара
Qwen2.5-0.5B: PR(L0) = 25.88 → neck L4, PRc 1.17.
TinyLlama-1.1B: PR(L0) = 155.83 → neck L3, PRc 1.13.
Шея почти одинакова у tied и untied — низкоразмерная зона не специфична для tying.
Центрированные PR-профили контрольной пары: Qwen2.5-0.5B — neck L4 (PRc 1.17), TinyLlama-1.1B — neck L3 (PRc 1.13); низкоразмерные зоны не специфичны для tying.
#### Кросс-модельное (Exp5)
| Модель | Слоёв | Шея (robust) | PRc(шея) | Примечание |
|---|---|---|---|---|
| smollm-135m | 30 | L12 (40% глубины) | 1.08 | центрированные часы |
| qwen2.5-0.5b | 24 | L4 (17%) | 1.17 | ранняя воронка |
| tinyllama-1.1b | 22 | L3 (14%) | 1.13 | ранняя воронка, двойная талия |
| phi-1_5 | 24 | L4 (17%) | 5.10 | ранняя шея без коллапса `PRc < 2` |
| pythia-2.8b | 32 | L6 (19%) | 7.29 | ранняя шея без коллапса `PRc < 2` |
| qwen2.5-3b | 36 | L3 (8%) | 1.10 | ранняя воронка / длинная полка |
| qwen3-4b | 36 | L7 (19% глубины) | 1.13 | L11/L17 — вторичные минимумы; первоначальный L17 — artifact single window |
| gemma-4-e2b | 35 | L35 (последний блок) | 6.00 | нет mid-stack коллапса |
Исправление после bootstrap: для Qwen3-4B детерминированное первое окно дало neck L17, но 24 из 25 случайных окон локализуют основной аргминимум в L7. Поэтому везде используется robust neck L7; L17 остаётся вторичным локальным минимумом.
Exp5 (8 моделей): центрированные PR-профили по уровням — hourglass у 5/8 (PRc ≈ 1.08–1.17), ранние шеи с высоким полом у Pythia-2.8B и Phi-1_5, без mid-stack коллапса у Gemma.
#### Анизотропия эмбеддингов
raw / centered:
- smollm: 0.349 / 0.059;
- qwen0.5b: 0.159 / 0.043;
- tinyllama: 0.022 / 0.020;
- pythia-2.8b: 0.024 / 0.024;
- phi-1_5: 0.023 / 0.024;
- qwen3b: 0.083 / 0.021;
- qwen4b: 0.091 / 0.019;
- gemma: 0.064 / 0.027.
Осторожная интерпретация: tied-модели в среднем показывают более высокую сырую анизотропию, чем untied, но эффект не изолирован от hidden size, vocab, embedding scale, PLE и training recipe. Поэтому корректно говорить об ассоциации, а не о доказанной причине.
Exp5: сырая анизотропия эмбеддингов (mean|cos|, 2000 случайных слов) против размера модели — конус у tied-моделей (0.064–0.349), общий пол ≈ 0.02 у всех untied (красный = tied, зелёный = untied).
#### Устойчивость уровня шеи (bootstrap, 25 окон)
Argmin PRc проверен на 25 независимых случайных окнах:
- SmolLM L12 в 76% окон;
- qwen2.5-0.5b, TinyLlama, qwen2.5-3b, Gemma-4 — 25/25;
- Pythia-2.8B L6 в 88% окон;
- Phi-1_5 L4 в 68% окон;
- Qwen3-4B: robust L7 в 24/25 окон, L17 вторичный.
Это существенно усиливает H2 как контроль статистического артефакта: положение минимального PR не является случайным выбором одного окна.
#### Зоны сжатия и таксономия режимов
| Модель | n_low / L | Зона вокруг шеи | Ширина | Старт зоны | Локальные минимумы `PRc < 2` | Режим |
|---|---|---|---|---|---|---|
| smollm-135m | 14/30 | L12–L25 | 14 | 0.40 | {L12} | центрированные часы |
| qwen2.5-0.5b | 15/24 | L3–L17 | 15 | 0.12 | {L4} | ранняя воронка |
| tinyllama-1.1b | 8/22 | L3–L10 | 8 | 0.14 | {L3, L8} | ранняя воронка, двойная талия |
| phi-1_5 | 0/24 | нет `PRc < 2`; при T=10: L3–L8 | — | 0.12 | {} | распределённый режим с высоким полом |
| pythia-2.8b | 0/32 | нет `PRc < 2`; при T=10: L5–L10 | — | 0.16 | {} | распределённый режим с высоким полом |
| qwen2.5-3b | 22/36 | L3–L24 | 22 | 0.08 | {L3} | ранняя воронка / длинная полка |
| qwen3-4b | 20/36 | L7–L26 | 20 | 0.19 | {L7, L11, L17} | смешение сжатых слоёв |
| gemma-4-e2b | 0/35 | нет `PRc < 2`; при T=10: L35 | — | 1.00 | {} | распределённый режим, сжатие на выходе |
Новая таксономия H2:
1. Early funnel — Qwen2.5-0.5B, Qwen2.5-3B, TinyLlama.
2. Centered hourglass — SmolLM.
3. Multi-waist / mixed compression — Qwen3-4B.
4. High-floor early neck — Pythia-2.8B, Phi-1_5.
5. Distributed output-concentrated — Gemma-4.
Поэтому H2 следует формулировать не как «есть песочные часы», а как: трансформеры демонстрируют архитектурно-зависимые зоны эффективного сжатия представлений; их глубина, ширина и выраженность различаются между моделями [^8].
#### Произвольность порога`PRc < 2`исключена
Уровень шеи стабилен при всех порогах T ∈ {1.0, 1.25, 1.5, 2.0, 2.5, 3.0}. Случайная матрица тех же размеров даёт PRc ≈ 450–1137, на два-три порядка выше реальных necks.
#### Контентонезависимость: осторожная формулировка
PR повторили на пяти корпусах, включая shuffled token noise. Результат: neck = L3 во всех пяти случаях, PR neck 1.125–1.174.
Корректный вывод: в пределах протестированных корпусов и данного режима инференса положение минимального PR оказалось устойчивым к изменению содержания и порядка входа. Это снижает вероятность корпусного артефакта. Но shuffled control сохраняет маргинальное распределение токенов, поэтому нельзя утверждать абсолютную контентонезависимость.
Контентонезависимость: PR-профиль Qwen2.5-0.5B на пяти корпусах (включая shuffled token noise) — neck = L3 во всех случаях, PR neck 1.125–1.174.
#### Perturbation-тест: contracting attractor не подтверждён
Top-10 подпространство neck-L4 несёт 98.17% энергии. Затем инжектируется случайное возмущение и прогоняется через оставшийся стек. Метрика — усиление на единицу инъекции:
- parallel ×~14.6;
- radial/orthogonal ×~10.2–10.3.
Вывод: низкий PR не означает contracting attractor. Параллельные возмущения не подавляются; они усиливаются сильнее ортогональных.
Но обратный вывод тоже ограничен: это не доказывает, что система является repeller. Для строгого repeller-утверждения нужен анализ Jacobian относительно локальной траектории/manifold и нормировка на естественый gain residual stream. Корректная формулировка: динамическая интерпретация шеи как стягивающего аттрактора не получила подтверждения.
Возмущения top-10 подпространства neck-L4 (98.17% энергии): parallel усиливается ×~14.6, radial/orthogonal — ×~10.2–10.3; contracting attractor не подтверждён.
#### Вердикт H2
H2 поддержана как существование архитектурно-зависимых низкоразмерных зон представлений, но исходная сильная версия «универсальные песочные часы в середине стека как contracting attractor» отвергнута.
- 5 из 8 моделей демонстрируют выраженные низкоразмерные зоны
PRc ≈ 1.08–1.17. - Положение зон варьируется от ранней воронки до центрированных часов и смешения минимумов.
- Gemma, Pythia и Phi не показывают коллапс ниже
PRc = 2. - Perturbation-тест не подтверждает contracting attractor.
- Bootstrap, threshold sensitivity, random null и cross-corpus controls усиливают статус наблюдения как неслучайного.
Гипотеза 3 — Спектральная асимметрия весов и активаций
#### Метод
На шее берётся точный SVD: входных активаций и матрицы gate_proj. Критерий — k95.
#### Контрольная пара
| Модель | Матрица | Размерность | k95(веса) | k95(активации) | Энергия топ-3 активаций | Энергия топ-10 весов |
|---|---|---|---|---|---|---|
| Qwen2.5-0.5B (tied) | gate_proj | 896×896 | 766/896 | 21/896 | 0.930 | 0.048 |
| TinyLlama-1.1b (untied) | gate_proj | 2048×2048 | 1610/2048 | 8/2048 | 0.944 | 0.056 |
Веса на шее остаются почти полноранговыми, тогда как активации обрываются на 2.3% и 0.4%. Топ-3 направления активируют 93–94% энергии, а топ-10 весов — лишь ~5%.
Это локальное подтверждение более общего наблюдения: низкоразмерная траектория сосуществует с почти полноранговым оператором. TinyLlama показывает, что асимметрия не требует weight tying.
Точный SVD на шеях контрольной пары (матрицаgate_proj): веса почти полноранговы (k95 ≈ 79–85%), входящие активации обрываются на 2.3% и 0.4% размерности, топ-3 направления — 93–94% энергии.
#### Мост к предыдущему исследованию
Этот результат согласуется с results_v6/: активационные конусы измерялись там на всех слоях ансамбля, здесь — точечно на шее. Минимальный эффективный ранг весов и активационные d90 согласуются по порядку величины.
#### Практический вывод для квантования — осторожный
Если бы сложность квантования определялась только rank весов, геометрические методы работали бы. Они не работают. Совместно с GPTQ/SmoothQuant это указывает: сложность квантования определяется outliers и curvature, а не только rank.
Но H3 не является теоремой о невозможности квантования. Это спектральное наблюдение. Квантование зависит от:
- rank;
- outliers;
- scale;
- Hessian/curvature;
- распределения ошибок;
- downstream sensitivity.
#### Вердикт H3
H3 подтверждена локально: на измеренных шеях веса почти полноранговы, активации радикально низкоразмерны, и асимметрия воспроизводится у tied и untied моделей. Из этого следует, что activation geometry не может служить прямым прокси для weight compressibility. Но вывод о невозможности квантования удалён: квантование определяется не только rank.
Гипотеза 4 — Representation compression ≠ memory degradation
#### Важная оговорка
Все измерения H4 выполнены на модели Qwen2.5-0.5B, потому что у TinyLlama max_pos = 2048. Кросс-модельное расширение — Exp6.
#### Наивная проверка H4: давление массы
Raw-метрика cos к центру массы падает от 100 к 1000, затем плато — конечноразмерный эффект. DC-free проверка плоская (~0.29 на всех длинах). Индивидуальность представлений не теряется; «давление массы» как геометрический эффект не воспроизводится.
Qwen2.5-0.5B: cos к центру массы (raw) и DC-free вариант против длины последовательности — плато, «давление массы» как геометрический эффект не воспроизводится.
#### E4b: DC-энергия и PR по длине
| N | prefix E_DC | mixed E_DC | PRc (pref/mixed) | k95c (pref/mixed) |
|---|---|---|---|---|
| 100* | 0.5367 | 0.7096 | 6.11 / 7.51 | 44 / 31 |
| 1000 | 0.3800 | 0.5045 | 8.30 / 8.62 | 161 / 135 |
| 4096 | 0.3672 | 0.4617 | 7.66 / 8.63 | 221 / 203 |
| 8192 | 0.3780 | 0.4148 | 8.72 / 8.66 | 243 / 233 |
N=100 загрязнено конечноразмерным раздутием. E_DC prefix flat; mixed показывает слабую статическую тематическую интерференцию. PRc и k95c не растут.
E4b (Qwen2.5-0.5B): E_DC, центрированный PR и k95 против длины N = 100–8192 — плоские профили, сжатия представлений по длине нет.
#### E4e: needle-in-haystack logit probe
| L | mean lift (nats) | argmax |
|---|---|---|
| 100 | +6.44 | 5/5 |
| 500 | +6.94 | 5/5 |
| 1000 | +5.00 | 5/5 |
| 2048 | +6.37 | 5/5 |
| 4096 | +6.50 | 5/5 |
| 8192 | +6.03 | 5/5 |
Lifts flat в 5–7 nats; argmax 30/30. Функциональной деградации по длине нет.
E4e (Qwen2.5-0.5B): logit-lift найденной иглы против длины контекста — flat, 30/30 argmax.
#### E4f: позиционный скан / LiM-тест
| Метрика | Значение |
|---|---|
| Максимум mean lift по позиции | p = 0.45 (+7.147) |
| Минимум | p = 0.75 (+6.075) |
| U-контраст (края − середина) | −0.1587 |
| Argmax = target | 90/90 |
Профиль flat по позиции, максимум — в середине. Lost-in-the-Middle отсутствует.
E4f (Qwen2.5-0.5B): logit-lift по пяти позициям окна (p = 0.05–0.95), 2 реплики — профиль flat, максимум в середине (p = 0.45).
#### Вердикт H4
H4 локально фальсифицирована: на Qwen2.5-0.5B до 8192 токенов representation compression не объясняет retrieval degradation.
Но из этого не следует, что LiM обязательно является attention dilution. Наши данные показывают отсутствие связи в измеренной конфигурации. Attention и позиционные механизмы остаются кандидатами, но не установлены как причина.
Кросс-модельное расширение H4 (Exp6, 8 моделей)
Per-position lift scan на всех восьми моделях. Inversion Contrast = Mean Lift(середина) − Mean Lift(края).
| Модель | L (окно) | IC | Форма |
|---|---|---|---|
| smollm-135m | 2048 | −0.1912* | классическая U, слабый |
| qwen2.5-0.5b | 4096 | +0.3854 | inverted-U |
| tinyllama-1.1b | 2048 | +0.7055* | inverted-U, задирает слабая правая точка |
| phi-1_5 | 2048 | +1.2370 | inverted-U, CI [−1.89, +4.00], p = 0.571 |
| pythia-2.8b | 2048 | +0.5703 | inverted-U, CI [−1.30, +2.38], p = 0.627 |
| qwen2.5-3b | 4096 | −1.2865 | классическая U |
| qwen3-4b | 4096 | +0.5885 | inverted-U |
| gemma-4-e2b | 4096* | −0.4479* | классическая U, *окно L=1024 |
Смешанный описательный результат: inverted-U у пяти моделей, классическая U у трёх. Чистого size-тренда нет, паттерна по tying тоже нет. Ни один контраст не значим при α = 0.05 из-за малого числа позиций и широких CI. Поэтому различие «inverted-U vs классическая U» на данном наборе носит описательный характер, а не статистически установленный эффект.
Exp6 (8 моделей): Inversion Contrast = Mean Lift(середина) − Mean Lift(края). > 0 — inverted-U (средина лучше), < 0 — классическая U / Lost-in-the-Middle. Красный — tied, зелёный — untied.
#### Last-layer PRc и знак IC: exploratory association
В данной выборке все модели с last-layer PRc выше ≈6.8 дают IC > 0, ниже — IC < 0; разрыв между группами 1.64, пересечений нет (n=8).
Осторожная формулировка: это exploratory cross-model association. Порог подобран на той же малой выборке, поэтому возможна overfitting-by-threshold. Для превращения в отдельный результат нужна проверка на расширенном наборе моделей и, желательно, common-length reanalysis.
#### Гипотеза о расположении зон
Qwen-модели с ранней воронкой показывают разный знак IC. Pythia и Phi имеют раннюю шею, но inverted-U. Простая формулировка «одна сильная талия в начале стека → LiM» не подтверждается. Более осторожно: различие, возможно, связано с наличием коллапса ниже PRc = 2, но на n=8 это описательное наблюдение.
Multi-level retrieval probe: тип операции над информацией
Qwen2.5-0.5B, L=2048, три уровня иглы.
| Уровень | p=0.1 | p=0.5 | p=0.9 |
|---|---|---|---|
| L1_exact | +7.12 | +7.38 | +7.65 |
| L2_semantic | +6.92 | +7.18 | +7.24 |
| L3_relational_2hop | 1.48 | 1.71 | 1.56 |
Профиль flat по позиции. Single-hop recall силён; двухходовые реляционные цепочки обваливаются до ~+1.5.
Корректный вывод: данный probe выявляет резкое снижение logit-lift для двухходовой реляционной цепочки по сравнению с одноходовым точным и семантическим извлечением в Qwen2.5-0.5B. Это указывает на возможную роль типа операции над информацией. Но это не установленный общий архитектурный лимит реляционного связывания без проверки на других цепочках, отношениях и моделях.
Multi-level retrieval probe (Qwen2.5-0.5B, L=2048): logit-lift для L1 exact / L2 semantic / L3 relational 2-hop по трём позициям — flat профиль для single-hop, обвал до ~+1.5 на двухходовой цепочке.
Exp9: пик функциональной чувствительности против геометрической шеи
PR-профиль Exp5 измеряет геометрию представлений. Exp9 измеряет, насколько выход модели чувствителен к локальному шуму в выводе каждого слоя.
| Модель | Пик функциональной чувствительности (KL @ ε=1e-2) | Форма профиля | Геометрическая шея Exp5 |
|---|---|---|---|
| gemma-4-e2b | L12, 2.39 nats single-run; multi-seed rel_eps: 3.20 ± 0.08 nats | острый mid-stack пик | L35, PRc 6.0 — нет mid-stack collapse |
| qwen2.5-0.5b | нет выраженного пика: max ~0.002 nats | почти плоский | L4, PRc 1.17 |
| tinyllama-1.1b | L0, 0.34 nats | front-loaded | L3, PRc 1.13 |
Главный результат Exp9: геометрическая шея и пик функциональной чувствительности не совпадают.
- У Gemma функциональная чувствительность максимальна в L12, где нет геометрического коллапса.
- У Qwen геометрическая шея L4 почти не переходит в локальную функциональную чувствительность.
- Только TinyLlama частично согласован: и PR-коллапс, и функциональная важность у входного края.
Терминологическая правка: вместо «функциональное бутылочное горлышко» используется «пик функциональной чувствительности». KL после H + εη говорит о чувствительности выхода к шуму, а не о причинной необходимости слоя. Для bottleneck-утверждений нужны ablation или activation patching.
Часть 4: синтез и discussion, заключение, код и данные.
Часть 4. Синтез и discussion
Три независимых уровня
Вся работа сводится к формуле:
W-geometry ≠ X-geometry ≠ F-function.
- Геометрия параметров`W`: спектр весовых матриц, градиентные пути, tying status, embedding scale.
- Геометрия представлений`X_l`: эффективная размерность скрытых состояний по слоям, зоны сжатия, анизотропия, устойчивость к perturbation.
- Функциональный доступ`F`: retrieval lift, позиция/тип запроса, локальная чувствительность логов к выводу слоя.
Три уровня не обязаны совпадать — и на наших данных они не совпадают. Exp5 говорит, где представления низкоранговы. Perturbation-тест показывает, что низкий ранг не равен contracting dynamics. Exp9 показывает, где логи функционально чувствительны. H4 показывает, что геометрическая компрессия не объясняет локальную retrieval degradation.
Что мы показали после переоценки
#### H1
Weight tying ассоциирован с асимметрией градиентных путей, но не установлен как единственная причина. Во всех tied-моделях градиенты входного и выходного путей практически ортогональны; в четырёх из пяти выходной путь доминирует по норме. Gemma-4 показывает инверсию, частично объяснённую scale и PLE. Untied-модели также демонстрируют умеренную асимметрию отношений норм, но их ratio требует осторожной нормировки.
#### H2
Низкоразмерные зоны представлений реальны, устойчивы к корпусным и пороговым артефактам, но архитектурно-зависимы. Песочные часы — один из режимов, не универсальная форма. Perturbation-тест отвергает contracting attractor-интерпретацию.
#### H3
Спектральная асимметрия «полноранговый закон / низкоразмерная траектория» воспроизводится локально у tied и untied моделей. Это объясняет провал геометрического сжатия весов, но не даёт теоремы о невозможности квантования.
#### H4
Representation compression не является достаточным объяснением локальной retrieval degradation. Кросс-модельные формы U-профиля описательны и статистически незначимы на n=8. Attention/positional mechanisms остаются кандидатами, но не доказаны.
#### Exp9
Функциональная чувствительность может достигать пика там, где геометрической компрессии нет. Это один из самых чистых контрпримеров против сведения X и F.
Сводная таблица: что подтверждено, что отвергнуто, что остаётся гипотезой
| Утверждение | Статус в работе | ||
|---|---|---|---|
| Weight tying создаёт градиентную оппозицию входного и выходного путей | Не подтверждено; ` | cos | ≤ 0.023` |
| В tied-моделях общий апдейт близок к одному доминирующему пути | Подтверждено в исследованной выборке | ||
| Weight tying необходимо для асимметрии путей | Не установлено; untied-модели также показывают умеренную асимметрию | ||
| Низкий PR означает contracting attractor | Отвергнуто perturbation-тестом | ||
| Низкий PR означает repeller | Не установлено; нужен Jacobian-анализ | ||
| Геометрическая шея совпадает с пиком функциональной чувствительности | Не подтверждено; Gemma и Qwen дают контрпримеры | ||
| Representation compression объясняет LiM | Локально фальсифицировано на Qwen2.5-0.5B до 8192 токенов | ||
| LiM вызван attention dilution | Не установлено; остаётся гипотезой | ||
| Low-rank activations означают невозможность квантования весов | Не следует; H3 — спектральное наблюдение | ||
| Last-layer PRc предсказывает знак IC как закон | Не установлено; exploratory association на n=8 |
Candidate cross-level bridge: output dimensionality and retrieval profile
Среди всех внутренних связей наиболее перспективной является не mid-stack neck, а last-layer effective dimensionality. В данной выборке знак inversion contrast описательно разделяется по PRc последнего скрытого слоя: модели с более высоким last-layer PRc склонны давать inverted-U, с более низким — классическую U. Это не закон и не причинный вывод, но он указывает на возможный мост между геометрией представлений и функциональным профилем извлечения: выходная геометрия может быть более релевантной для retrieval-профиля, чем наличие низкоразмерной зоны в середине стека.
Relation to existing literature
#### Weight tying
Наши измерения градиентов дают механизм-объяснение выравниванию общей матрицы с выходом: не статическое свойство, а доминирование одного пути в общем апдейте. Но переоценка добавляет: LM-head gradient bottleneck и embedding scaling являются важными конкурентными объяснениями, особенно для untied-моделей и Gemma-инверсии.
#### Anisotropy и intrinsic dimensionality
Мы не утверждаем, что anisotropy создаётся исключительно tying. Более корректно: tied-модели в выборке показывают более высокую сырую анизотропию, а низкоразмерность представлений является протяжённой зоной с дрейфующей формой.
#### Quantization
H3 даёт архитектурное объяснение, почему геометрические методы на весах не работают: веса полноранговы. Но квантование определяется outliers/curvature, поэтому GPTQ и подобные методы остаются валидными.
#### Lost in the Middle
Наш локальный отрицательный результат не противоречит Liu et al. (2023): мы отсекаем геометрическое объяснение через representation compression, а не сам эффект LiM. Кросс-модельный зигзаг подтверждает, что форма U определяется моделью и, вероятно, механизмом внимания/позиционирования, но конкретная причина в данной работе не установлена.
#### Information Bottleneck и Neural Collapse
Низкоразмерные зоны согласуются с IB-идеей компрессии, но perturbation-тест показывает, что это компрессия дисперсии без обязательного динамического притяжения. Аналогия с Neural Collapse ослаблена.
Практические выводы: не рекомендации, а дизайн-гипотезы
Важно: текущая работа не устанавливает причинно-следственных архитектурных рекомендаций. Ниже — гипотезы для будущего дизайна и абляций.
#### 1. Weight tying и KV-кэш
Дизайн-гипотеза: weight tying ассоциирован с более выраженной анизотропией эмбеддингов и доминированием одного градиентного пути в исследованной выборке. Это может быть полезно, если целью является низкоразмерный KV-кэш, но прямая цепочка weight tying → better KV compression → system benefit не установлена.
#### 2. Untied модели и изотропия
Дизайн-наблюдение: untied-модели TinyLlama, Pythia и Phi показывают низкую сырую анизотропию эмбеддингов. Это может быть полезно, если требуется более изотропное входное пространство, но цена — дополнительные параметры и возможная потеря регуляризационного эффекта tying.
#### 3. Sliding-window attention и mid-stack collapse
Дизайн-гипотеза: у Gemma-4 отсутствие mid-stack collapse коррелирует с преобладанием sliding-window attention. Это интересное архитектурное наблюдение, но причинный вывод требует абляции окна внимания или сравнения с full-attention вариантом того же семейства.
#### 4. Multi-level retrieval
Дизайн-гипотеза: в данном probe двухходовое реляционное связывание оказывается значительно труднее одноходового exact/semantic retrieval. Архитекторам малых моделей следует учитывать тип операции над информацией, а не только длину контекста или геометрию представлений.
Ограничения и будущая работа
1. n = 8 моделей. Кросс-модельные тренды запутаны размером, vocab, архитектурой, attention mechanism, positional encoding, training recipe и tying status. Работа является observational, не causal.
2. Untied H1 ratios не полностью сопоставимы с tied. Для строгих выводов нужен parameter- и scale-normalized пересчёт градиентных норм.
3. Gemma multi-rep не выполнена из-за VRAM. Её инверсия — single-run gradient measurement plus reproduced Part B/v3 functional checks.
4. Qwen3-4B neck исправлен на robust L7. L17 остаётся вторичным минимумом; все таблицы синхронизированы.
5. Perturbation-тест attractor выполнен на одной модели и одном neck. Для глобального вывода нужны multi-seed и несколько моделей разных режимов.
6. Exp9 измеряет локальную чувствительность, не причинную необходимость. Для functional bottleneck-утверждений нужны ablation/patching.
7. Exp6 статистически незначим на n=8. Last-layer PRc threshold ≈6.8 — exploratory association, подобранная на той же выборке.
8. H4 проверена локально до 8192 токенов на base-модели. Instruction-tuned модели, 32k/128k контексты и другие attention mechanisms могут вести себя иначе.
9. Смешанная точность fp32/bf16. Перекрёстные сравнения норм даны как направленные; для калибровки нужен контрольный прогон в более высокой точности.
10. Корпус одного домена. Cross-corpus control включает shuffled tokens, но не покрывает код, диалоги, мультимодальные и другие распределения.
Заключение: геометрия как карта несводимых режимов
Мы начали с вопроса «что создаёт асимметрию между плотными весами и узкими представлениями?» и получили более сложный ответ: архитектура создаёт несколько несводимых геометрических и функциональных режимов, которые нельзя описать одной «геометрией модели».
Weight tying ассоциирован с асимметрией градиентных путей и повышенной сырой анизотропией, но не установлен как необходимая причина асимметрии: untied-модели также показывают умеренную асимметрию путей. Gemma-4 демонстрирует инверсию доминирования, значительная часть которой объясняется масштабированием и PLE-каналом, но остаток остаётся структурным.
Низкоразмерные зоны представлений реальны, устойчивы к bootstrap, порогу PR, случайному null и кросс-корпусным проверкам. Но они не имеют единой канонической формы: ранняя воронка, центрированные часы, тройная талия, высокий пол и выходное сжатие — разные архитектурные режимы. Perturbation-тест показывает, что низкий PR не равен contracting attractor.
Спектральная асимметрия «полноранговые веса / низкоразмерные активации» объясняет, почему геометрическое сжатие весов не работает, но не даёт теоремы о невозможности квантования.
Гипотеза о том, что низкоразмерность представлений вызывает Lost-in-the-Middle, локально фальсифицирована. Это не устанавливает attention dilution как причину, но отсекает целый класс геометрических объяснений.
Exp9 добавляет последний важный штрих: геометрическая шея и пик функциональной чувствительности находятся в разных местах. У Gemma функциональная чувствительность максимальна там, где нет геометрического коллапса; у Qwen геометрический коллапс почти не переходит в локальную функциональную критичность.
Итоговая формула работы:
**low PR ⇏ attractor;
low PR ⇏ functional bottleneck;
low PR ⇏ memory degradation;
low-rank activations ⇏ unquantizable weights;
weight tying ⇏ unique cause of path asymmetry.**
И наоборот, наиболее устойчивый позитивный результат:
W, X и F — разные уровни описания LLM; их совпадение является модель-зависимым, а не архитектурной необходимостью.
Код и данные
Исходные эксперименты контрольной пары: Exp 1 (code/) — Exp 2–3 (code/) + оригинальный Exp 4 (H4, code/); результаты в data/.
Переформулировка H4 (code/): скрипты run_e4b_dc_energy.py, run_e4e_needle.py, run_e4f_position_scan.py; метрики в data/e4b_metrics.json, e4e_metrics.json, e4f_metrics.json.
Кросс-модельное расширение (code/): скрипты Exp 5–7 и compute_zone_stats.py; результаты — data/cross_model_results.json, docs/cross_model_summary.md, work JSONs data/exp{5,6,7}_metrics.json, зона-статистика data/neck_zone_stats.json, метаданные моделей data/models_metadata.json.
Функциональный скан пертурбаций (code/): скрипт run_exp9_hidden_perturbation.py; результаты — data/exp9_hidden_perturbation_metrics.json, лог data/exp9_run.log.
Диагностика 2026-09-17:
- Gemma gradient perturbation sweep →
data/gemma_gradient_perturbation_metrics.json; - функциональная проверка инверсии + v3 PLE-абляция →
data/gemma_functional_impact_metrics.json,data/gemma_v3_ple_ablation_metrics.json; - PR cross corpus →
data/pr_cross_corpus_metrics.json; - attractor subspace perturbation →
data/attractor_subspace_perturbation_metrics.json; - multi-level retrieval probe →
data/multi_level_retrieval_probe_metrics.json.
Диагностика 2026-09-18:
- null-модели →
data/null_model_metrics.json; - threshold sensitivity →
data/point5_threshold_sensitivity.json; - multi-rep Exp7 →
data/exp7_multisubsample_metrics.json; - bootstrap Exp5 →
data/exp5_neck_bootstrap_metrics.json; - CI контраста инверсии Exp6 →
data/exp6_ic_ci.json; - multi-seed Exp9 →
data/exp9_multiseed_metrics.json.
p.2 (2026-09-19): добавлены Pythia-2.8B и Phi-1_5; пайплайн code/download_p2_models.bat, run_exp5_anatomy_p2.bat, run_exp5_neck_bootstrap_p2.bat, run_exp6_lim_scan_p2.bat, run_exp7_multisubsample_p2.bat. Бутстреп Pythia: GPU-прогон сохранил 25 окон; производные поля reference_neck = 6, fraction_match_reference = 0.88 заполнены CPU-патчем code/patch_pythia_bootstrap.py. IC-CI пересчитан code/exp6_ic_ci.py; zone stats — code/compute_zone_stats.py.
Предыдущее исследование: cmq_experiment/results_v6/.
Сноски
Сноска 7 (arXiv:2405.17130) исключена из списка: этот идентификатор фактически соответствует другой статье, а заявленный заголовок не найден в arXiv.
[^1]: Lopardo et al. Weight Tying Biases Token Embeddings Towards the Output Space. arXiv:2603.26663. https://arxiv.org/abs/2603.26663
[^2]: Godey et al. Lost in Backpropagation: The LM Head is a Gradient Bottleneck. arXiv:2603.10145. https://arxiv.org/abs/2603.10145
[^3]: Tao et al. AEGIS: Attention-Embedding Gradient Isolation Shield — Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning. arXiv:2608.19534. https://arxiv.org/abs/2608.19534
[^4]: Stollenwerk et al. Output Embedding Centering for Stable LLM Pretraining. arXiv:2601.02031. https://arxiv.org/abs/2601.02031
[^5]: Bernas et al. Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics. arXiv:2604.08764. https://arxiv.org/abs/2604.08764
[^6]: Song et al. Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation. arXiv:2503.22547. https://arxiv.org/abs/2503.22547
[^8]: Wu et al. Variable-Width Transformers. arXiv:2606.18246. https://arxiv.org/abs/2606.18246
[^9]: Gemma 4 Technical Report. arXiv:2607.02770. https://arxiv.org/abs/2607.02770
[^10]: Wijmans et al. Cut Your Losses in Large-Vocabulary Language Models. arXiv:2411.09009. https://arxiv.org/abs/2411.09009
[^11]: Hsieh et al. Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization. arXiv:2406.16008. https://arxiv.org/abs/2406.16008
[^12]: Salvatore et al. Lost in the Middle: An Emergent Property from Information Retrieval Demands in LLMs. arXiv:2510.10276. https://arxiv.org/abs/2510.10276
[^13]: Gupte et al. What Works for 'Lost-in-the-Middle' in LLMs? A Study on GM-Extract and Mitigations. arXiv:2511.13900. https://arxiv.org/abs/2511.13900
Дата публикации: 2026-09-16 · редакция: 2026-09-21
Автор: Millog
Лицензия: CC BY-SA 4.0
Репозиторий: github.com/xmillogx-cmd/chmc-llm-quant
P.S. Все прогоны воспроизводимы: одинаковый корпус, один GPU, точность по моделям зафиксирована в метриках экспериментов. Негативный результат, полученный честно, — тоже результат. Переоценка не ослабила работу, а сделала её сильнее: вместо одной красивой гипотезы получилась экспериментальная карта того, где геометрия, динамика и функция перестают сводиться друг к другу.