理解的几何学：探索大型语言模型的嵌入空间与追寻意识之所在

当我们谈论人工智能，尤其是大型语言模型（LLM）时，我们常常会想象某种能够思考、理解甚至具备初级意识的东西。但事实果真如此吗？我思考了一个问题：这种智能究竟“位于”何处？它存在于什么样的空间中？在当代神经网络的架构中，能否诞生出类似于人类心智的东西？

在我的研究中，我决定深入这些模型的内部，探索其“内心世界”的几何结构——即词语、短语和整个文本被转化成的嵌入空间。我的假设很简单：如果这个空间是静态的、线性的，并受制于严格的法则，那么其中就不可能产生任何真正的动态，也就不可能诞生真正的智能。模型只是沿着预先铺设好的轨道滑行，像雪球从山坡上滚下一样积累上下文，直到最终撞上一个预设的答案。

1. 研究背景：从狭义人工智能到通用人工智能

关于能否创造人工通用智能（AGI）的问题，仍然是科学界最具争议的问题之一。一些研究者，主要来自工程领域，相信AGI是可以实现的，并正在开发相应的系统——从基于强化学习的算法（如AIXI和BoMAI）到DeepMind开发的能够执行数百种不同任务的Gato等大规模模型。另一些人，主要是哲学家，则指出机器智能存在根本性的局限：计算机缺乏基于身体的经验、无法形式化的背景知识以及构成人类理解世界基础的直觉。

然而，正如莫斯塔法·切赫雷加尼在其著作《嵌入世界与人工通用智能》中恰当地指出的那样，仅仅提出“AGI是否可能？”这个问题本身就需要澄清。或许，AGI不应被视为最终产品或某种算法，而应被视为一个持续的过程，类似于人类文明的发展。而在这个过程中，预训练的嵌入——即向量表示——可能扮演关键角色，它们可以成为构建机器可访问的“智能世界”的基础。

矛盾之处在于，正是这些被期望成为通往AGI桥梁的嵌入，在仔细审视下，却展现出一些特性，这些特性对在现有范式内能否产生真正的智能提出了质疑。为了验证这一点，我分析了三种流行的嵌入模型（单语模型、多语言模型和LaBSE）在四个不同的文本集合上的表现——从俄语和英语的《小王子》到技术产品描述和维基百科文章。结果惊人地一致，并得到了最新研究的证实。

2. 现代嵌入模型的工作原理

首先，我们来了解一下我所研究的对象。这三种模型都将文本转换为多维向量，但具体方式略有不同。

模型1：单语模型 (all-MiniLM-L6-v2)

模型2：多语言模型 (paraphrase-multilingual-MiniLM-L12-v2)

模型3：LaBSE (语言无关的BERT句子嵌入)

从表中可以看出，每个模型都有其标称维度（384或768），但实际用于存储意义的“内在维度”要小得多：在51到85之间。这第一个迹象表明，这些空间被高度压缩和结构化。Mikhalchuk等人（2024）的研究证实了这一现象，他们表明在训练过程中，内在维度首先增长，扩展表示空间，然后收缩，形成更紧凑的表示。

3. 五个普遍规律

在分析所有文本集合后，我发现五个无论模型和文本如何都重复出现的特性。我将其称为不变量——保持恒定的量。

不变量1：强不均匀性（各向异性）

所有空间都是非均匀的——向量并非均匀地向各个方向散开，而是聚集在一个狭窄的锥体内。不均匀系数（越接近1，聚集程度越高）普遍高于0.82，平均值为0.87。以下为示例数据：

数据波动非常小（仅为平均值的4%），表明这不是偶然，而是一个基本属性。

有趣的是，Chistyakova（2024）的研究表明，不同的架构可能表现出不同的各向异性模式。例如，像GPT-2这样的自回归模型具有特别高的各向异性和较大的向量平均值，这表明其信息编码方式与BERT之类的编码器有根本不同。Mikhalchuk及其同事（2024）进一步细化了这一图景，发现Transformer解码器中的各向异性呈钟形分布，峰值在中间层，而编码器中的各向异性则更均匀。

不变量2：所有尺度上的自相似性

如果以不同的“放大倍数”观察空间，其结构保持不变。所有文本集合的一致性系数恰好为1。空间似乎在自我重复——这是分形组织的标志。

不变量3：测量的可靠性

我所构建的所有空间“指纹”都具有高质量：可靠性指标从未低于0.64。这意味着观察结果并非由随机波动引起，而是反映了模型的真实结构。

不变量4：丰富的结构

尽管空间不均匀，但它们并非空无一物。谱熵——衡量信息在不同方向上分布均匀程度的指标——普遍超过3.4。这表明即使在狭窄的锥体内，也存在许多有意义的“河道”。

不变量5：统一的归一化

所有模型都将向量归一化为单位长度（范数=1），误差极小（约2.7·10⁻⁸）。这意味着词语的意义仅通过其方向进行比较，而非大小。向量之间的角度成为衡量相似性的唯一标准。

4. 基：一个公共坐标系

我比较了不同文本如何“落”入同一个模型的空间。结果发现，所有文本集合——《小王子》、技术描述和维基百科——都使用同一个坐标系。基底精确匹配到1：

这是一个非常重要的结果：模型不会为每个新文本重构其空间，而是将所有内容投影到一个预先设定的刚性网格中。

然而，不同模型之间的基底已经存在差异。例如，单语模型和多语言模型的相似度仅为70-80%，要使它们对齐，需要进行特殊的旋转（旋转矩阵）。这就像两种不同的语言：它们以各自的方式描述世界，尽管谈论的是同一件事。Chistyakova（2024）的研究证实，普洛克路斯忒斯对齐是将不同模型的嵌入进行对齐的有效方法。

5. 实际需要多少维度？

内在维度是指真正承载信息的独立方向的数量。我的测量结果显示：

最稳定的是LaBSE，其内在维度几乎不随语言变化。而产品集合给出了最高的值85，可能是由于类别繁多。

这些数字与最近的研究高度一致。Golden（2025）在其著作《大型语言模型是局部线性映射》中表明，现代LLM（如Llama 3、Gemma 3、Qwen 3等）在极低维的子空间中运行，其中许多最大的奇异向量被解码为与最可能的输出标记相关的概念。此外，Tsukagoshi和Sasano（2025）发现，用于分类和聚类任务的嵌入，其内在维度更低，各向同性也更差，相比之下，用于搜索和语义相似度的嵌入则不然。这意味着具体任务会影响模型如何使用其空间。

6. 空间内的对称性

我试图在这些空间中找到隐藏的对称性——例如，那些反映语法规则的对称性。事实证明，它们确实存在，并且在俄语文本中更为明显：

俄语文本提供了更清晰、更一致的对称性（数值>0.79）。但重要的是要理解：这些对称性仅仅是训练文本中所蕴含规则的静态印记。模型并不“知道”规则，它只是重复了冻结在几何结构中的统计规律。

7. 知识迁移的可能性

如果在同一模型内，所有文本都位于同一个基底下，那么在一个集合上的训练应该能够轻松迁移到另一个集合上。事实证明确实如此：迁移是完美的。然而，在不同模型之间进行迁移需要额外的对齐（旋转空间），产生的相似度在50%到80%之间。

对于实际应用，我建议使用以下通用设置：

• 取50个主成分（这几乎覆盖了所有有用信息），

• 注意内在维度平均约为63，

• 预期不均匀性约为0.87，

• 牢记向量的单位范数。

8. 讨论：线性作为基本属性

我们面临的关键问题是：这对于理解语言模型的本质有何启示？在我看来，答案在于线性领域。

Golden（2025）有一个惊人的发现：几个开源大型语言模型的推理操作，可以在不改变模型权重或输出预测的情况下，精确地映射为一个等价的线性系统。利用图像扩散模型领域的方法，该研究者表明，模型的雅可比矩阵几乎完全可以用一个线性系统再现前向传播。

独立地，另一个研究团队开发了LAMP方法，该方法可以从LLM的“世界模型”中提取局部线性决策面。这种方法应用于情感分析、争议话题检测和安全审计等任务，表明许多LLM表现出局部线性的决策景观。

这些发现与早期关于各向异性的研究相呼应。如果嵌入被束缚在一个狭窄的锥体内，并且模型的行为是局部线性的，那么可能的状态空间就受到了严格限制。模型不会产生新的动态，而只是沿着预定的轨迹运行。

9. 主要结论：静态雪球 vs. 活生生的心智
可视化

那么，我们得到了什么呢？嵌入空间是一个结构刚性、不均匀但非常稳定的坐标系。它在每个点上都是线性的（正如Golden和LAMP团队最近的实验所表明的）。其中没有真正动态、自我改变和新事物涌现的空间。

模型就像一个从山坡上滚下的雪球。雪球有形状（冰的结构——即嵌入的基底），但其路径由山坡的地形（潜在空间）预先决定。它积累质量（上下文），直到抵达一个洼地——最终的答案。在零温度或选择最可能延续的情况下，它总是会停在最深的局部凹陷中，无法改变地形。

Altmeyer等人（2024）在其原则性文章《停止关于AGI性能的非科学声明》中警告：在模型的潜在空间中发现有意义的模式，不能被视为支持AGI的证据。任何复杂度的模型——从随机投影到深度自编码器和Transformer——都能成功地提取可用于预测隐藏变量的信息。然而，此前没有哪个模型与AGI联系在一起。作者提醒我们，人类倾向于 anthropomorphization 和模式寻找，而现代媒体环境为将相关性曲解为“理解”创造了理想条件。

回到切赫雷加尼的问题：预训练的嵌入能否成为AGI的“智能世界”的基础？我的分析和引用的研究迫使我们回答：以目前的形式——不能。静态几何和局部线性使它们成为压缩和复现信息的绝佳工具，但不是真正智能诞生的环境。

真正的智能需要的不是在现成轨道上滑行，而是能够重构坐标系本身，创造新的维度，超越预定的边界。而现代嵌入和LLM，仅仅是宏大但静态的人类知识图谱。它们就像投掷前瞬间的“雪球”：结构已定，质量已知，轨迹可预测。

因此，对于“人工智能可能存在于何处？”这个问题，我的答案是：不在当前的嵌入空间里。对于真正的人工心智，我们需要一种根本不同的架构——动态的、自我改变的、能够反思和重构自身基础的架构。目前，我们面对的只是制作精良但静态的模型，它们模仿理解，却始终只是我们自身文本的复杂反射镜。

参考文献

1. Mikhalchuk, M., et al. (2024). The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models. Findings of EACL 2024.

2. Chistyakova, K. E. (2024). Issledovaniye razlichiy v vektornykh predstavleniyakh, poluchennykh s pomoshch'yu raznykh yazykovykh modeley [使用不同语言模型获得的向量表示差异的研究]. 毕业设计, 高等经济大学.

3. Golden, J. R. (2025). Large Language Models are Locally Linear Mappings. arXiv preprint arXiv:2505.24293.

4. Chehreghani, M. H. (2022). The Embeddings World and Artificial General Intelligence. arXiv preprint arXiv:2209.06569.

5. Chen, C., et al. (2025). LAMP: Extracting Locally Linear Decision Surfaces from LLM World Models. arXiv preprint arXiv:2505.11772.

6. Tsukagoshi, H., & Sasano, R. (2025). Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings. arXiv preprint arXiv:2506.01435.

7. Altmeyer, P., et al. (2024). Position: Stop Making Unscientific AGI Performance Claims. arXiv preprint arXiv:2402.03962.