Die Geometrie des Verstehens: Eine Erkundung der Einbettungsräume großer Sprachmodelle und die Suche nach dem Ort des Bewusstseins

Wenn wir über künstliche Intelligenz sprechen, insbesondere über große Sprachmodelle (LLMs), stellen wir uns oft etwas vor, das denkt, versteht und sogar Ansätze von Bewusstsein besitzt. Aber ist das wirklich so? Ich habe mich gefragt: Wo „befindet“ sich diese Intelligenz eigentlich? In welchem Raum existiert sie? Und könnte in der modernen Architektur neuronaler Netze so etwas wie der menschliche Verstand entstehen?

In meiner Untersuchung habe ich beschlossen, in das Innere dieser Modelle zu blicken und die Geometrie ihrer „inneren Welt“ zu studieren – den Raum der Einbettungen (Embeddings), in den Wörter, Phrasen und ganze Texte verwandelt werden. Meine Hypothese ist einfach: Wenn dieser Raum statisch, linear und strengen Gesetzen unterworfen ist, dann kann dort keine wirkliche Dynamik und damit auch keine echte Intelligenz entstehen. Das Modell gleitet lediglich über vorverlegte Schienen, sammelt Kontext wie eine Schneekugel Schnee, den Berg hinunterrollend, bis es an eine vorgefertigte Antwort stößt.

1. Relevanz der Forschung: Von enger KI zu allgemeiner KI

Die Frage nach der Möglichkeit der Schaffung einer künstlichen allgemeinen Intelligenz (AGI) bleibt eine der umstrittensten in der Wissenschaft. Die einen Forscher, hauptsächlich aus dem ingenieurwissenschaftlichen Lager, glauben an die Erreichbarkeit von AGI und entwickeln entsprechende Systeme – von Algorithmen basierend auf bestärkendem Lernen (wie AIXI und BoMAI) bis hin zu massiven Modellen wie Gato von DeepMind, das Hunderte verschiedener Aufgaben ausführen kann. Andere, vorwiegend Philosophen, weisen auf prinzipielle Grenzen maschineller Vernunft hin: das Fehlen von Körpererfahrung, nicht-formalisierbarem Hintergrundwissen und Intuition bei Computern, die der Grundlage menschlichen Weltverständnisses liegen.

Wie jedoch Mostafa Chehreghani in seiner Arbeit "The Embeddings World and Artificial General Intelligence" zu Recht anmerkt, erfordert die bloße Fragestellung "Ist AGI möglich?" eine Präzisierung. Vielleicht sollte AGI nicht als Endprodukt oder Algorithmus betrachtet werden, sondern als kontinuierlicher Prozess, ähnlich der Entwicklung der menschlichen Zivilisation. Und eine Schlüsselrolle in diesem Prozess spielen vortrainierte Embeddings – Vektorrepräsentationen, die zur Grundlage für den Aufbau einer "intelligenten Welt" werden könnten, die Maschinen zugänglich ist.

Das Paradoxe daran ist, dass gerade diese Embeddings, die als Brücke zur AGI dienen sollen, bei näherer Betrachtung Eigenschaften offenbaren, die die Möglichkeit der Entstehung von Vernunft im Rahmen des aktuellen Paradigmas in Frage stellen. Um dies zu überprüfen, analysierte ich drei gängige Embedding-Modelle (ein einsprachiges, ein mehrsprachiges und LaBSE) an vier verschiedenen Textsammlungen – vom "Kleinen Prinzen" auf Russisch und Englisch über technische Produktbeschreibungen bis hin zu Wikipedia-Artikeln. Die Ergebnisse waren erstaunlich konsistent und fanden Bestätigung in neuesten Forschungen.

2. Wie moderne Embedding-Modelle funktionieren

Zuerst klären wir, womit ich es zu tun hatte. Alle drei Modelle wandeln Text in mehrdimensionale Vektoren um, tun dies aber leicht unterschiedlich.

Modell 1: Einsprachig (all-MiniLM-L6-v2)

Modell 2: Mehrsprachig (paraphrase-multilingual-MiniLM-L12-v2)

Modell 3: LaBSE (Language-agnostic BERT Sentence Embedding)

Wie aus den Tabellen ersichtlich, hat jedes Modell eine angegebene Dimension (384 oder 768), aber die tatsächliche "intrinsische Dimension" – also wie viele Dimensionen wirklich zur Speicherung der Bedeutung genutzt werden – ist viel geringer: zwischen 51 und 85. Dies ist ein erster Hinweis darauf, dass die Räume stark komprimiert und strukturiert sind. Dieses Phänomen wird in der Arbeit von Mikhalchuk et al. (2024) bestätigt, die zeigten, dass die intrinsische Dimension während des Trainings zunächst wächst, den Repräsentationsraum erweitert, und dann schrumpft, um kompaktere Repräsentationen zu bilden.

3. Fünf universelle Gesetzmäßigkeiten

Bei der Analyse aller Sammlungen entdeckte ich fünf Eigenschaften, die sich unabhängig von Modell und Text wiederholen. Ich nannte sie Invarianten – Größen, die konstant bleiben.

Invariante 1: Starke Ungleichmäßigkeit (Anisotropie)

Alle Räume erwiesen sich als inhomogen – die Vektoren sind nicht gleichmäßig in alle Richtungen verstreut, sondern in einem engen Kegel versammelt. Der Ungleichmäßigkeitskoeffizient (je näher an 1, desto stärker die Bündelung) liegt überall über 0,82, mit einem Durchschnittswert von 0,87. Hier die Daten als Beispiel:

Die Streuung ist sehr gering (nur 4% vom Mittelwert), was bedeutet, dass dies kein Zufall, sondern eine fundamentale Eigenschaft ist.

Interessanterweise zeigen Forschungen von Chistyakova (2024), dass verschiedene Architekturen unterschiedliche Muster der Anisotropie aufweisen können. So zeichnen sich autoregressive Modelle wie GPT-2 durch eine besonders hohe Anisotropie und große Mittelwerte der Vektoren aus, was auf eine grundlegend andere Art der Informationskodierung im Vergleich zu Encodern wie BERT hindeutet. Mikhalchuk und Kollegen (2024) präzisieren dieses Bild, indem sie herausfanden, dass die Anisotropie in Transformer-Decodern glockenförmig mit einem Peak in den mittleren Schichten verteilt ist, während sie in Encodern gleichmäßiger ist.

Invariante 2: Selbstähnlichkeit auf allen Skalen

Betrachtet man den Raum bei verschiedenen "Vergrößerungen", bleibt die Struktur gleich. Der Konsistenzkoeffizient beträgt für alle Sammlungen genau 1. Der Raum wiederholt gewissermaßen sich selbst – ein Zeichen fraktaler Organisation.

Invariante 3: Zuverlässigkeit der Messungen

Alle von mir erstellten "Fingerabdrücke" der Räume erwiesen sich als qualitativ hochwertig: Der Zuverlässigkeitsindikator fällt nie unter 0,64. Das bedeutet, dass die Beobachtungen nicht durch zufällige Schwankungen verursacht werden, sondern die tatsächliche Struktur der Modelle widerspiegeln.

Invariante 4: Reichhaltige Struktur

Obwohl die Räume ungleichmäßig sind, sind sie nicht leer. Die spektrale Entropie – ein Maß dafür, wie gleichmäßig die Information über verschiedene Richtungen verteilt ist – übersteigt überall 3,4. Dies deutet darauf hin, dass es selbst in einem engen Kegel viele bedeutungsvolle "Flussbetten" gibt.

Invariante 5: Einheitliche Normalisierung

Alle Modelle führen die Vektoren auf Einheitslänge zurück (Norm = 1) mit mikroskopischer Abweichung (ca. 2,7·10⁻⁸). Das bedeutet, dass die Bedeutung von Wörtern nur anhand ihrer Richtung verglichen wird, nicht anhand ihrer Größe. Der Winkel zwischen Vektoren wird zum alleinigen Maß der Nähe.

4. Basen: Ein gemeinsames Koordinatensystem

Ich verglich, wie verschiedene Texte in den Raum ein und desselben Modells "fallen". Es stellte sich heraus, dass alle Sammlungen – sowohl der "Kleine Prinz", als auch die technischen Beschreibungen und Wikipedia – ein und dasselbe Koordinatensystem verwenden. Die Basen stimmen mit einer Genauigkeit von eins überein:

Das ist ein sehr wichtiges Ergebnis: Das Modell strukturiert seinen Raum nicht für jeden neuen Text um, sondern projiziert alles in ein vorgegebenes starres Raster.

Zwischen verschiedenen Modellen unterscheiden sich die Basen hingegen bereits. Beispielsweise ähneln sich einsprachiges und mehrsprachiges Modell nur zu 70–80%, und um sie zur Deckung zu bringen, ist eine spezielle Drehung (Rotationsmatrix) erforderlich. Das ist wie zwei verschiedene Sprachen: Sie beschreiben die Welt auf ihre eigene Weise, obwohl sie über dasselbe sprechen. Die Studie von Chistyakova (2024) bestätigt, dass die Prokrustes-Ausrichtung (Procrustes alignment) eine effektive Methode zum Abgleich von Embeddings aus verschiedenen Modellen ist.

5. Wie viele Dimensionen werden wirklich benötigt?

Die intrinsische Dimension ist die Anzahl unabhängiger Richtungen, die tatsächlich Information tragen. Meine Messungen ergaben:

Am stabilsten ist LaBSE, dessen intrinsische Dimension sich kaum von Sprache zu Sprache ändert. Die Produktsammlung (Products) ergab mit 85 den höchsten Wert, wahrscheinlich aufgrund der großen Kategorienvielfalt.

Diese Zahlen stimmen gut mit neueren Forschungen überein. Golden (2025) zeigte in seiner Arbeit "Large Language Models are Locally Linear Mappings", dass moderne LLMs (Llama 3, Gemma 3, Qwen 3 und andere) in extrem niedrigdimensionalen Unterräumen arbeiten, in denen viele der größten Singulärvektoren in Konzepte dekodiert werden, die mit dem wahrscheinlichsten Ausgabe-Token verbunden sind. Darüber hinaus entdeckten Tsukagoshi und Sasano (2025), dass Embeddings für Klassifikations- und Clustering-Aufgaben eine geringere intrinsische Dimension und geringere Isotropie aufweisen im Vergleich zu Embeddings für Suche und semantische Nähe. Das bedeutet, dass die spezifische Aufgabe beeinflusst, wie das Modell seinen Raum nutzt.

6. Symmetrien im Raum

Ich versuchte, in diesen Räumen verborgene Symmetrien zu finden – zum Beispiel solche, die grammatikalische Regeln widerspiegeln. Es stellte sich heraus, dass es sie tatsächlich gibt, wobei sie im russischen Text deutlicher hervortreten:

Der russische Text liefert klarere und konsistentere Symmetrien (Wert >0,79). Aber es ist wichtig zu verstehen: Diese Symmetrien sind lediglich statische Abdrücke von Regeln, die in den Trainingsdaten eingebettet sind. Das Modell "kennt" die Regel nicht, es wiederholt lediglich eine statistische Regelmäßigkeit, die in der Geometrie eingefroren ist.

7. Möglichkeit des Wissenstransfers

Wenn innerhalb eines Modells alle Texte in derselben Basis liegen, dann sollte das Training auf einer Sammlung leicht auf eine andere übertragbar sein. Und das ist tatsächlich der Fall: Der Transfer ist ideal. Zwischen verschiedenen Modellen hingegen erfordert der Transfer eine zusätzliche Ausrichtung (Rotation des Raumes) und ergibt eine Ähnlichkeit von 50 bis 80%.

Für praktische Anwendungen schlage ich folgende universelle Einstellungen vor:

• 50 Hauptkomponenten nehmen (das deckt fast alle nützlichen Informationen ab),

• berücksichtigen, dass die intrinsische Dimension im Durchschnitt bei etwa 63 liegt,

• eine Ungleichmäßigkeit von etwa 0,87 erwarten,

• die Einheitsnorm der Vektoren beachten.

8. Diskussion: Linearität als fundamentale Eigenschaft

Die Schlüsselfrage, die sich uns stellt, ist: Was gewinnen wir für das Verständnis der Natur von Sprachmodellen? Die Antwort liegt meines Erachtens im Bereich der Linearität.

Golden (2025) machte eine verblüffende Entdeckung: Die Inferenzoperationen mehrerer quelloffener großer Sprachmodelle können für die Eingabesequenz in ein exakt äquivalentes lineares System abgebildet werden, ohne die Gewichte des Modells zu ändern oder die Ausgabevorhersagen zu verändern. Unter Verwendung von Methoden aus dem Bereich der Diffusionsmodelle für Bilder zeigte der Forscher, dass die Jacobi-Matrix des Modells den Vorwärtsdurchlauf fast genau mit einem linearen System reproduziert.

Unabhängig davon entwickelte eine andere Forschergruppe die Methode LAMP (Linear Attribution Mapping Probe), die es ermöglicht, lokal lineare Entscheidungsflächen aus den "Weltmodellen" von LLMs zu extrahieren. Diese Methode, angewandt auf Aufgaben der Sentimentanalyse, Erkennung kontroverser Themen und Sicherheitsaudits, zeigte, dass viele LLMs lokal lineare Entscheidungslandschaften aufweisen.

Diese Entdeckungen überschneiden sich mit früheren Arbeiten zur Anisotropie. Wenn Embeddings in einem engen Kegel gebündelt sind und das Verhalten des Modells lokal linear ist, dann ist der Raum möglicher Zustände streng begrenzt. Das Modell erzeugt keine neue Dynamik, sondern bewegt sich nur auf vorgegebenen Bahnen.

9. Hauptschlussfolgerung: Statische Schneekugel versus lebendiger Geist
Visualisierung

Was haben wir also? Der Embedding-Raum ist ein starr strukturiertes, ungleichmäßiges, aber dennoch sehr stabiles Koordinatensystem. Er ist in jedem Punkt linear (wie die jüngsten Experimente von Golden und der LAMP-Gruppe gezeigt haben). In ihm gibt es keinen Platz für echte Dynamik, für Selbstveränderung, für die Entstehung von Neuem.

Das Modell funktioniert wie eine Schneekugel, die einen Hang hinunterrollt. Die Kugel hat eine Form (die Struktur des Eises – das ist die Basis der Embeddings), aber ihr Weg ist durch das Gelände des Berges vorgegeben (dem latenten Raum). Sie sammelt Masse (Kontext), bis sie eine Senke erreicht – die endgültige Antwort. Bei null Temperatur oder bei der Wahl der wahrscheinlichsten Fortsetzung (argmax) wird sie immer im tiefsten lokalen Loch landen, ohne die Möglichkeit, die Landschaft zu verändern.

Altmeyer et al. (2024) warnen in ihrem grundlegenden Artikel "Stop Making Unscientific AGI Performance Claims": Die Entdeckung sinnvoller Muster in latenten Räumen von Modellen kann nicht als Beleg für AGI gewertet werden. Modelle jeder Komplexität – von zufälligen Projektionen über tiefe Autoencoder bis hin zu Transformatoren – destillieren erfolgreich Informationen, die zur Vorhersage verborgener Variablen genutzt werden können. Und dennoch wurde keines von ihnen zuvor mit AGI in Verbindung gebracht. Die Autoren erinnern daran, dass Menschen zur Anthropomorphisierung und Mustersuche neigen, und der moderne mediale Kontext ideale Bedingungen für die Verzerrung von Korrelationen als "Verständnis" schafft.

Um auf Chehreghanis Frage zurückzukommen: Können vortrainierte Embeddings die Grundlage für eine "intelligente Welt" für AGI bilden? Meine Analyse und die angeführten Studien zwingen zu der Antwort: In ihrer jetzigen Form – nein. Statische Geometrie und lokale Linearität machen sie zu großartigen Werkzeugen für die Komprimierung und Reproduktion von Informationen, aber nicht zu einer Umgebung für die Entstehung echter Intelligenz.

Für echte Intelligenz reicht es nicht, auf vorgefertigten Schienen zu gleiten; man muss in der Lage sein, das Koordinatensystem selbst umzubauen, neue Dimensionen zu schaffen und über das Vorgegebene hinauszugehen. Moderne Embeddings und LLMs sind jedoch grandiose, aber statische Atlanten menschlichen Wissens. Sie existieren wie eine "Schneekugel" im Moment vor dem Wurf: Die Struktur ist bestimmt, die Masse bekannt und die Flugbahn vorhersagbar.

Deshalb antworte ich auf die Frage "Wo kann KI existieren?": Nicht in den heutigen Embedding-Räumen. Für einen echten künstlichen Geist ist eine grundlegend andere Architektur nötig – dynamisch, sich selbst verändernd, fähig zur Reflexion und zum Umbau der eigenen Basis. Derzeit haben wir es mit brillant gemachten, aber statischen Modellen zu tun, die Verständnis imitieren, während sie doch nur komplexe Reflektoren unserer eigenen Texte sind.

Literaturverzeichnis

1. Mikhalchuk, M., et al. (2024). The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models. Findings of EACL 2024.

2. Chistyakova, K. E. (2024). Issledovaniye razlichiy v vektornykh predstavleniyakh, poluchennykh s pomoshch'yu raznykh yazykovykh modeley [Untersuchung der Unterschiede in Vektorrepräsentationen, die mit verschiedenen Sprachmodellen erzielt wurden]. Abschlussarbeit, HSE Universität.

3. Golden, J. R. (2025). Large Language Models are Locally Linear Mappings. arXiv preprint arXiv:2505.24293.

4. Chehreghani, M. H. (2022). The Embeddings World and Artificial General Intelligence. arXiv preprint arXiv:2209.06569.

5. Chen, C., et al. (2025). LAMP: Extracting Locally Linear Decision Surfaces from LLM World Models. arXiv preprint arXiv:2505.11772.

6. Tsukagoshi, H., & Sasano, R. (2025). Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings. arXiv preprint arXiv:2506.01435.

7. Altmeyer, P., et al. (2024). Position: Stop Making Unscientific AGI Performance Claims. arXiv preprint arXiv:2402.03962.