Die kognitive Karte: Was Gitterzellen Embeddings lehren

[!NOTE] TL;DR: Die besten multimodalen Modelle scheitern an mehrstufiger Navigation (43,8 Prozent beim besten System, 90 Prozent beim Menschen, WM-ABench 2025). Das räumliche Gedächtnis des Gehirns löst dasselbe Problem durch Faktorisierung: metrische Struktur (grid cells) getrennt von episodischem Inhalt (LEC-Zeitkodierung, place cells). Der Text destilliert daraus drei Konstruktionsregeln für Agenten und Weltmodelle und benennt, wo die Analogie bricht.

Eine Ratte, ein Modell, ein Labyrinth

Ein multimodales Sprachmodell scheitert an einer Aufgabe, die jede Ratte löst. Die Zahl stammt nicht von mir: Der WM-ABench (ACL Findings 2025) umfasst 660 Experimente über 15 aktuelle Vision-Sprach-Modelle, und das beste System erreicht bei mehrstufiger Navigation 43,8 Prozent. Menschen liegen auf derselben Aufgabe bei 90,0 Prozent. Bewegungsbahnen unterscheiden die Modelle kaum besser als der Zufall.

Eine Ratte, die ein Leckerli sucht, integriert ihre eigene Bewegung und korrigiert Drift an Landmarken. Und sie nimmt Abkürzungen, die ihr niemand gezeigt hat. Tolman nannte das 1948 die „kognitive Karte", ohne je eine einzige Zelle davon zu sehen. Ich habe den Kontrast in einer kleinen Session selbst gespürt, als ich einen Agenten durch ein Textlabyrinth schickte: Nach drei Zügen wusste das Modell nicht mehr, woher es kam (qualitative Beobachtung, nichts Gemessenes). Acht Jahre meines Forscherlebens habe ich in hippocampalen Gefilden verbracht, allerdings im Quellengedächtnis, eine Abteilung neben den Navigationsleuten, die ihre Ratten mit Müsli durch Labyrinthe steuerten und sichtlich mehr Spaß hatten als wir.

Meine Frage

Meine Frage war eine einzige: Welche Konstruktionsregeln lassen sich aus der kognitiven Karte des Hippocampus destillieren, wenn man einem Agenten ein räumlich-zeitliches Weltmodell geben will? Ich suche keine Blaupause. Ich will wissen, was ein halbes Jahrhundert Erforschung der Raumkodierung über Metrik, Faktorisierung und Bindung belegt, bevor man es an Architekturen übersetzt.

Die Metrik der Gitterzellen

Die Vorgeschichte ist bekannt: place cells im Rattenhippocampus (O'Keefe, 1971), das programmatische Buch von O'Keefe und Nadel (1978), dann 2005 im Moser-Labor die grid cells, belohnt mit dem Nobelpreis 2014. Grid cells feuern in einem hexagonalen Raster über mehrere Skalen hinweg, ein Koordinatennetz, das unabhängig davon gilt, welche Läden gerade einziehen. Der Nachweis, dass diese Metrik konstruktiv nützt, kam dann aus dem Machine-Learning-Lager.

Banino et al., Nature 557, 2018 trainierten ein LSTM auf Pfadintegration, also darauf, die eigene Position aus Geschwindigkeitssignalen fortzuschreiben. In einer linearen Schicht aus 512 Einheiten entstanden dabei grid-ähnliche Einheiten, rund 23 Prozent (Streuung 2,8 Prozent, über 100 Neuinitialisierungen hinweg stabil). Im kreisförmigen Versuchsfeld kristallisierten sich zwei räumliche Skalen heraus, 0,58 und 0,96 Meter, ein Verhältnis von 1,66. Mit diesem Code ausgestattet, übertraf der Reinforcement-Agent einen menschlichen Profispieler und nahm Abkürzungen wie ein Nagetier. Schaltete man die grid-Einheiten ab, zerfiel die Richtungsgenauigkeit zum Ziel.

Die Zeit hat ihre eigene Etage. Tsao et al., Nature 561, 2018 zeigten, dass der laterale entorhinale Cortex Zeit über Sekunden bis Stunden aus der Erfahrung selbst kodiert. Es ist keine Uhrzeit, sondern „episodische Zeit": Wiederholt sich die Erfahrung, verschmieren die Kodierungen ineinander. Der Hippocampus bindet beide Ströme, die metrische Struktur aus dem medialen entorhinalen Cortex und den Inhalt aus dem lateralen, zu einem „was-wo-wann".

Die formal sauberste Fassung stammt von Whittington et al., Cell 183, 2020, der Tolman-Eichenbaum-Maschine. Sie faktorisiert einen strukturellen Code, der Übergänge auf beliebigen Graphen lernt, von den sensorischen Inhalten und bindet beide in einer schnellen hebbianischen Speicherung. Langsames Strukturlernen und schneller Speicher arbeiten getrennt. Nach dem Training enthielt der entorhinale Teil des Modells grid-, border- und object-vector-artige Zellen, ohne dass jemand sie hineingezeichnet hätte. Und das Modell sagte voraus, dass remapping keine Zufallsneukartierung ist, sondern die Struktur über Umgebungen hinweg erhält. Simultane Ableitungen von place und grid cells bestätigten genau das.

Die beiden Systeme, grob vereinfacht, im Vergleich:

flowchart TB
  subgraph HIP["Hippocampus-Formation"]
    MEC["MEC: Strukturmetrik, grid cells"]
    LEC["LEC: Zeit aus Erfahrung"]
    BIND["Bindung was-wo-wann"]
    MEM["Schneller episodischer Speicher, hebbianisch"]
    MEC --> BIND
    LEC --> BIND
    BIND --> MEM
  end
  subgraph AG["Typischer LLM-Agent"]
    EMB["Embeddings: Similaritaet ohne Metrik"]
    RET["Retrieval"]
    CTX["Kontextfenster ohne Lagezustand"]
    EMB --> CTX
    RET --> CTX
  end

Der Vektorraum ohne Maßstab

Nun die Gegenprobe. Embeddings ordnen Similarität, aber Similarität ist keine Distanz über die Welt. Ein Kontextfenster hat keinen persistenten Lagezustand, der sich mit jeder Aktion weiterschriebe. Das ist der Kern dessen, was ich den „Vektorraum ohne Maßstab" nenne: Die Modelle besitzen Repräsentationen von allem Möglichen, aber keine Karte, auf der diese Repräsentationen eine Position hätten.

Die Benchmarks von 2025 messen genau dieses Loch. Im WM-ABench verwechseln die Modelle entkoppelte Merkmale, sie halten blaue Objekte für schneller als grüne. Auf dem ReMindView-Bench (arXiv 2512.02340) landen 15 aktuelle VLMs bei Multi-View-Raumdenken zwischen 30 und 45 Prozent, Menschen bei 81,5 Prozent. Bei mentaler Rotation erreicht das beste getestete Modell (Gemini 2.5 Pro) 20,5 Prozent. Und laut der EASI-Auswertung bleibt selbst GPT-5, das dort erstmals Aufgaben der mentalen Rekonstruktion löst, bei Perspektivwechsel bis zu 80 Punkte hinter Menschen zurück.

Die Industrie reagiert, indem sie Weltmodelle anklebt. MindJourney (NeurIPS 2025) koppelt zur Testzeit ein steuerbares, videodiffusionsbasiertes world model an das Sprachmodell, das sich Ansichten entlang einer Kameratrajektorie imaginiert. Auf einigen Benchmarks hilft das. Doch eine Folgestudie, die die Verifizierer systematisch prüft (ViSA, arXiv 2512.05809), zeigt auf dem feinkörnigen MMSI-Bench Stagnation zwischen 27 und 36 Prozent, bei allen Ansätzen. Ihr Befund: ein Informationsengpass, denn die imaginierten Ansichten erzeugen keine neuen metrischen Hinweise.

Die Größenordnung der Lücke, in Zahlen (bei ReMindView ist der Modellwert die Obergrenze des Plateaus):

{
  "type": "bar",
  "data": {
    "labels": ["Multi-step Navigation (WM-ABench)", "Multi-View-Raumdenken (ReMindView-Bench)"],
    "datasets": [
      { "label": "Bestes Modell", "data": [43.8, 45.0], "backgroundColor": ["#3b82f6"] },
      { "label": "Mensch", "data": [90.0, 81.5], "backgroundColor": ["#10b981"] }
    ]
  },
  "options": {
    "responsive": true,
    "plugins": { "title": { "display": true, "text": "Räumliches Denken: Modelle gegen Menschen (Genauigkeit in Prozent)" } },
    "scales": { "y": { "title": { "display": true, "text": "Genauigkeit (%)" } } }
  }
}

Drei Regeln für die Architektur

Drei Konstruktionsregeln lassen sich aus dieser Lage ableiten, und ich formuliere sie als Übersetzung, nicht als Beweis. Erstens: Struktur langsam lernen, Inhalt schnell binden. Die Tolman-Eichenbaum-Maschine trennt langsames Backprop-Lernen der Übergangsstruktur von schneller hebbianischer Speicherung, und Agenten brauchen dieselbe Zweigleisigkeit, ein vortrainiertes Strukturmodul neben einem episodic memory, das in Sekunden schreibt. Zweitens: Repräsentationen an Vektoroperationen prüfen. Bei Banino funktionierte die Navigation, weil Richtung und Distanz zum Ziel aus dem grid-Code dekodierbar waren; ein Weltmodell, das diese Größen nicht hergibt, hat keine Metrik, egal wie groß es ist. Drittens: Zeit aus Erfahrung ziehen. Die LEC-Kodierung entsteht aus unterscheidbaren Erlebnissen, nicht aus Zeitstempeln, und eine Agenten-Historie, die nur Metadaten anhäuft, verschmiert wie die gleichförmigen Runden einer Ratte im Achterbahn-Labyrinth.

Die Übersetzung im Überblick:

Grenzen und Einwände

Obwohl die Analogie verführerisch ist, hält sie manche Belastung nicht aus. Baninos Agent lebte in einer zweidimensionalen Arena mit klaren Zielen, und ein Transfer der grid-Metrik in Sprach- oder Werkzeugräume ist schlicht unbelegt. Die Emergenz selbst war zudem umstritten: Cueva und Wei (ICLR 2018) fanden periodische Muster, die sich nach der Form der Umgebung richteten, quadratische Raster im quadratischen Kasten, was gegen eine feste hexagonale Signatur spricht. Und die TEM ist ein normatives Modell: Sie sagt, wofür die Schaltung gut sein könnte, nicht wie die Synapsen es tatsächlich tun.

Die Gegenseite ist ebenso ernst zu nehmen. Skalierung arbeitet an derselben Front, und die EASI-Auswertung zeigt Aufgaben der mentalen Rekonstruktion, die GPT-5 erstmals löst. Möglicherweise schließen größere Modelle einen Teil der Lücken auch ohne explizite Karten. Ich lege hier außerdem keine eigenen Messungen vor, nur eine Übersetzung fremder Befunde, und meine drei Regeln sind Interpretation. Das ließe sich leicht testen, etwa indem man Agenten mit und ohne Strukturmodul auf denselben Navigationsbenchmarks misst. Es bleibt abzuwarten, ob die Metrik oder die Masse gewinnt.

Kartieren vor Erinnern

Allgemein gesprochen, generalisiert ein System dort, wo es Struktur und Inhalt getrennt repräsentiert: Die Karte überlebt die Gäste, die einziehen und wieder ausziehen. Das räumliche Gedächtnis ist das älteste bekannte Beispiel dafür, und die Benchmarks von 2025 messen exakt, was passiert, wenn das Beispiel fehlt. Für Agenten heißt das, in meiner Lesart: erst kartieren, dann erinnern. Kein Hexenwerk. Nur Hirnkunde.

Wenn du an Agentenarchitekturen mit Strukturmodulen oder episodic memory arbeitest, rede mit mir oder sieh dir meine Begleitung für KI-Projekte an. Zwei vertiefte Lektüren dazu: mein Artikel zu Hippocampal Indexing und zum kontextuellen Codieren.