الخريطة التنبؤية: من الحُصين إلى تخطيط وكلاء LLM

[!NOTE] TL;DR: خلايا المكان في الحُصين (place cells) لا ترمّز موقعك الحالي، بل توقّعك للمواقع التي ستحتلّها لاحقًا، عبر ما يُعرف بـ successor representation. فصل هذا التوقع عن المكافأة هو المبدأ نفسه الذي رفع أداء وكلاء LLM مؤخرًا: world model مستقل عن الـ policy. المقال يشرح الآلية، الأدلة، والحدود بلا تجميل.

خريطة تُرسم قبل المكافأة

خسر وكيل صغير لعبة Sokoban ثلاث مباريات من أربع. النموذج كان Qwen2.5-1.5B-Instruct، يقرأ قواعد اللعبة كاملة، ولا يعرف أين ستقع قدماه بعد خطوتين.

في ورقة نُشرت على arXiv في أكتوبر 2025، أضاف فريق الباحثين مرحلة واحدة قبل التدريب بالتعزيز. تعلّم الوكيل عبر self-play أن يتوقع الحالة الناتجة عن كل فعل، دون أي مكافأة، ثم بُني تدريب السياسة فوق هذا النموذج الداخلي للعالم. النتيجة قفزة، لا تحسين عادي. نسبة النجاح في Sokoban ارتفعت من 25.6% إلى 59.8%، وفي FrozenLake من 22.1% إلى 70.9%.

قرأت هذه الأرقام وابتسمت، لأنها تصف حرفيًا ما تقوله أدبيات الحُصين التي قرأتها خلال سنوات أطروحتي: البنية أولًا، والمكافأة لاحقًا. الظاهرة اسمها latent learning، ووصفها تولمان (Tolman) عام 1948 قبل أن يعرف أحد شيئًا عن الشبكات العصبية الاصطناعية.

سؤال واحد قبل البدء

سؤالي في هذا المقال واحد، وصياغته هندسية لا استعارية: هل يمكن نقل البنية الحسابية للخريطة التنبؤية التي يرسمها الحُصين إلى ذاكرة وكلاء LLM، بحيث يعيد الوكيل التخطيط عند تغيّر الهدف دون إعادة تدريب؟

الفرق بين الصيغتين كبير. الاستعارة تُرضي القارئ سريعًا، أما البنية الحسابية فتفرض أرقامًا قابلة للقياس والدحض. سأفحص الأدلة في الاتجاهين، وأخبرك بصدق أين انكسرت المقارنة عندي.

التمثيل الخَلَف: مكان يُقرأ من مستقبله

الفكرة الحسابية أقدم مما يظن معظم مهندسي الذكاء الاصطناعي. اقترح بيتر دَيان (Dayan) عام 1993 تفكيكًا لمسألة التعلم بالتعزيز: بدل حفظ "قيمة" كل حالة على حدة، احفظ توقّعك لكل الحالات التي ستمر بها مستقبلًا بدءًا من حالتك الحالية، مع خصم زمني يضعف الأفق البعيد. هذا التوقع هو ما يسمى successor representation.

في 2017 عرضت كيمبرلي ستاشنفيلد وزملاؤها في Nature Neuroscience الحجة العصبية. نشاط place cells في الحُصين يشبه صفوف هذا التمثيل أكثر مما يشبه خريطة هندسية صرفة، فكل خلية مكان ترمّز الحضور المستقبلي المتوقع لموقعها. من هنا تنبثق تفاصيل كانت تحيّر الفسيولوجيا: انزياح حقول المكان عكس اتجاه الحركة بعد جري متكرر (ميhta وزملاؤها، 2000)، وتشوّهها حول الحواجز (ألفرني وزملاؤها، 2011)، وتكدّسها قرب مواقع المكافأة.

والأهم من هذا كله: قيمة أي حالة تصبح جداءً داخليًا بسيطًا بين التمثيل التنبؤي ومتجه المكافآت. غيّر المكافأة غدًا، فلا تعيد تعلّم البنية أبدًا. تعدّل الأوزان فقط.

أنجح تشبيه وجدته لهذه البنية هو خريطة المترو. لا أحد يقيس المسافات عليها بالمتر، لكنها تحفظ شيئًا أدق من المسافة: ما الذي يلي ماذا، وبأي احتمال. حقول المكان مشوهة ومتحيزة وغير متماثلة، تمامًا كخطوط المترو، لأن كليهما لا يمثل الهندسة بل التوقع.

وفي هذا الإطار موقع grid cells واضح أيضًا: أساس مضغوط منخفض الأبعاد للتمثيل الخَلَف، يخدم كبت الضوضاء واستخلاص بنية هرمية للتخطيط. النموذج لا يقول إن الحُصين يحسب مصفوفات، بل إن الحساب العصبي يعطي أنماطًا تطابق هذه الصياغة، وهذا فرق سأعود إليه في الحدود.

flowchart TB
    A[الحالة الحالية] --> B[place cells: توقع الحالات القادمة بخصم زمني]
    G[grid cells: أساس مضغوط للتمثيل] --> B
    D[متجه المكافآت] --> C
    B --> C[جداء داخلي بسيط]
    C --> E[قيمة الحالة والمسار المفضل]

الوكيل الذي يعرف كل شيء ولا يتوقع شيئًا

أعطيت هذا القسم عنوان ملاحظتي، لأنه يلخّص فشل الوكيل القياسي الذي نبنيه جميعًا. نموذج ReAct أو نحوه يعرف قواعد العالم نصًا، ويستدعي الأدوات بطلاقة، لكنه لا يحمل تمثيلًا داخليًا لديناميكا الانتقالات. النتيجة الملاحظة ميدانيًا: أي تغيير في الهدف يعيد المشكلة إلى الصفر، وكل جلسة تخطيط تبدأ من فراغ.

الدماغ يحل المسألة بالاتجاه المعاكس، وهذا ما جعلني أربط بين الأدبيتين. تعلّم بنية البيئة بمعزل عن المكافأة أولًا، ثم استغل البنية عند ظهور هدف جديد بثمن حسابي زهيد. تفصّل مراجعة جيرشمان كيف يفسر هذا التفكيك سلوكيات مثل إعادة التخطيط بعد عائق مفاجئ.

والآن الدليل من جهة المحوّلات، وهو أحدث مما أتوقع عادة. ورقة بعنوان From Text to Space (فبراير 2025) وجدت في LLaMA-3.1-8B وحدات في الطبقات الوسطى ترمّز موقع الوكيل على الشبكة (x, y) أيًّا كانت صيغة النص المقدمة، من إحداثيات إلى نثر. وورقة آلية نشرت في نوفمبر 2025 درّبت GPT-2 على مسارات عشوائية فطوّر النموذج نظام إحداثيات داخليًا: صارت مواقع العقد قابلة للفك خطيًا بنسبة تفسير تقارب 0.93 عند الطبقة الثامنة، مع انتقال حاد بعده، إذ لم يعد الأداء يعتمد على سجل الحركات السابقة.

ما يعجبني في هذه النتيجة أنها ليست إثباتًا للتناظر، بل قياس داخلي. النموذج لم "يُشبه" دماغًا، بل عزل داخل نفسه طبقة صار فيها المكان خاليًا من التاريخ.

ماذا يغيّر ذلك في هندسة الوكلاء

أستخلص من قراءة الاتجاهين ثلاث تحولات عملية، وأصوغها كما أقترحها على من يعمل معي: 1) درّب توقع الانتقالات قبل تدريب السياسة، لأن الفارق بين 25.6% و59.8% في Sokoban جاء من هذه المرحلة وحدها؛ 2) افصل الذاكرة التنبؤية عن التقييم، حتى لا يعيد الوكيل تعلم البيئة عند كل هدف جديد؛ 3) اضغط التمثيل التنبؤي نفسه لخدمة التخطيط الهرمي، على غرار الدور المفترض لـ grid cells.

الأدلة المتفرقة تدعم كل نقطة، مع فروق في نضجها. فصل التوقع عن السياسة يظهر في Dyna-Think التي أداء مماثل لنماذج مقطّرة من R1 مع نصف عدد الـ tokens تقريبًا. وفي SimuRA، وهي بنية تخطيط بمحاكاة داخلية، ارتفع إنجاز مهام بحث الرحلات الجوية من 0% إلى 32.2% مقارنة بخط أساس autoregressive مطابق. أما الفصل عن الهدف فيظهر في عمل Proto Successor Measure (2025) الذي يبني أساسًا مستقلًا عن السياسة يُعاد ترجيحه عند ظهور أي دالة مكافأة جديدة، وهي النسخة الهندسية الأقرب لروح latent learning.

حدود يجب قولها بلا مواربة

[!WARNING] الفخ الذي أرى الزملاء يقعون فيه: تبنّي مصطلحات علم الأعصاب (cognitive map، grid cells) كديكور تسويقي لمعمارية عادية. المصطلح بلا بنية حسابية قابلة للقياس يستعارة مريحة، والاستعارة المريحة ليست علمًا.

أولًا، successor representation نموذج واحد بين منافسين. تفسيرات قائمة على hippocampal replay، أو على آلة تولمان-آيخنباوم (TEM)، تفسر أجزاء من الظواهر نفسها، والأدبيات لم تحسم المفاضلة بعد.

ثانيًا، الخريطة التنبؤية متحيزة بالسلوك الحالي بحكم تعريفها، لأنها توقع مشروط بسياسة. هذا نافع للتخطيط، لكنه عيب معروف عند الاستكشاف، إذ لا يتوقع النموذج المناطق التي لا يزورها أصلًا. البناء على أساس مستقل عن السياسة (كما في Proto Successor Measure) يحاول ترقيع هذا الثقب، والنتائج الأولية مشجعة بلا ضمان.

ثالثًا، أدلة المحوّلات أولية بصراحة. GPT-2 على عوالم شبكية، وprobing يعتمد على صيغة النص المدخلة، والقفز إلى نماذج الإنتاج ليس مضمونًا. النص ليس مترًا: المسافة في فضاء الـ tokens ليست المسافة في العالم، وأي ادعاء بغير ذلك يحتاج قياسًا مستقلًا.

رابعًا، وحدودي أنا: عملي هنا قراءة معمارية، لا تجربة مخبرية. قياساتي مأخوذة من أوراض الآخرين لا من مسجلاتي، وما قدّمته من جسور بين الأدبيتين تفسير أعلنه بوصفه تفسيرًا. كنت في سنوات الأطروحة أحفظ تشوهات حقول المكان عن ظهر قلب، ثم بنيت أول وكيل لي فاصطدم بجدران رقمية بمنهجية تشبه القوارض التي كنت أقرأ عنها. السخرية من هذا المشهد لم تفارقني!

المبدأ الذي يبقى

وبشكل أعمّ، التمثيل الذي يفصل توقع الديناميكا عن التقييم يعيد التخطيط بثمن زهيد عند تغيّر الأهداف، بينما التمثيل الذي يدمجهما في رقم واحد يدفع ثمن كل تغيير مرتين. الحُصين دفع فاتورة هذا الدرس منذ ملايين السنين، ونحن نعيد اكتشافه اليوم في فواتير GPU. وحده هذا سبب وجيه لقراءة أطروحة قديمة قبل ورقة الأسبوع.

إن كنت تبني وكلاء يحتاجون ذاكرة تخطيطية من هذا الطراز، فهذه المسائل هي حرفتي اليومية، وستجد تفاصيلها في خدماتي الهندسية. وقد كتبت سابقًا عن أقرب جارين لهذا الموضوع: فهرسة الحُصين وإعادة بناء ذاكرة الذكاء الاصطناعي والترميز السياقي: توقيع المكان قبل الإجابة. والباب مفتوح دائمًا في صفحة التواصل.