ما كنت أتمنى معرفته عند بدايتي مع Event Sourcing – الجزء 1
تستعرض هذه السلسلة ما تعلمته حتى الآن – الاكتشافات والإدراكات والمفاجآت التي صادفتها خلال سنوات من العمل مع Event Sourcing.
خلال السنوات القليلة الماضية، كنت محظوظًا بما يكفي لأتعلم وأعمل على كثير من الخدمات المبنية على event sourcing. وأعترف أن علاقتنا مالت أحيانًا إلى جانب «الكراهية» أكثر من «الحب» في ثنائية الحب والكراهية، وأن event sourcing استُخدم أحيانًا أكثر من اللازم، أو على الأقل في مواضع لم تكن بحاجة إليه.
وبالنظر إلى كل تلك السنوات، أعدّه أداة قوية وعملية فعلًا ولا تحظى بالتقدير الكافي في صندوق أدوات المهندس. ومع ذلك، فهو مجرد أسلوب إضافي، يهدف إلى المساعدة في أجزاء ضيقة نسبيًا من عملنا الهندسي – وليس حلًا سحريًا يدّعي حل كل المشكلات والتحديات التي تواجه مشاريعنا.
في هذه السلسلة الجديدة، أريد أن أستعرض لك الدروس التي تعلمتها حتى الآن، إضافة إلى الاكتشافات والإدراكات والمفاجآت التي صادفتها خلال تلك السنوات من استخدام event sourcing في الأنظمة التي بنيتها. يتناول هذا المقال عدة نقاط قوة جوهرية في هذا الأسلوب وكيف أدركت قيمتها. وفي وقت لاحق، سأكتب أكثر عن التحديات وبعض المطبّات التي واجهتها. فلنبدأ إذن!
قدرات السفر عبر الزمن
سنبدأ بما يُرجَّح أنه أوضح خصائص event sourcing وأكثرها شهرة، وعادةً الحجة الرئيسية لكل من يحاول «بيعه».
لا تتضح القيمة الحقيقية للسفر عبر الزمن إلا حين تحتاج إلى استكشاف خلل تسلل إلى بيئة الإنتاج بطريقة ما والتعمق فيه. فجأة، تضطرب خدمتك لدى بعض المستخدمين: فإما لا يستطيعون الوصول إلى ميزة معينة، أو تعرض لهم بيانات عشوائية.
ترتدي قبعة المحقق وتبدأ بمراجعة كل المقاييس وفحوصات سلامة النظام – كل شيء يبدو سليمًا. بعد ذلك نظرة سريعة على أحدث السجلات، لكن مرة أخرى لا شيء مريب سوى رسائل تفيد بأن ثمة خطأ في هذه الميزة لدى مستخدم معين.
في الأنظمة «التقليدية»، حيث يقوم الحفظ على لقطات من الحالة، فالخطوة التالية على الأرجح شيء مثل SELECT * FROM accounts WHERE user_id = 123 لرؤية ما بداخلها، على أمل الحصول على إجابة من قبيل «آه، الحالة غير صحيحة». ربما ترى المشكلة فورًا وتعرف كيف تصلحها بـ UPDATE accounts SET … WHERE user_id = 123، لكن ماذا لو لم تعرف؟ كيف تكتشف لماذا وكيف ومتى انتهى الكيان إلى هذه الحالة الخاطئة؟
كل ما لديك هو لقطة الحالة الحالية، وربما، إن كنت محظوظًا (ومتوجسًا قليلًا بشأن التسجيل مثلي)، كومة من السجلات القديمة. لكن هذا لا يكفي أحيانًا؛ فأنت تعمل في العمى، وهنا يصبح التحقيق صعبًا. وهذا لا يعني استحالته - فقد مررنا جميعًا بهذا الموقف، وعادةً توجد طريقة للإصلاح؛ فربط جميع النقاط قد يكون أصعب قليلًا فحسب.
أما إذا كان حفظ حالتك يعتمد على event sourcing، فستحصل فجأة على سياق وبيانات أكثر بكثير. لديك كل واقعة حدثت للكيان عبر الزمن – الوقائع التي سببت كل تغييرات حالته – بترتيب زمني ومع كل التفاصيل.
يمكنك حينها أن تبدأ السفر إلى الماضي: أعد تشغيل الأحداث واحدًا تلو الآخر حتى لحظة تختارها (مثلًا قبل أسبوعين) وانظر ما كانت عليه الحالة عندئذ. هل تبدو صحيحة؟ إذن أعد تشغيل بضعة أحداث أخرى حتى تصل إلى الحالة الخاطئة. هل هذه الحالة خاطئة بالفعل؟ ارجع خطوة وابحث عن الحدث (أو الأحداث) المسؤول عن الحالة التالفة.
وبالجمع مع بضعة أحداث قبله وبعده، يتيح لك التسلسل إعادة بناء القصة كاملة لما حدث ولماذا. تهانينا! لديك الآن رؤية أوسع لما سبّب المشكلة على الأرجح. وإصلاح الموضع في الشيفرة الذي يخطئ فيه منطقك (ربما حالة حدّية غير مدعومة؟) ينبغي أن يكون الآن مباشرًا إلى حد ما.
يبدو كحبكة فيلم من هوليوود، أليس كذلك؟ لكن ليس كل شيء وردي، ولاستكمال الصورة هناك أمور لم أذكرها بعد. كيف تسافر عبر الزمن على بيانات الإنتاج بالضبط؟ وكيف تطّلع على الحالات الوسيطة حين لا يتوفر لديك سوى سلسلة من الأحداث، تُخزَّن أحيانًا بصيغة ثنائية لا بأي شكل مقروء للبشر (المزيد عن ذلك لاحقًا في السلسلة)؟ وأخيرًا، كيف تصلح الخلل للمستخدمين الذين تأثروا بالفعل - هل تعيد كتابة الماضي؟ لنتناول هذه الأسئلة واحدًا تلو الآخر.
استثمر في أدوات مشروعك وابنِها
لا يعرف event sourcing مفهوم الحالة «المحفوظة» أو «المجسَّدة»، فكيف تفحص الحالة بعد كل حدث في تسلسل ما أثناء استكشاف الأخطاء؟
في جوهر الأمر، تكرر الروتين نفسه الذي يمر به كيانك حين يعيد تشغيل تدفق أحداثه لمعالجة أمر (command). والفرق أن الكيان يعيد تشغيل كل حدث من البداية إلى النهاية ليصل إلى أحدث حالة لمعالجة الأمر، بينما تريد أنت التوقف مبكرًا – قبل حدث معين أو بعده، أو قبل طابع زمني محدد أو بعده مباشرة، وهكذا.
أداة مطوّر كهذه عادةً أول ما أكتبه عند العمل على خدمات مبنية على event sourcing، وأيضًا من أوائل ما أستعين به عند استكشاف مثل هذه المشكلات. وهي عادةً أداة سطر أوامر أو برنامج سهل التشغيل يقع بجوار شيفرة الإنتاج، فأستطيع إعادة تشغيل الأحداث تمامًا كما تفعل كيانات الإنتاج، مع تقييد الأحداث التي تُغذّى فقط. أشغّلها على بيانات الإنتاج، إما بتحميل نسخة من تدفق أحداث الكيان المعني في قاعدة بيانات محلية، أو، حيثما أمكن، بالاتصال بقاعدة بيانات إنتاج للقراءة فقط. وتقبل معرّف الكيان المعطوب مع رقم تسلسلي لحدث أو طابع زمني يُعاد التدفق حتى بلوغه، وتعتمد على الشيفرة نفسها التي تعتمدها كيانات الإنتاج لجلب الأحداث وفك ترميزها وتطبيقها. وعند بلوغ الحد، تطبع الحالة الراهنة للكيان على الطرفية. وأحيانًا أضيف ميزة إضافية: فحين نبلغ حدثًا معينًا، يُطبَّق كل حدث لاحق في التدفق «عند الضغط على مفتاح» فقط، مع طباعة الحالة بعد كل منها. إنه أشبه ببناء مصحّح أخطاء صغير خاص بك لكياناتك.
وحتى حين تُخزَّن أحداثك بصيغة ثنائية، فإن استخدام آلية معالجة الأحداث الحقيقية يعني أنك لا تحتاج إلى التعامل مع ذلك صراحةً أو فك ترميزها يدويًا مرة أخرى. وبأداة كهذه يصبح السفر عبر الزمن سهلًا: يمكنك أن ترى بالضبط في أي حالة كان الكيان قبل أسبوعين مثلًا، وكيف غيّره كل حدث. فهي لا تقرأ سوى مجموعة سجلات من قاعدة البيانات، وتطبيق الأحداث لا يستدعي أي آثار جانبية، فيمكنك إجراء ما شئت من المحاولات حتى تجد الحدث المعطوب.
ومع مرور الوقت، يستمر صندوق أدوات المطور في المشروع بالنمو عادةً، وتُبنى عروض/إسقاطات (projections) مخصصة وآنية للإجابة السريعة عن الأسئلة المتكررة. وتظهر أدوات إضافية حول الكيانات تسهّل العمل اليومي، واستكشاف الأخطاء خصوصًا، لكن الأداة المخصصة للسفر عبر الزمن وتصحيح تدفقات الأحداث هي عادةً أول ما أنشئه.
تصحيح الماضي
بعد تحديد المشكلة، حان وقت إصلاحها. أنت تعرف الروتين: غيّر الشيفرة، واكتب مجموعة اختبارات وشغّلها، وانتظر اكتمال خط CI، ثم انشرها. لكن هذا نصف العمل فقط. ما لديك الآن هو سلوك صحيح للأوامر التي تصل إلى النظام من هذه اللحظة فصاعدًا وللأحداث الجديدة الناتجة عنها.
ماذا عن الكيانات التي أثّر فيها الخلل بالفعل، والتي تحتوي تدفقاتها على هذه الأحداث المعطوبة أو الخاطئة ببساطة؟ لم يعد بإمكانك تنفيذ عبارة UPDATE على بعض صفوف قاعدة البيانات، إذ لا توجد حالة فعلية. تذكّر أن الماضي لا يمكن تغييره – فالأحداث وقائع غير قابلة للتعديل ولا ينبغي لك تعديلها.
لكن لماذا ذلك في الحقيقة؟ للوهلة الأولى يبدو نهجًا معقولًا: استبدل الحدث المعطوب في مخزن الأحداث بآخر صحيح وانتهى الأمر. فأولًا، إن فعلت ذلك، فعليك التأكد من أن النسخة الجديدة من الحدث يمكن تطبيقها فعلًا بشكل صحيح على الحالة المقابلة، أي أن الحدث منطقي في التسلسل. وهذا الجزء الأسهل، ويمكن التحقق منه عادةً. أما المطب الأقل وضوحًا والذي يكون عادةً غير مرئي فهو مدى «محلية» مثل هذا التدخل اليدوي.
إلى جانب جانب الكتابة، تتضمن الأنظمة المبنية على event sourcing ما يسمى جوانب القراءة (read sides) – أجزاء من الشيفرة تستهلك تدفقات الأحداث التي تكتبها كياناتك وتتصرف بناءً عليها. وما تفعله قد يتراوح من بناء عروض/إسقاطات للبيانات (مثل التقارير والرسوم البيانية وغيرها)، مرورًا ببناء نماذج قراءة مخصصة في قواعد بيانات خارجية متخصصة تلزم لقرارات عمل أكثر أو أقل أهمية، وصولًا إلى معالجات أحداث عادية تستدعي خدمات أخرى صراحةً أو تنشر رسائل (أو «أحداثًا عامة») في طوابير تدير أجزاء أخرى من النظام.
يعتمد كل مكوّن لاحق على أن تكون تدفقات أحداثك متسقة منطقيًا وعلى الضمان بأن الحدث المحفوظ يبقى هناك إلى الأبد دون تغيير. وهذا يعني أن كل تقرير وكل نموذج قراءة استهلك ذلك الحدث وطبّقه من جهته بالفعل (مما أنتج غالبًا أرقامًا خاطئة، وربما بهذه الطريقة اكتشفت المشكلة الأصلية أصلًا). وكل معالج أحداث استهلك الحدث أيضًا، فاستدعى أنظمة أخرى أو نشر رسائل بناءً على بياناته. وبعد معالجة الحدث، ينتقلون إلى ما بعده ولا يلتفتون إلى الوراء، فلن يلاحظوا حتى أنك عدّلت يدويًا أحد الأحداث السابقة في التدفق.
ورغم أنك «أصلحت» الحدث نفسه، فإنك لم تصلح كل ما أثّر فيه الحدث الخاطئ. بالطبع يمكنك محاولة تعديل نماذج القراءة لديك أو إعادة بنائها يدويًا وإعادة إطلاق الاستدعاءات إلى الخدمات الأخرى بحمولات صحيحة، لكن هل أنت متأكد أنك تعرف كل مستهلك لاحق لأحداثك وتتحكم فيه؟ وماذا عن اتساق البيانات إذا جرى تدقيق؟
ومن نقاط البيع الكبرى الأخرى لـ event sourcing وسجل أحداثه سهولة التدقيق، التي تأتي عمليًا مجانًا. ماذا لو كنت تعمل في بيئة شديدة التنظيم، أو تخضع ببساطة للتدقيق بانتظام؟ إن التناقضات التي تُدخَل يدويًا بهذه الطريقة ستظهر في التدقيق عاجلًا أم آجلًا، وستواجه عواقب غير سارة. فالسماح بتغيير الأحداث السابقة يهدم أي ثقة قد يضعها المدقق في مخزن الأحداث. وعدم قابلية التعديل شرط صارم لأي بيانات من نوع السجلات هذه، خاصة حين يجب أن تفي باللوائح.
لا تسئ فهمي – فالكتابة فوق الأحداث ليست محظورة تمامًا. فهناك خدمات ومواقف يكون فعل ذلك فيها مقبولًا تمامًا: مثل وجود عدد قليل فقط من المستهلكين اللاحقين الذين تتحكم فيهم بالكامل، ويسهل تصحيحهم كما في نماذج القراءة؛ أو أن النظام ليس «خاضعًا للتنظيم»، وهكذا. وقد فعلتها بنفسي بضع مرات – فالتعامل مع التاريخ مرهق للأعصاب، لكنه في كل تلك الحالات سار على ما يرام.
ومع ذلك، فإن الطريقة السليمة والأكثر أناقة للتعامل مع هذه المشكلات هي جعل التصحيح صريحًا. وعمليًا يعني ذلك إرسال أمر علاجي/تعويضي (healing/compensating command) إلى الكيان المتأثر، فيخزّن بدوره حدثًا تعويضيًا يصلح ما كان خاطئًا في الحالة السابقة.
يمكن أن تحتوي حمولة الحدث على أي شيء تحتاجه – قيم تصحيحية، ومرجعًا إلى الحدث/الإجراء المراد تصحيحه – والأمر لك. بالطبع يمكنك تسمية ذلك هندسة مفرطة، لأنه يستغرق وقتًا عمومًا ويتطلب شيفرة جديدة (أحيانًا شيفرة لن تُشغَّل إلا مرة واحدة)، لكن، حسنًا، كل شيء يتعلق بالمفاضلات. لننظر ماذا نكسب في المقابل.
إن نشر هذا النوع الجديد من الأحداث العلاجية/التعويضية، أولًا، يجعل التصحيح صريحًا: إذ يُسجَّل حدث بصورة دائمة في تدفق الأحداث – فلا مزيد من خطر التناقضات عند التدقيق وغير ذلك.
ونتيجة لذلك، فإنك بطريقة ما «تُجبر» كل نموذج قراءة وكل معالج أحداث على التعامل مع هذا الحدث الجديد صراحةً. وقد يقررون تجاهله بالطبع، لكن عليهم على الأقل الإقرار باستلامه. ويمكنهم الاستجابة مثلًا بتصحيح الأرقام في تقاريرهم أو بإرسال رسائل مصححة إلى الجهات اللاحقة – وهذا قرارهم.
لقد جعلت قرارك التصحيحي صريحًا بتسجيل واقعة عن الكيان، واضطر كل من يهتم بتغييرات حالة ذلك الكيان إلى اختيار الطريقة المناسبة (في سياقه الخاص) للاستجابة لها.
وبدلًا من ذلك، قد يكون منطق كيانك سليمًا تمامًا والخلل الذي تواجهه موجودًا في جانب القراءة فقط، مثلًا بعض التقارير تنتج بيانات غير صحيحة، وبعض العروض لا تعرض ما ينبغي، وهكذا. وإصلاح هذه عادةً سهل وآمن نسبيًا (بغض النظر عن الصعوبة الكامنة في تحديد التغيير نفسه).
تذكّر أن تدفقات أحداثك هي المصدر الوحيد للحقيقة، فيمكنك إعادة بناء الحالة في أي نقطة زمنية بمجرد إعادة تشغيل الأحداث وفحص الحالة الناتجة من أي منظور تشاء. وهذا بالضبط ما تفعله نماذج القراءة: فهي تعيد تشغيل تدفقات الأحداث وتفسّر الأحداث الواردة بطريقتها الخاصة.
كل ما عليك فعله هو إصلاح الإسقاط (جانب القراءة) المعطوب وتركه يُعاد بناؤه من البداية تمامًا (أو من نقطة لاحقة تسبق المشكلة). وقد يستغرق ذلك وقتًا بالطبع، بحسب عدد الأحداث المطلوب معالجتها، وقد تضطر إلى ابتكار تحويل سلس حيثما لزم، لكنه في جوهره كل ما في الأمر.
وبما أن كياناتك تحتفظ بتاريخها الكامل من التغييرات، يمكنك إعادة تشغيله متى شئت، من البداية أو من أي نقطة زمنية تختارها.
تصميم العمارة لأسئلة الغد
إن تدفقات الأحداث بوصفها مصدر الحقيقة تجعل «إعادة التشغيل المجانية» ممكنة عمليًا. وقد صاغ أحد الممارسين هذه الفكرة في جملة واحدة صادفتها أول مرة حين اقتبسها أحد المناصرين المعروفين لـ event sourcing، وهي في نظري تلخص أكبر نقاط قوته. مرات عدة، بعد أن ظلت خدمة تعمل في الإنتاج فترة، ورد طلب من ما يسمى «فريق المنتج» يسأل هل يمكننا قول هذا أو ذاك بناءً على النشاط والإجراءات في الخدمة حتى تلك اللحظة. وعادةً كانوا يريدون عرضًا محددًا للبيانات، مثل كم عدد، وكم مقدار، وكم مرة، وما المجموع، والإجمالي، والمتوسط، والاتجاه، وهكذا.
للوهلة الأولى، يبدو هذا كله مهمة لمقاييس الأعمال المعتادة التي ينبغي أن تبنيها في نظامك مهما كان تصميمه. وهذا صحيح تمامًا – فبعض هذه الأمور يمكن قراءتها من المقاييس. لكن المشكلة أنك لا تستطيع التنبؤ بكل مقياس ستحتاجه في المستقبل.
لا يمكنك كتابة شيفرة إلا لما تعرفه الآن. ولا ضمان بأن لكل تغيير مهم للأعمال مقياسًا مقابلًا، لأن المقاييس مجرد خطوات إضافية اختيارية جانبية لا تحتاجها العملية لتعمل. أما مع event sourcing، فعلى العكس، يتطلب دعم تدفق الأعمال كما هو أن تخزّن كل المعلومات اللازمة للانتقال من حالة إلى أخرى، على شكل تدفق أحداث.
ونتيجة لذلك، فإنك تسجّل على الأرجح كل المعلومات ذات الصلة بالتغييرات، فيمكنك لاحقًا النظر إلى تلك البيانات من زوايا كثيرة بحسب حاجة الأعمال. وحتى لو لم تكن بعض التقارير مخططة أصلًا، فما دامت لديك البيانات، فإن الإجابة عن الأسئلة الجديدة مسألة بناء نموذج قراءة أو إسقاط جديد يركّز على الجوانب ذات الصلة منها.
حدث هذا معي مرات عديدة: أحيانًا أرسلت الأعمال طلبات تقارير آنية استطعنا تلبيتها باستخدام بيانات الأحداث، وفي أحيان أخرى أُنشئت معالجات أحداث جديدة في جانب القراءة لإرسال جزء من بياناتنا التاريخية إلى أنظمة خارجية من أجل ميزة أعمال جديدة، وهكذا.
وعمومًا، كلما طال تشغيل الخدمة وزادت البيانات التي تجمعها، زادت فرصة أن تساعد هذه البيانات في قرارات أعمال جديدة لم يفكر فيها أحد حين بُنيت الخدمة أول مرة.
الخلاصة
هذا كل شيء الآن. في هذا الجزء الأول الطويل نسبيًا، ركزت على بعض الخصائص الأقل وضوحًا للأنظمة المبنية على event sourcing والمتعلقة بكيفية تمثيل الحالة فيها. وتحدثت أيضًا عن القدرة على السفر عبر الزمن – كيف يتم ذلك وماذا يعني للمهندسين عند استكشاف الأخطاء وإصلاحها، ولأهل المنتج الذين يمكنهم تنمية الأعمال باكتساب فهم أعمق للبيانات.
في الجزء التالي، سأركز على الممارسات وبعض المطبّات في نمذجة الأنظمة المبنية على event sourcing – أي في جوهر الأمر، كيف تزيد فرصك في ألا تطلق النار على قدمك أثناء بنائها. وفي الجزء الثالث، سأتناول خيارات حفظ الأحداث المتاحة، مع كون الاتساق أحد العوامل الرئيسية.
ترقّبوا!