تقدير المشروع
← كل المقالات

ما كنت أتمنى معرفته عند بدء العمل بـ Event Sourcing – الجزء 3، التخزين

لنتعرّف على الخيارات المتاحة لحفظ الأحداث، مع اعتبار الاتساق (consistency) أحد المعايير الرئيسية.

12 دقائق قراءة
Event Sourcingالعمارة البرمجيةتطوير البرمجياتعمارة الأنظمة

تناولنا سابقًا اعتبارات اتساق البيانات في الأنظمة القائمة على الأحداث (event-sourced). وتطرقنا إلى اتساق البيانات في جانب القراءة بإيجاز فقط، لأنه الجانب الذي تُلاحَظ فيه تبعات الاتساق ويُفكَّر فيها في أغلب الأحيان. غير أن هناك جانبًا آخر بالغ الأهمية يتعلق بالبيانات في الأنظمة القائمة على الأحداث: جانب الكتابة، حيث تُحفظ الأحداث نتيجةً لمعالجة الأوامر. في هذا الجزء، لنلقِ نظرة سريعة على الخيارات المتاحة لحفظ الأحداث، مع اعتبار الاتساق أحد المعايير الرئيسية.

ما الذي يجعل مخزنًا للأحداث (Event Store)؟

ماذا يجب أن توفر قاعدة بيانات، أو أي آلية حفظ أخرى، لتكون مرشحًا واقعيًا لتخزين الأحداث في نظام قائم على الأحداث؟ من الواضح أن التخزين يجب أن يكون متينًا (durable). ويجب أن يوفر أيضًا مستوى مناسبًا من عزل المعاملات (transaction isolation)، بحيث لا يمكن قراءة إلا البيانات المؤكَّدة بالكامل. ولأننا نتعامل مع سجلات للإضافة فقط (append-only)، فمن المفيد أن يوفر النظام أداء إدراج جيدًا (التحديثات والحذف لا تهم هنا كثيرًا).

وفوق ذلك، يجب أن:

  • يوفر كتابات ذرية ومتسلسلة (عندما تُكتب سلسلة من الأحداث دفعة واحدة)،
  • يدعم قراءات متسلسلة مرتبة، على الأقل ضمن مجمَّع (aggregate) معين (تحميل التسلسل الكامل للأحداث التابعة لذلك المجمَّع)،
  • يدعم قراءات متسلسلة مرتبة عالميًا، بحيث يمكن قراءة كل الأحداث بالترتيب الذي خُزّنت به.

تضيّق هذه المتطلبات خياراتنا كثيرًا، إلى حلول قواعد البيانات، لأننا نحتاج على الأقل إلى جزء كبير من ضمانات ACID، إلى جانب ميزات أخرى توفرها قواعد البيانات (التصفية والفهرسة وغيرها).

يستمر على الإنترنت جدل محتدم نسبيًا حول ما إذا كان Kafka مناسبًا لتخزين الأحداث في Event Sourcing (في وقت سابق، أجرينا حتى نقاشين أو ثلاثة طويلة نسبيًا حول ذلك مع زملاء من شركتنا). Kafka ممتاز حين يتعلق الأمر بالأحداث، لكنه في رأيي ليس مفيدًا بوجه خاص لنوع «معالجة» الأحداث المطلوب هنا – والمزيد عن ذلك أدناه.

ما هو الحدث؟

من جانب التخزين، يمكن اعتبار الحدث في نظام قائم على الأحداث قطعة بيانات منظَّمة لها هذه السمات على الأقل:

  • Aggregate ID: المجمَّع الذي ينتمي إليه الحدث.
  • Sequence Number: موضعه ضمن تدفق أحداث مجمَّع معين.
  • Timestamp: لحظة تسجيل الحدث.
  • Payload: «المحتوى» الفعلي للحدث.

ومن السمات المفيدة الأخرى، وإن لم تكن ضرورية تمامًا:

  • Global Sequence ID: مفيد للإسقاطات (projections) على مستوى النظام.
  • Tags: مفيدة أيضًا للإسقاطات على مستوى النظام والتجميعات وغيرها.

قد توجد حقول إضافية خاصة بوسيلة تخزين أو حل معين، لكن هذا في جوهره كل ما نحتاجه لكتابة حدث في مخزن الأحداث وقراءته لاحقًا، عند إعادة تشغيل تدفق أحداث مجمَّع معين لمعالجة أمر. فكيف تقارن قواعد البيانات الشائعة بهذه المتطلبات؟

قواعد البيانات العلائقية

لا عجب أن قواعد البيانات العلائقية خيار متين إلى حد كبير هنا. فهي تلبي عمومًا متطلبات ACID لدينا، ومع الحلول الموزَّعة على شظايا/عقد متعددة (sharded/multi-node) التي اكتسبت شعبية مؤخرًا للمشكلات الأكبر حجمًا، يمكن أحيانًا ضبط قابلية التوسع والاتساق.

تُحفظ الأحداث في جدول واحد، قد يشير إلى معرّف المجمَّع (aggregate ID) من جدول منفصل، لأن وضع معرّف المجمَّع في كل حدث قد لا يكون مرغوبًا. وعندما يكون المعرّف طويلًا، فمن الأفضل الإشارة إلى جدول آخر عبر مفتاح أجنبي لتوفير المساحة. وتتيح بعض أنظمة RDBMS تقسيم جداول الأحداث بحسب الوقت أو تجزئتها إلى شظايا (مثلًا بنطاقات من معرّفات المجمَّعات) لتحسين الأداء على المدى الطويل، خصوصًا للقراءات. والتجزئة بحسب الوقت مفيدة بوجه خاص عند استخدام لقطات تدفق الأحداث (snapshots) – إذ لا يلزم حينها لإعادة التشغيل إلا بضعة أحداث من الأحدث.

تخدم أرقام التسلسل داخل المجمَّع غرضين: ترتيب الأحداث، والتحكم المتفائل في التزامن (optimistic concurrency control) الذي يمنع الكتابات المتزامنة (عندما لا يفرض التطبيق مبدأ الكاتب الواحد، كما يفعل Akka/Pekko Persistence). وربما يكون الأفضل أن يدير التطبيق أرقام التسلسل داخل تدفقات المجمَّعات صراحةً (بسبب التحكم المتفائل في التزامن)، بينما يمكن عادةً توليد أرقام التسلسل العالمية تلقائيًا من المتسلسلات (sequences). لكن لذلك سلبيات: ففي Postgres مثلًا، تُزاد أرقام التسلسل في معاملات منفصلة، مما قد يؤدي إلى فجوات أو قيم غير مرتبة في التسلسل العالمي (مثلًا، حصلت أحداث على رقم تسلسل، لكن المعاملة التي تخزّنها تراجعت أو فشلت لسبب ما). وهذا يعقّد الأمور في جانب القراءة.

أما في جانب القراءة، فمن نقاط ضعف RDBMS أنها تفتقر عادةً إلى آليات مخصصة لقراءة تدفقات الأحداث لنماذج القراءة/الاشتراكات/الإسقاطات. وهذا متوقع، إذ لم تُبنَ مع وضع حالة الاستخدام هذه في الاعتبار. وأقرب الخيارات إلى الأصلي هي أنواع CDC (التقاط تغييرات البيانات، Change Data Capture) المختلفة، القائمة إما على المشغِّلات (triggers) وإما على سجلات العمليات (op-logs) (في Postgres، سجل الكتابة المسبقة Write-Ahead-Log مع ميزة logical decoding). وهي تتطلب قدرًا لا بأس به من شيفرة جانب القراءة لبناء البنية التحتية اللازمة لقراءة الأحداث وبثها ثم معالجتها بموثوقية.

وبدلًا من ذلك، يمكنك الرجوع إلى الاستطلاع الدوري (polling) القديم الجيد لجدول الأحداث مع تتبع رقم تسلسل الحدث. وبحسب ما إذا كان نموذج القراءة يخص مجمَّعًا واحدًا أو النظام بأكمله (مثلًا بالوسوم)، تتتبع إما رقم تسلسل المجمَّع أو الرقم العالمي. لكن احذر هنا فالمخاطر كثيرة، لأن الفجوات والترتيب المختلط الموصوفين أعلاه قد يسببان مشكلات. وللتأكد من عدم تفويت أي حدث في جانب القراءة، تحتاج إلى آلية تحكم وانتظار – وهذا مثلًا ما يفعله Akka/Pekko Persistence Query خلف الكواليس.

ومن النهج الأخرى الاعتماد على معرّفات المعاملات الداخلية في Postgres (xid) للترتيب العالمي. فدلالاتها أنسب لحالة استخدامنا «أكثر». وإن أردت التفاصيل، فأوصي بمقال مخصص لهذا الموضوع تحديدًا: Ordering in Postgres Outbox.

وخلاصة RDBMS: أداؤها جيد جدًا في جانب الكتابة وما زالت الخيار الأكثر شعبية، حتى في الأنظمة الأكبر. ومقابل سهولة استخدامها ومفاهيمها المألوفة، عليك بذل جهد إضافي في جانب القراءة، لكن بعد إنجازه يعمل عمومًا دون مشاكل.

قواعد بيانات NoSQL

هذه هي عائلة محركات التخزين التالية التي يمكن أن تعمل مخازن للأحداث. وربما كانت الأشهر Cassandra (أو ScyllaDB) وDynamoDB من AWS، وكلتاهما قاعدتا بيانات عمودية (column-oriented)، وMongoDB، وهي قاعدة بيانات وثائقية. استخدمت Cassandra لتخزين Event Sourcing لفترة وجيزة فقط (وانتقلنا في النهاية إلى Postgres)، لذا فما يلي مصدره بحثي في الموضوع أكثر من خبرتي العملية.

قد تلائم النماذج الموجهة نحو الوثائق وغير المرتبطة بمخطط (schemaless) الأحداث بصورة أفضل، لأنها توفر مرونة أكبر، بحسب كيفية تصميم حمولة الحدث (إما ككتلة بيانات مُسلسَلة يديرها التطبيق، كما في RDBMS، وإما كبنية من الدرجة الأولى داخل وثيقة في قاعدة البيانات). وفي قواعد البيانات الوثائقية (مثل MongoDB)، يمكن حفظ الأحداث إما في وثيقة واحدة (وثيقة لكل مجمَّع) وإما في وثائق منفصلة. ولكل خيار مزايا وعيوب؛ فمثلًا قد يكون للوثيقة الواحدة حد أقصى للحجم، وقد يصبح ذلك مشكلة إذا نما المجمَّع كثيرًا. ومن ناحية أخرى، فإن العمليات على وثيقة واحدة متوافقة مع ACID بطبيعتها. يدعم MongoDB معاملات متعددة الوثائق، لكنها قد تكلّفك في الأداء – فلا شيء مجاني.

يستخدم MongoDB التجزئة إلى شظايا (sharding)، مما يتيح بطبيعته توزيع الأحداث على الشظايا، ويمنح مساحة أكبر للتعامل مع أحجام كبيرة من الأحداث.

وكما في RDBMS، يجب أن يحافظ التطبيق نفسه على أرقام التسلسل لأحداث مجمَّع واحد، لكن يبدو أن نقطة ضعف رئيسية في MongoDB هي أنه لا يملك طريقة مضمّنة لتسلسل الأحداث عالميًا دون منطق ومعالجة إضافيين من جانبك. ولأن MongoDB يستخدم معمارية قائد-تابع (leader-follower) وتمر كل كتابة عبر القائد، فينبغي أن يكون من الممكن استخدام مجموعة (collection) مخصصة تعمل مولِّدًا للتسلسل (وإن كان ذلك يتطلب على الأرجح معاملات متعددة الوثائق، وبالتالي تكاليف أداء محتملة). وبشكل غير رسمي، يحتفظ MongoDB بالوثائق بترتيب إدراج مستقر، لكن على حد علمي هذا غير موثَّق، ويُنصح بعدم الاعتماد عليه.

وفي قواعد البيانات العمودية مثل Cassandra، يمكن تخزين الأحداث كأعمدة في صف مفتاح التقسيم فيه (partition key) هو معرّف المجمَّع ومفتاح التجميع (clustering key) هو رقم التسلسل في تدفق ذلك المجمَّع، مما يتيح ترتيب الأحداث داخل مجمَّع واحد. وللأسف، فلأن Cassandra موزَّعة وبلا قائد، فهي لا توفر آلية مضمّنة للتسلسل/الترتيب العالمي لكل الأحداث، فيجب أن يتولى التطبيق ذلك. لماذا يفيد الترتيب العالمي؟ عندما تريد متابعة الأحداث عبر كيانات كثيرة (مثلًا للتفاعل مع أحداث نوع معين فقط)، تحتاج إلى طريقة لتتبع الأحداث التي رأيتها وعالجتها وتسجيل نقاط تفتيش لها، لتتمكن من الاستئناف من تلك النقطة.

ولأن Cassandra موزَّعة، قد تحدث كتابات متعارضة، وتُحلّ باستراتيجية «الأخير يفوز» (last-one-wins) المبنية على الطوابع الزمنية. وقد يتسبب ذلك أحيانًا في ضياع أحداث. ومن العلاجات ضبط مستويات الاتساق بالشكل المناسب، مثل QUORUM أو ALL عند الحاجة إلى اتساق صارم، لكن ذلك بالطبع يؤثر في زمن الاستجابة.

ومن ناحية أخرى، فبكونها بلا قائد وموزَّعة، تناسب Cassandra تمامًا التطبيقات الكثيفة الكتابة، والكثيفة القراءة (بشرط أن تكون القراءات قائمة على المفاتيح)، وربما الموزَّعة جغرافيًا، التي يمكنها التخلي عن بعض اتساق البيانات مقابل التوافر (availability).

أما MongoDB وCassandra كلاهما، فلا أعرف آلية أصلية مضمّنة للاشتراك في تدفقات الأحداث، لذا يجب مرة أخرى القيام بذلك صراحةً بآليات الاستطلاع الدوري أو CDC (مثل Debezium مع Cassandra CDC أو مع تفعيل replicaSet في MongoBD).

ونقطة أخرى حول الاتساق: ألقى Greg Young، الرجل الذي «اخترع» Event Sourcing، محاضرة رائعة تتناول هذا الموضوع تحديدًا – اتساق مخزن الأحداث في جانب الكتابة، خصوصًا في الأنظمة الموزَّعة جغرافيًا. أوصي بشدة بمشاهدتها.

مخازن الأحداث المخصصة

يقدم السوق عدة منتجات بُنيت أساسًا لحالات استخدام Event Sourcing. وهي قواعد بيانات مصممة لتخزين الأحداث كتدفقات ولتمكين جانب القراءة من الاستعلام عن تلك الأحداث. وربما كان الأشهر EventStoreDB، الذي أنشأه Greg Young نفسه. وهناك آخر أعرفه هو Axon Server، الذي يضم مخزن أحداث ضمن مكوناته الأساسية. وينتمي Axon Server إلى حزمة Axon، وهي حل Event Sourcing لمنظومة Java.

وعمومًا، تعالج هذه الحلول بعض نقاط ضعف النهج الموصوفة سابقًا (وليس كلها).

بالنسبة لي، أثمن ميزة في EventStoreDB هي دعمه المضمّن للاشتراكات ولمختلف استعلامات جانب القراءة، إلى جانب الترتيب العالمي للأحداث. فكل تدفق تُسلسَل معرّفاته بطبيعته، مع ضمان زيادتها بشكل رتيب صارم (دون فجوات). وفوق ذلك، يُسلسَل كل حدث عالميًا أيضًا، فيمكنك قراءة ما يسمى تدفق $all بالترتيب الذي خُزّنت به الأحداث. والموضع العالمي للحدث في التدفق مركّب من «موضع التحضير» (prepare position) و«موضع الإيداع» (commit position)، مما يضمن الترتيب الصحيح للأحداث.

ويقدم EventStoreDB أيضًا مفهومًا أنيقًا هو «الإسقاطات» (projections)، الذي يتيح في جوهره إنشاء تدفق جديد وسيط مكوَّن من أحداث تطابق معايير معينة (مثل نوع الحدث) والاشتراك فيه باشتراك تعويضي (catch-up subscription). وهذا يتيح لك تنظيم جانب القراءة وتوسيعه بنظافة، وتشكيل الإسقاطات والاشتراكات كما تشاء.

لكن EventStoreDB يستخدم معمارية قائد-تابع، فلا يتوسع بالقدر نفسه الذي تتوسع به مثلًا Cassandra التي بلا قائد – إذ يجب أن تمر كل كتابة عبر القائد، مع أن النسخ المتماثل إلى التوابع والعقد للقراءة فقط يحسّن التوافر وتحمّل الأعطال.

وإجمالًا، فإن مخازن الأحداث المخصصة منتجات يصعب مقارنتها واحدًا لواحد مع RDBMS أو قواعد NoSQL. فبسبب غرضها المحدد، تستخدم نهجًا جديدة تفتقر إليها الحلول الأخرى بطبيعتها، مثل الاشتراكات المضمّنة والفئات (categories) وغيرها. وما إذا كان أحدها يحل مشكلة Event Sourcing لديك يعتمد كثيرًا على حالة استخدامك، لذا، كما هو الحال دائمًا، استخدم حكمك وابحث بدقة قبل الالتزام الكامل.

وماذا عن Kafka؟

يتعامل Kafka مع الأحداث بشكل جيد جدًا، لكن ما يتفوق فيه حقًا هو بث الأحداث عالي الإنتاجية والمتحمل للأعطال. وكمخزن للأحداث (بالمعنى الذي تتطلبه التطبيقات القائمة على الأحداث)، له بعض القيود التي تجعله أقل ملاءمة لهذه المهمة. لنستعرض بسرعة بعضًا منها.

بادئ ذي بدء، يضمن Kafka ترتيب الأحداث ضمن قسم (partition) واحد فقط من الموضوع (topic). لذا، لضمان ترتيب الأحداث داخل تدفق واحد، ستحتاج إما إلى قسم لكل تدفق وإما إلى موضوع بقسم واحد لكل مجمَّع. لكن أيًّا من النهجين لا يتوسع جيدًا.

يجب أن يتيح مخزن الأحداث السليم إعادة تشغيل أحداث مجمَّع معين بسرعة. يمكن إعداد Kafka للاحتفاظ بالأحداث لمدة طويلة عبر معاملات الاحتفاظ (retention) فيه، لكن لا توجد طريقة فعالة لانتقاء أحداث مجمَّع معين من التدفق بأكمله، إلا إذا قسّمت المجمَّعات كما وُصف أعلاه، وهو غير عملي.

وفوق Kafka، لا توجد طريقة لتنفيذ التحكم في التزامن عند حفظ الأحداث، مما قد يعرّض اتساق البيانات للخطر. يمكن اكتشاف بعض التعارضات ومعالجتها في الشيفرة، لكن فعل ذلك لكل حالة ممكنة غير عملي. ومن طرق تخفيف ذلك تطبيق مبدأ الكاتب الواحد ومعالجة التحكم في التزامن بالكامل على مستوى التطبيق.

هذه بعض سلبيات استخدام Kafka كمخزن أحداث حقيقي فحسب. ويمكن بالتأكيد التحايل على بعض هذه المشكلات بأدوات وبنية تحتية إضافية، مثل ksqlDB وKafka Streams واستراتيجيات المواضيع والتقسيم، لكن انطباعي أنه كلما حاولت تغطية حالات أكثر، تعقّد الإعداد بصورة أسية.

لا تسئ فهمي – أحب Kafka وأستخدمه بكثافة لبث البيانات وكوسيط رسائل (message broker). وهناك يتألق بلا منازع ويظل لاعبًا مهيمنًا في السوق. لكنه ببساطة ليس خيارًا رائعًا لمخزن الأحداث.

الخلاصة

استعرضنا عدة خيارات متاحة لتخزين الأحداث في نظام قائم على الأحداث، بدءًا من RDBMS الأكثر انتشارًا، مرورًا بقواعد NoSQL شديدة التوسع والموزَّعة، وصولًا إلى قواعد بيانات مخازن الأحداث المخصصة. لكل خيار نقاط قوة وضعف عبر مختلف جوانب متطلبات Event Sourcing، ومع ذلك تبقى قواعد البيانات العلائقية الخيار الأكثر شيوعًا بفضل شعبيتها ومرونتها. وفي أعماقي، أتمنى لو كانت مخازن الأحداث المخصصة أكثر شعبية وتملك حصة أكبر من السوق، لأنها قادرة على تقديم حلول ممتازة مبنية خصيصًا للتطبيقات القائمة على الأحداث.