تقدير المشروع
← كل المقالات

إنشاء مجدوِل متعدد المناطق وعالي التوافر على AWS

شرح خطوة بخطوة لبناء مجدوِل متعدد المناطق وعالي التوافر باستخدام خدمات AWS يضمن سياسة التسليم مرة واحدة على الأقل لسير العمل الحرج.

17 دقائق قراءة
العمارةعمارة البرمجياتالتوافر العاليAWSعمارة الأنظمةتصميم الأنظمة

تمتد الأنظمة الموزّعة اليوم غالبًا عبر عدة مناطق (regions) لتوفير التوافر العالي وزمن استجابة منخفض. وكثيرًا ما تحتاج هذه الأنظمة إلى وسيلة لجدولة طلبات HTTP لتُنفَّذ في وقت لاحق، وهذا ما يشغّل مسارات عمل مثل الإشعارات واستدعاءات API المؤجلة أو المحفزات الزمنية. وعند نشر مجدوِل كهذا عبر مناطق متعددة، عليه أن يتعامل مع تحديات مثل الاتساق والمرونة أثناء التحويل عند الأعطال (failover). تشرح هذه المقالة كيفية إنشاء مجدوِل متعدد المناطق وعالي التوافر باستخدام خدمات AWS يضمن سياسة التسليم مرة واحدة على الأقل (at-least-once) لسير العمل الحرج.

كما يجب أن تلبي الأداة عدة متطلبات أخرى:

  • يجب أن تكون قادرة على إرسال آلاف الطلبات في الثانية بدقة تُقاس بالثواني (في السيناريو الاعتيادي؛ ومن المقبول تسليمها متأخرة قليلًا أثناء انقطاع الخدمات).
  • التسليم مرة واحدة على الأقل إلزامي. وفوق ذلك، ينبغي أن نسعى إلى التسليم مرة واحدة بالضبط (exactly-once) بأفضل جهد.
  • يجب إرسال كل طلب من المنطقة التي أُنشئ فيها (لتوفير التكاليف وتبسيط اتساق البيانات) – فنقاط الوجهة لدينا قد تكون إقليمية، لذا على المجدوِل أن يعرف من أي منطقة ينبغي إرسال الطلب.
  • يجب أن يدعم التحويل بين المناطق (region failover) – أي أن نكون قادرين على تفريغ الحركة الصادرة من المجدوِل في منطقة ما ونقلها بالكامل إلى منطقة أخرى، بحيث تُسلَّم كل الجداول من هناك. (مثلًا، رغم أن جداول معينة أُنشئت في us-east-1، فإنها أثناء التحويل بين المناطق ينبغي أن تُسلَّم في us-east-2). والتحويل بين المناطق لا يعني إيقاف كل نسخة من الخدمة في تلك المنطقة.

لماذا لا نعتمد على Event Bridge Scheduler؟

كانت هذه بالتأكيد فكرتنا الأولى، لأنها بدت حلًا جاهزًا يناسب حالة استخدامنا، لكن نظرة أدق كشفت هذه المشكلات:

  • لا يدعم نقاط HTTP النهائية وجهةً للجدولة. يمكن لـ Lambda أن تعمل طبقة وسيطة، وهذه ليست مشكلة كبيرة، لكنها تضيف تعقيدًا إلى المعمارية
  • والأهم أن جداول EventBridge scheduler لا تُنسخ ولا تُزامَن بين المناطق، لذا فالتحويل بين المناطق غير مدعوم جاهزًا. كما أن الجداول المنشأة في منطقة معينة يجب أن تُسلَّم من تلك المنطقة.

وإجمالًا، بعد مقارنة نهج EventBridge Scheduler بمتطلباتنا، خلصنا إلى أنه لكي تلبي هذه المعمارية متطلباتنا سيتعين علينا إحاطة هذه الخدمة من AWS بالكثير من القطع الإضافية. وقد يجعل ذلك الإعداد كله شديد التعقيد وربما هشًّا. ومع كل ذلك، لا يكاد يُعدّ حلًا جاهزًا للاستخدام. أما الأداة المخصصة فتوفر في المقابل مرونة أكبر وتتيح لنا توسيع مجموعة الميزات المدعومة مع تطور احتياجاتنا. لهذا اخترنا بناء مجدوِلنا الخاص ونشره في إعداد متعدد مناطق التوافر (multi-AZ) ومتعدد المناطق. تعرض الأقسام التالية المعمارية عالية المستوى لهذه الفكرة.

الحفظ الدائم وواجهة API بسيطة

بدايةً، نريد تخزين الجداول في قاعدة بيانات والاحتفاظ بكل المعلومات هناك، مما يسهّل الإدارة والتدقيق.

اخترنا DynamoDB، لأن قاعدة بيانات NoSQL ستوفر أداءً وقابلية توسع جيدين، ومع بنية بيانات مخططة جيدًا ينبغي أن نتمكن من الاستغناء عن الاستعلامات المعقدة.

وفوق ذلك، اعتمدنا ميزة الجدول العام (global table) في DDB للاستفادة من النسخ النشط–النشط بين مناطقنا دعمًا للتحويل بين المناطق (المزيد عن ذلك لاحقًا).

ولتجنب الأقسام الساخنة (hot partitions)، يُستخدم scheduleId مفتاحًا للقسم (partitionKey). ويمكن توليد قيمته عند إنشاء كل جدول.

وبوجود قاعدة بيانات تحوي كل الجداول، يمكننا عرض API لتنفيذ عمليات CRUD عليها.

الذاكرة المؤقتة

من حيث المبدأ، كان بإمكاننا إنهاء المقالة هنا ببناء مكوّن Sender يستعلم عن جدول DynamoDB كل ثانية (وهذا يحتاج إلى قيمة GSI (الفهرس الثانوي العام) مخصصة لجلب كل الجداول المستحقة في ثانية معينة) ثم يرسلها ببساطة إلى نقاطها الوجهة.

على بساطة ذلك، فهو بعيد عن أن يكون أفضل فكرة، لأن الاستعلام عن جدول DynamoDB كل ثانية سيضع عليه حملًا كبيرًا ويرفع التكلفة الإجمالية للمعمارية. والنهج الأذكى بكثير هو تقسيم الجداول إلى دلاء (buckets)، مثلًا أجزاء من 10 دقائق، وتحميلها في ذاكرة مؤقتة مسبقًا، وعند حلول الوقت نبحث عنها في الذاكرة المؤقتة ونرسل ما استُحق منها.

مقارنة بين Sender يقرأ الجداول مباشرة من قاعدة البيانات وSender يعتمد على طبقة ذاكرة مؤقتة.

ويجلب هذا النهج أيضًا المزايا الأوضح للتخزين المؤقت، مثل زمن استجابة أقل وتكلفة أقل لاستدعاءات قاعدة البيانات وقابلية توسع أفضل وغيرها.

لاحظ أن هذه الدلاء ذات الـ 10 دقائق يجب أن تكون إقليمية، أي أن كل دلو يحوي جداول من منطقة واحدة فقط.

دلوان يغطيان النافذة الزمنية نفسها في منطقتين يحويان جداول إقليمية مختلفة.

أي خدمة يمكن أن تعمل طبقة ذاكرة مؤقتة؟

استبعدنا بسرعة الذاكرة المؤقتة داخل الذاكرة (in-memory)، لأن خدمتنا يجب أن تعمل في إعداد متعدد المناطق، والأهم من منظور التخزين المؤقت أنها متعددة النسخ (داخل المنطقة الواحدة)، لذا يجب مشاركة الذاكرة المؤقتة بين النسخ الإقليمية لإبقائها متزامنة. (أي لا نريد أن ترسل كل نسخة كل الجداول، وهو ما قد يحدث لو كان لكل نسخة ذاكرتها المؤقتة الخاصة).

بدا ElastiCache في البداية أفضل خياراتنا، لكننا اخترنا في النهاية طابور SQS. ويعود هذا الاختيار (غير المتوقع ربما) إلى الأسباب التالية:

  • الرسائل في طابور SQS دائمة (ويمكن تحقيق الشيء نفسه مع ElastiCache وRedis، لكن ذلك يحتاج إلى قطع إضافية). فبمجرد أن يصل جدول إلى CacheQueue يمكننا الاعتماد على سياسة التسليم مرة واحدة على الأقل فيه والاطمئنان إلى أن Sender سيعالج الجدول في نهاية المطاف.
  • استخدام طابور SQS ذاكرةً مؤقتة يتيح لنا تشغيل أكثر من Sender دون الحاجة إلى مزامنتها.
  • إذا فشل Sender على نحو غير متوقع لأي سبب، يمكننا الاعتماد على سياسة إعادة المحاولة في الطابور.
  • يقدم SQS ميزة تسمى مؤقتات الرسائل (message timers)، وقد اخترنا استخدامها لكي تُنفَّذ الجداول في لحظة دقيقة رغم أنها خُزّنت مؤقتًا مسبقًا.

Sender

لا شيء معقد هنا: مكوّن Sender يستعلم من CacheQueue عن الرسائل ويرسل الجداول بمجرد ظهورها. ويمكن تشغيل عدة Senders لرفع الأداء (للتبسيط سنستخدم واحدًا). وبعد التسليم الناجح تُعلَّم الجداول بأنها أُرسلت (يُزال GSI الخاص بها وتُحدَّث حالتها) وتُحفظ في قاعدة البيانات.

Reader

على مستوى عالٍ، مهمة هذا المكوّن أن «يستيقظ» في وقت معين، ويقرأ من قاعدة البيانات كل الجداول التي تؤلف دلوًا معينًا، ويحمّلها على CacheQueue (بعد حساب التأخير أولًا).

عمليًا يبدو المكوّن على هذا النحو:

مكوّن Reader، المؤلف من ReaderTaskProducer وطابور FIFO وReaderTaskConsumer

ReaderTaskProducer

لهذا المكوّن مهمة واحدة: أن يستيقظ كل عشر دقائق (قبل بداية دلو معين بقليل – فمثلًا للدلو من 12.10 صباحًا إلى 12.20 صباحًا قد يستيقظ عند 12.07 صباحًا)، وينشئ ReaderTask لذلك الدلو ويضعه في طابور FIFO. وReaderTask أمر بسيط يخبر Reader بأن دلوًا إقليميًا معينًا يجب تحميله من قاعدة البيانات ووضعه في الذاكرة المؤقتة.

وهذه فرصة جيدة للتأكيد على أن خدمتنا قد تشغّل عدة نسخ في الوقت نفسه داخل منطقة واحدة (أو حتى منطقة توافر واحدة). ويجب أن نضمن ألا ينتهي أي دلو أو جدول في الذاكرة المؤقتة أكثر من مرة.

السبب الوحيد لتقسيم Reader إلى مكوّنين (ReaderTaskProducer + ReaderTaskConsumer) هو وضع طابور SQS FIFO بينهما. ولكي نحصل على ReaderTask واحد بالضبط لكل دلو في الطابور، يجب استخدام آلية إزالة التكرار في SQS FIFO (حيث إن deduplicationId هو معرّف دلو متطابق في جميع نسخ الخدمة).

ReaderTaskConsumer

يستعلم هذا الجزء من Reader عن طابور FIFO، وكل رسالة ReaderTask تظهر هناك يعالجها ReaderTaskConsumer واحد فقط. (وبدقة أكبر – فإن ReaderTaskConsumers التابعة لنسخ الخدمة الأخرى لن تعالج ذلك السجل. ويتحقق ذلك بميزة VisibilityTimeout في SQS)1.

لست بحاجة إلى قراءة الحواشي لفهم هذه المعمارية على مستوى عالٍ. لكن بعض المفاهيم مشروحة فيها بتفصيل أكبر، لذا فهي تساعد بالتأكيد في رؤية الصورة الكاملة.

أما المعالجة نفسها – فيستعلم المكوّن من قاعدة البيانات عبر GSI لجلب كل جدول في دلو معين. ثم يحسب التأخير لكل منها قبل وضعه على CacheQueue.

شكل GSI

nextAttemptTimestamp: 2025-10-01T17:16:04Z 
gsi: us-east-1#2025-10-01T17:10:00Z

يُقرَّب NextAttemptTimestamp «للأسفل» إلى أقرب 10 دقائق لإنتاج GSI الذي يمثل دلاء الـ 10 دقائق.

إعادة المحاولات

ماذا يحدث عندما يفشل تسليم جدول لسبب ما؟ وفقًا لأفضل الممارسات تُفعَّل سياسة إعادة المحاولة.

للتعامل مع إعادة المحاولات، يزيد مكوّن Sender عدّاد محاولات الجدول ويحسب وقت التسليم التالي (ويناسب ذلك التراجع الأسي مع عنصر عشوائي (jitter)) وعلى هذا الأساس يحدّث قيمة GSI للسجل (عند الحاجة) ويحفظه في قاعدة البيانات. ونتيجة لذلك ينتقل الجدول إلى دلو آخر ويُعالج في إحدى دورات الدلاء القادمة2.
أما إذا استُنفد الحد الأقصى لعدد المحاولات، فيُعلَّم الجدول بأنه متخطًّى ويُطلق تنبيه (لن تتناول هذه المقالة كيفية تنفيذ آلية التنبيه).

ملخص التدفق

  1. تنشئ ReaderTaskProducers المهام ReaderTasks وتضعها في طابور SQS. ولا تصل إلى هناك فعليًا سوى رسالة واحدة.
  2. يعالج ReaderTaskConsumer واحد المهمة ReaderTask.
    أ. يُجلب الدلو من جدول DynamoDb.
    ب. يُحسب التأخير لكل جدول.
    ج. يوضع كل جدول على CacheQueue باستخدام ميزة مؤقتات الرسائل.
  3. بعد انقضاء التأخير يقرأ Sender الجدول ويرسله إلى نقطته الوجهة.
    أ. إذا نجح، يُعلَّم الجدول بأنه سُلِّم.
    ب. إذا فشل، تُطبَّق سياسة إعادة المحاولة.

التحويل بين المناطق (Region Failover)

كما ذُكر في بداية هذه المقالة، كان التحدي الرئيسي لهذا الحل دعم القدرة على «إيقاف» أي منطقة في أي لحظة ومن ثم تسليم كل جداولها من منطقة أخرى (نقاط الوجهة إقليمية).

ومن المهم التأكيد على أنه في هذه المعمارية تُنجَز كل الأعمال بواسطة مهام في الخلفية. لذا فإن توجيه كل استدعاءات CRUD API إلى الخدمة في منطقة أخرى لا يكفي، لأن الجداول المنشأة سابقًا ستظل تُرسل من المنطقة التي قد تكون معطوبة.

وبالتالي، لتفريغ الحركة من منطقة بالكامل، يجب أن تمرّر كل نسخة من المجدوِل في المنطقة المحوَّلة (failovered region) أمر الإيقاف إلى كل مكوناتها لتتوقف عن العمل.

والأمر نفسه ينطبق على منطقة التولّي (takeover region) (المنطقة التي ترسل جداول المنطقة المحوَّلة أثناء الانقطاع) – إذ يجب أن تكون مكونات نسخ الخدمة فيها على علم بتغيّر الوضع.

اخترنا الاحتفاظ بحالة التحويل الحالية بين المناطق في SSM Parameter Store والاستعلام عنها دوريًا لاكتشاف تغيّر القيمة، أي التحويل بين المناطق3.

ولنرى كيف يُدعم هذا المتطلب، لنبدأ بالتغييرات في المعمارية:

FailoverPoller

يستعلم هذا المكوّن دوريًا عن قيمة معامل SSM، وبمجرد أن يلاحظ تغيرًا يمرر تلك المعلومة إلى Orchestrator.

ReaderTaskProducer

كما شُرح سابقًا، فإن الدلاء المجلوبة من قاعدة البيانات إقليمية. وReaderTask أمر يخبر ReaderTaskConsumer أي دلو يعالج. وأثناء التحويل بين المناطق، يجب أن يتوقف ReaderTaskProducer حتى لا يتلقى طابور FIFO مزيدًا من ReaderTasks لهذه المنطقة. ونتيجة لذلك لن توضع الجداول في الذاكرة المؤقتة وبالتالي لن تُرسل من هذه المنطقة.

وفي منطقة التولّي يمكن تشغيل نسخة إضافية من ReaderTaskProducer إلى جانب النسخة الافتراضية لتوليد الأوامر للمنطقة المحوَّلة. وبدوره يضع ReaderTaskConsumer الجداول في الذاكرة المؤقتة ليعالجها Sender، مما يتيح التحويل الكامل بين المناطق4.

Sender

يجب أن تُعطى Sender مجموعة المناطق التي ينبغي أن يعالج (يرسل) جداولها. وبشكل افتراضي يعالج المكوّن جداول المنطقة التي يعمل فيها، لكن بمجرد حدوث تحويل ينبغي أن يتوقف عن الإرسال فورًا. وإضافة إلى ذلك، ينبغي أن يفرغ كل الرسائل المتبقية من CacheQueue (فالجداول ستُعالج في المنطقة الأخرى)، حتى لا تُرسل مرة ثانية بعد انتهاء التحويل وعودة Sender إلى الاستهلاك من الطابور في وضعه الافتراضي.

أما Sender في منطقة التعافي فيحتاج فقط إلى توجيه ليرسل الجداول من منطقته + من المنطقة المحوَّلة5.

Orchestrator

لكي يعمل ReaderTaskProducers وSender بوضع معين يمكن تغييره أثناء التشغيل، يلزم إضافة مكوّن Orchestrator.

يملك Orchestrator نسخ المكونين Sender وReaderTaskProducers. وبفضل ذلك، عندما تصل معلومات التحويل إلى Orchestrator يمكنه إيقاف المكونات العاملة وعند الحاجة تشغيل مكونات جديدة بوضع آخر.

مثال على التحويل بين المناطق

لنفترض أن المنطقة us-east-1 يجب إيقافها بسبب انقطاع (أو لمجرد الاختبار، وهذه بالمناسبة ممارسة جيدة أيضًا).

  1. تُحدَّث معاملات SSM الإقليمية. تُفرَّغ us-east-1 وتصبح us-east-2 منطقة التعافي.
  2. يلاحظ FailoverPoller تغير قيمة المعامل ويمرره إلى Orchestrator.
  3. us-east-1
    3.1 يوقف Orchestrator المكوّن ReaderTaskProducer الذي كان يولّد ReaderTasks الخاصة بـ us-east-1. كما يوجّه Sender إلى تفريغ رسائل جداول us-east-1 لتصريف الطابور.
    3.2 تتوقف الذاكرة المؤقتة عن استقبال جداول جديدة.
    3.3 يُفرَّغ كل جدول موجود في الذاكرة المؤقتة بمجرد أن يصبح مرئيًا لـ Sender، فلا يُرسل شيء من هذه المنطقة.
  4. us-east-2
    4.1 يُطلق Orchestrator نسخة جديدة من ReaderTaskProducer مسؤولة عن دلاء us-east-1. كما يوجّه Sender إلى إرسال الجداول من المنطقتين us-east-1 وus-east-26.
    4.2 تولّد ReaderTaskProducers مهام ReaderTasks للمنطقتين us-east-1 (بدءًا مثلًا من بضعة أيام مضت) وus-east-2.
    4.3. تجلب ReaderTaskConsumers الدلاء من المنطقتين us-east-1 وus-east-2 وتحمّل كل تلك الجداول في الذاكرة المؤقتة.
    4.4. يرسل Sender كل جدول من المنطقتين.

مثال على تعافي المنطقة (إيقاف التحويل)

  1. تُحدَّث معاملات SSM الإقليمية. يعود كل شيء إلى طبيعته.
  2. يلاحظ FailoverPoller تغير قيمة المعامل ويمرره إلى Orchestrator.
  3. us-east-1
    2.1 يُطلق Orchestrator المكوّن ReaderTaskProducer الافتراضي ويوجّه Sender إلى بدء إرسال جداول us-east-16
    2.2 تُولَّد ReaderTasks الخاصة بـ us-east-1 (بدءًا مثلًا من بضعة أيام مضت) وتصل الجداول إلى الذاكرة المؤقتة.
    2.3 تُرسل الجداول.
  4. us-east-2
    3.1 يوقف Orchestrator نسخة ReaderTaskProducer التي كانت تعالج دلاء us-east-1. كما يوجّه Sender إلى التوقف عن معالجة جداول us-east-1 وإرسال جداول us-east-2 فقط.
    3.2 تُولَّد فقط ReaderTasks الخاصة بـ us-east-2، وتُحمَّل تلك الجداول في الذاكرة المؤقتة.
    3.3. يعالج Sender جداول us-east-2. ومن ذلك الحين تُفرَّغ من الطابور أي جداول us-east-1 لا تزال في الذاكرة المؤقتة.

لقد بُني الحل الموصوف أعلاه ونُشر بنجاح في بيئة الإنتاج، وأثبت أنه يستطيع التعامل مع أعباء العمل المطلوبة بموثوقية وكفاءة. فهو يحقق دقة الجدولة المتوقعة والتوافر العالي وتحمل الأعطال، ويلبي احتياجات النظام بأكمله.

نهج بديلة واعتبارات

أظهرت عدة قرارات واجهناها أثناء تصميم هذه المعمارية بشكل مثالي القاعدة التي تسري على تصميم أي نظام – المفاضلات (trade-offs) في كل مكان…

وبالحديث عن المفاضلات، قبل تنفيذ هذه المعمارية راجعنا الفكرة وحاولنا التوصل إلى تحسينات. فمن جهة، رأينا أنه من الجيد فصل الخدمة أكثر بالاعتماد على خدمات AWS الموجودة بدلًا من تنفيذ كل مكوّن داخل مهمة ECS واحدة. كما أن المكونات القائمة على الاستعلام الدوري (polling) بدت للوهلة الأولى غير مثالية.

وقادنا ذلك إلى بديل – فكان يمكن بناء مكوّن Reader بواسطة EventBridge scheduler + وجهة lambda (بدلًا من ReaderTaskProducer + SQS FIFO + ReaderTaskConsumer)، لكن لدعم التحويل بين المناطق ستحتاج lambda إلى العمل بوضع معين حسب قيمة معامل SSM (مع احتمال استدعاء SSM API لقراءة القيمة في كل تشغيل). والأمر نفسه ينطبق على مكوّن Sender الذي يمكن استبداله بـ lambda أيضًا. ولهذا خلصنا إلى أن Orchestrator الذي يملك المكونات الفرعية ويستطيع تبديل أوضاعها بسهولة هو الخيار الذي نريد اعتماده.

ومع ذلك، يمكن استبدال ReaderTaskConsumer بـ lambda بشكل شبه سلس، ونفكر في إجراء هذا التغيير مستقبلًا.

وفي كلتا الحالتين، يسعدنا سماع أفكاركم لتحسين هذه المعمارية أو لمعالجة المشكلة كلها بطريقة مختلفة تمامًا!

الحواشي


  1. في السيناريو الاعتيادي، يعالج ReaderTaskConsumer واحد فقط الرسالة. وإذا حدث خطأ وانتهت مهلة VisibilityTimeout، ستلتقطها نسخة أخرى، لذا قد تصل الرسائل فعليًا إلى CacheQueue أكثر من مرة. وعلى الخدمة أن تبذل قصارى جهدها لإرسال كل شيء مرة واحدة بالضبط، لكن مبدأ التسليم مرة واحدة على الأقل له الأسبقية. ↩
  2. عمليًا يجب أن يختلف المنطق قليلًا بالنسبة للجداول التي ستُعاد محاولتها قريبًا جدًا. فإذا كانت المحاولة التالية خلال 15 دقيقة من الآن، أو عند تلك النقطة تمامًا (و15 دقيقة هي أقصى تأخير يدعمه SQS)، فإنها توضع مباشرة في الذاكرة المؤقتة وتُحفظ في DynamoDB مع علامة تخطٍّ skip flag=true. بهذه الطريقة ينبغي أن يصل الجدول دائمًا إلى الذاكرة المؤقتة إذا كان لا يزال ينتمي إلى الدلو نفسه (مثلًا، المحاولة التالية بعد 5 ثوانٍ). وفي الوقت نفسه، إذا انتقل إلى الدلو التالي (مثلًا، المحاولة التالية بعد 12 دقيقة)، فلا ينبغي أن يكرره ReaderTaskConsumer الذي يعالج ذلك الدلو التالي، لأن المستهلِك يستبعد مثل هذا الجدول بناءً على علامة التخطي. ↩
  3. معاملات SSM parameter store إقليمية ولا تُنسخ جاهزةً. وبالتالي عمليًا تحتاج كل منطقة مدعومة إلى معاملها المخصص الذي تستخدمه نسخ الخدمة العاملة في تلك المنطقة. ويجب إبقاء المعاملات الإقليمية متزامنة بعضها مع بعض.
    علاوة على ذلك، يجب تحديد إحدى المناطق صراحةً منطقةَ تولٍّ للتحويل. ويمكن فعل ذلك في المعامل نفسه أو بدلًا من ذلك في مكان ما من إعدادات التطبيق.
    ويمكن أيضًا أتمتة تحديث قيم المعاملات باستخدام نهج قائم على الأحداث، وهو ما يبقيها متزامنة تلقائيًا بين المناطق. غير أن هذا الجزء من المعمارية خارج نطاق هذه المقالة ولا نغطيه هنا. نحن ننظر فقط فيما يحدث بعد تغيّر القيمة ومعرفة المجدوِل بالتحويل. ↩
  4. تبدأ نسخة ReaderTaskProducer الإضافية هذه بالمرور على كل الدلاء الماضية، من بضعة أيام مضت مثلًا حتى الآن، لإنشاء ReaderTasks لكل منها وتغذية الذاكرة المؤقتة. وهذا يقلل خطر فقدان أي جدول، لأن منطقة التولّي ينبغي أن تعالجها (فإذا كان مثلًا انقطاع في SQS هو ما تسبب في التحويل أصلًا، فقد لا تُرسل الجداول المستحقة بين الانقطاع واكتشافه قبل اكتمال تحويل المنطقة). وكما ذُكر سابقًا، يُزال GSI الخاص بالجدول بعد إرساله بنجاح، لذا لن تجلب منطقة التولّي مثل هذه السجلات من قاعدة البيانات. ↩
  5. بمجرد حدوث التحويل و«نقل» جدول إلى منطقة تولٍّ، يُعامل كما لو أنه كان ينتمي إلى منطقة التولّي منذ البداية، أي إذا انطبقت سياسة إعادة المحاولة فإن محاولات التسليم اللاحقة تجري في تلك المنطقة (ما لم تصبح هي أيضًا غير متاحة). ↩
  6. يمكن/ينبغي إدخال تأخير هنا قبل تشغيل المكونات، لمزيد من التأكد من أن شيئًا لا يُرسل مرتين. وهذا مهم خصوصًا لتقليل خطر إرسال الجدول نفسه من عدة مناطق في اللحظة نفسها تقريبًا، لأن ذلك قد يسبب عدم اتساق في البيانات. وكما ورد في قسم المتطلبات، فإن تسليم الجداول متأخرة عن الموعد المتوقع مقبول عند الحاجة، لذا فتأخير بعض الجداول بسبب التحويل/التعافي بين المناطق مقبول لدينا. ↩ ↩