بناء خطوط معالجة بيانات فعّالة باستخدام Elixir وBroadway
ما هو Broadway في Elixir؟ اكتشف ما تستطيع هذه المكتبة فعله – فهي تتيح لك استقبال البيانات وبناء خطوط لمعالجتها!
في هذا المقال سأستعرض ما يستطيع Broadway فعله – وهو نهج Elixir لبناء خطوط استقبال البيانات ومعالجتها.
يتيح Broadway للمطورين بناء خطوط البيانات وإدارتها عبر تركيب طوبولوجيات معقدة فوق GenStage. وفي جوهره يضيف Broadway طبقة تجريد أخرى فوق GenStage تبسّط كثيراً طوبولوجيات GenStage المعقدة (الضغط العكسي والتجميع في دفعات والإيقاف الآمن على وجه الخصوص). وهو يدعم المعالجة المتزامنة متعددة المراحل للبيانات القادمة من مصادر كثيرة، مثل طوابير الرسائل ومنصات البث والخدمات السحابية. يتولى Broadway عنك تنسيق الخط والتزامن وتحمّل الأعطال والضغط العكسي. وقد بُني ليكون قابلاً للتوسع وموثوقاً وسهل الاستخدام في أعمال استقبال البيانات ومعالجتها.
أهم ميزات Broadway المدمجة:
- الضغط العكسي (Back pressure)
- الإقرار التلقائي (Automatic acknowledgment)
- تحمّل الأعطال (Fault tolerance)
- الإيقاف الآمن (Graceful shutdown)
- الاختبار المدمج (Built-in testing)
- معالجة مخصصة للإخفاقات (Custom failure handling)
- التجميع في دفعات الثابت والديناميكي (Static and Dynamic batching)
- الترتيب والتقسيم (Ordering and Partitioning)
- تحديد المعدل (Rate Limiting)
- المقاييس (Metrics)
لاستكشاف بعض هذه الميزات، سنبني تطبيق Phoenix صغيراً يستهلك الرسائل من اشتراك في Google PubSub ويمرّرها عبر خطنا، وسيتضمن الخط معالجة مسبقة للرسائل على شكل دفعات ومعالجة الرسائل منفردة ومعالجة دفعات ثابتة ومعالجة مخصصة للإخفاقات وتقسيماً. وفي النهاية سنضيف Broadway Dashboard، الذي يتيح لنا تصوّر الخط ورصد الاختناقات المحتملة ومعدل مرور الرسائل في الوقت الفعلي.
الإعداد الأساسي
بيانات اعتماد GCP والاشتراك في PubSub
إذا أردت متابعة أمثلة الشيفرة، فعليك أولاً إنشاء حساب خدمة Google باستخدام Google IAM. حساب الخدمة مطلوب لإنشاء اشتراك في الموضوع المتاح للعموم الذي يضم أحداث سيارات الأجرة في مدينة نيويورك. لن أشرح هنا كيفية إعداده في وحدة تحكم Google. اتبع ببساطة خطوات إعداد الاشتراك.
إذا كنت تعرف Google GCP مسبقاً، فالخطوة الأساسية هي إنشاء اشتراك في موضوع موجود: projects/pubsub-public-data/topics/taxirides-realtime.
انتبه إلى أن اشتراكك سيتلقى عدداً هائلاً من الرسائل، لذا أنصح بشدة بحذف كل الموارد التي أُنشئت لهذا الدرس بعد أن تنتهي من التجريب.
بمجرد حصولك على اسم الاشتراك وملف .json الذي يحوي بيانات اعتماد حساب الخدمة، تكون جاهزاً.
تطبيق Phoenix
نبدأ بتطبيق Phoenix أساسي. لا تتطلب خطوط Broadway وجود Phoenix، لكن الإعداد بهذه الطريقة يجعل استخدام Phoenix Dashboard أبسط بكثير.
لا يستخدم هذا الدرس أي واجهات html ولا قواعد بيانات، لذلك لا يوجد ecto.
بعد توليد هيكل التطبيق، علينا إضافة الاعتماديات المطلوبة. ضع ما يلي في ملف mix.exs:
ثم شغّل mix deps.get ليحمّل تطبيق Phoenix الاعتماديات التي يحتاجها.
خط استقبال البيانات الأساسي
يبدو التنفيذ النموذجي لسلوك Broadway (الذي يمكنك أيضاً إيجاده في صفحات Broadway على github) كما يلي:
start_link هي المكان الذي تضبط فيه المنتِج (producer) وتعرّف الطوبولوجيا الكاملة لخط المعالجة. يمكنك إما كتابة منتِج خاص بك أو اختيار أحد الموصّلات الموجودة:
- Amazon SQS
- Apache Kafka
- Google Pub/Sub
- RabbitMQ
سنعتمد هنا على موصّل Broadway الرسمي لـ Google Pub/Sub.
عندما تستخدم المنتِج ومجمّع الدفعات (batcher) الافتراضيين مع ضبط التزامن على 1،
تبدو طوبولوجيا خطك للإعداد أعلاه كما يلي:

شجرة إشراف بهذه البساطة تمنحك في الأساس معالجاً واحداً ومجمّع دفعات واحداً يعملان على خطك. أي منطق تضعه في handle_message يعمل داخل ممثّل (actor) المعالج لديك، وأي شيء تفعله في handle_batch يُعالَج لاحقاً في شجرة الإشراف بواسطة مجمّع الدفعات. تُقَرّ كل رسالة يعيدها مجمّع الدفعات تلقائياً، مع أنه يمكن تجاوز هذا السلوك – وسنعود إلى ذلك لاحقاً.
بطبيعة الحال، طوبولوجيا كهذه لا تستفيد من أفضل أداة بين أيدينا، وهي التزامن الذي توفره Elixir وGenStage. ما يجعل Broadway رائعاً هو أنك تستطيع تعريف طوبولوجيات أعقد بكثير بمجرد تغيير الإعداد في start_link. فيما يلي الطوبولوجيا التي سنبنيها في هذا الدرس:

حرصاً على وضوح المخطط، لا يتضمن معالجة الأخطاء المخصصة ولا التقسيم اللذين سنضيفهما إلى المشروع؛ ومع ذلك، لنبدأ بوصف ما نحن على وشك بنائه.
البيانات
بدايةً، للتوضيح والمرجعية، إليك شكل رسالة مثال واحدة من اشتراك Google:
سيقوم خطنا بما يلي:
- التجزئة (sharding) على مستوى المعالج بحسب
ride_id، بحيث تصل رحلة بعينها (ride_id) دائماً إلى نفس نسخة المعالج. - المعالجة المسبقة للرسائل بطريقة معالجة مخصصة
prepare_messages(messages, _context)، التي تحلل في حالتنا سلسلة JSON إلى خريطة (map) في Elixir. - إرسال كل رسالة إلى مجمّع الدفعات المناسب بحسب
ride_status - معالجة الأخطاء المخصصة بـ
handle_failed(messages, _context)كلما كانت قيمةride_statusغير معروفة - طباعة النتائج في كل مجمّع دفعات وإقرار الرسالة.
شرح طوبولوجيتنا
كما توضح الصورة السابقة، رفعنا عدد المعالجات التي تتولى رسائلنا إلى 6، ثم تُوجَّه كل رسالة إلى مجمّع دفعات معين بحسب محتواها. يرسل لنا Google Pub/Sub 3 أنواع من الرسائل:
- حدث الاستلام (Pickup event)
- حدث الطريق (Enroute event)
- حدث التوصيل (Dropoff event)
تُعالَج دفعات كل نوع في مجمّعات دفعات منفصلة.
النقطة الأساسية أن التجميع في دفعات يتيح لنا رفع الإنتاجية أكثر عبر معالجة كثير من البيانات في عملية واحدة، مثل إدراج عدة رسائل في قاعدة البيانات دفعة واحدة بعد أن يعالجها المعالج ويجهزها في handle_message. في هذا الدرس نكتفي بطباعة محتوى الرسائل المعالجة وإقرارها.
نعلم أن معظم الرسائل في التدفق القادم من Google هي enroute، فلا يحتاج pickup وdropoff إلى كثير من معالجات الدفعات، لأنهما يتوليان حصة صغيرة فقط من العمل؛ ولهذا ضُبط concurrency لمجمّعَي الدفعات pickup وdropoff على 1. ويحصل مجمّع enroute على 4 معالجات منفصلة لعمله.
الإعداد بسيط جداً: كما ذكرنا، هناك 6 معالجات تتلقى البيانات من منتجي Pub/Sub و3 دفعات منفصلة، لكل منها عدد المعالجات الخاص بها. يمكنك تعديل هذه الأرقام بحرية ومراقبة الخط مباشرة في Broadway Dashboard لرصد الاختناقات المحتملة بسرعة وإعادة تشكيل طوبولوجيتك عند الحاجة.
شرح الشيفرة
مع أن الخط معقد نسبياً، لم نحتج إلا إلى عدد قليل من دوال Elixir لتنفيذ منطقه. قبل أن ننتقل إلى شيفرة Elixir الفعلية، لننظر كيف يُضبط الاتصال بمشترك Google Pub/Sub لدينا:
المعالجة المسبقة
بواسطة الدالة prepare_messages، يتيح لك Broadway معالجة الرسائل مسبقاً على شكل دفعات. هنا يمكنك تحليل الرسالة أو إثراؤها ببيانات إضافية قبل تمريرها إلى المعالج في شجرة المعالجة – على سبيل المثال بإضافة بيانات المستخدم المحمّلة من قاعدة البيانات.
الأمر المهم في prepare_messages أنها تعمل على دفعة من الرسائل وليس على رسالة واحدة، وهذا قد يرفع الإنتاجية إذا استطعنا تحميل سجلات كثيرة من قاعدة البيانات باستدعاء واحد. وهناك سطر آخر جدير بالانتباه هو Broadway.Message.update_data، الذي يحدّث الحقل data في بنية رسالة Broadway. تنتقل الرسائل المعادة من prepare_message إلى المعالجات، حيث تعمل handle_message لكل منها.
قد تعيد Jason.decode أنواعاً مختلفة من القيم (إما :ok أو :error)، وتُعالَج هذه بتنفيذين منفصلين لـ handle_message بفضل مطابقة الأنماط القوية في Elixir.
معالجة الرسالة
عرّفنا فعلياً نسختين من handle_message، والتي تعمل منهما تعتمد على ما أعاده منطق prepare_messages. عندما ينجح تحليل JSON، تُوجَّه الرسالة إلى مجمّع الدفعات المناسب؛ وإلا نعتمد على معالجة الأخطاء المخصصة في Broadway ونعلّم الرسالة على أنها فاشلة. تُعالَج الرسائل الفاشلة بدالة إضافية نصفها أدناه.
معالجة الفاشل
ينفّذ تطبيقنا مطابقة الرسائل الفاشلة الموسومة بـ ‘invalid-data’ فقط، ويطبعها ويقرّها. بهذه الطريقة يمكنك بناء معالجة الأخطاء الخاصة بك واختيار ما يحدث مع كل نوع من الأخطاء – مثل الإقرار أو إعادة الإرسال أو التخزين للتحليل لاحقاً.
معالجة الدفعة
بعد أن تعالج handle_message الرسائل، تُجمَّع في دفعات مرة أخرى وتُعالَج لاحقاً في الشجرة داخل مجمّعات الدفعات. استخدمنا هنا التجميع الثابت: أسماء مجمّعات الدفعات مدرجة في الإعداد ولكل منفّذ مجمّع دالته الخاصة. تُقَرّ الرسائل التي تعيدها مجمّعات الدفعات تلقائياً.
التقسيم
لجعل الأمر أكثر إثارة، أضفنا شكلاً من التقسيم. يمكن تعريف التقسيم للمنتِجين ولمجمّعات الدفعات: إما بدالتين منفصلتين للاثنين أو لأحدهما فقط، أو بدالة partition واحدة توضع في إعدادك بعد إعدادات المعالجات ومجمّعات الدفعات ويستخدمها الاثنان. في الحالة الأخيرة، تذكّر أن الرسالة التي تصلك في partition هي أولاً تلك الداخلة إلى المنتِج ثم لاحقاً تلك الداخلة إلى مجمّع الدفعات، فكن حذراً إذا عدّلت الرسائل أثناء العمل في دالة handle_message.
يجب أن تعيد الدالة partition عدداً صحيحاً؛ وإذا لم يكن في جسم رسالتك ما يصلح لذلك، يمكنك حساب تجزئة (hash) لسلسلة نصية بدالة Erlang المدمجة :erlang.phash2.
تكامل Broadway
بعد تنفيذ كل الدوال في وحدتنا، يمكننا ربطها بتطبيق Phoenix. تلزم بعض التغييرات في ملفات Phoenix المولّدة الموجودة، بدءاً من application.ex
يجب إضافة وحدة Broadway المخصصة BroadwayPubSubSimple كابن إلى قائمة أبناء تطبيق Phoenix.
Broadway Dashboard
كما ذكرنا في البداية، نضيف Broadway Dashboard لتصوّر طوبولوجيا خطنا. شرط أن تكون أضفت الاعتمادية كما وُصف أعلاه، لا تحتاج إلا إلى تعديل route.ex وإضافة additional_pages إلى لوحة Phoenix الحية المدمجة. نتيجة لذلك تظهر علامة تبويب جديدة في لوحة Phoenix المعتادة يمكنك فيها مراقبة خطوطك.
تشغيل التطبيق
بعد تنفيذ وحدة Broadway وإضافتها إلى Phoenix، مع بعض الإعدادات الإضافية لـ Broadway Dashboard، يمكنك تشغيل التطبيق ومشاهدة الخط يعالج الرسائل مباشرة.
أولاً، اعرض بيانات اعتماد Google Pub/Sub كمتغير بيئة بتصديره في صدفتك، ثم شغّل تطبيق Phoenix:
تبدأ معالجة الرسائل من الاشتراك فوراً. افتح لوحة Phoenix وانتقل إلى علامة التبويب Broadway pipelines لمشاهدة طوبولوجيتنا أثناء العمل.
لإظهار التقسيم أثناء العمل، رشّحت السجلات لـ ride_id واحد (هنا ”732c74e0-d54c-439c-b950-340f30c201c3”)
بما أن كل سطر في السجل يتضمن PID، يمكننا أن نرى أن ride_id بعينه يعالجه دائماً نفس المعالج. يُضبط التقسيم على مستوى المعالج فقط، لذا فبمجرد انتقال الرسائل في الشجرة إلى طبقة مجمّعات الدفعات لا تعود الأقسام مهمة ويعالج ممثلو دفعات مختلفون نفس ride_id.
ملاحظات ختامية
يحل Broadway بأناقة مسألة كيفية هيكلة أشجار الإشراف، ويمنحك التزامن وتحمّل الأعطال والميزات الأخرى المذكورة سابقاً جاهزة للاستخدام. وبينما الخط الذي بنيناه بسيط نسبياً ويوضح وظائف Broadway الأساسية، لم نتناول ميزات مهمة كثيرة، مثل التجميع الديناميكي في دفعات والإيقاف الآمن وتحديد المعدل، على سبيل المثال لا الحصر. وستنتظر هذه مقالات مدونة قادمة في مغامرتي المثيرة مع Broadway.