تقدير المشروع
← كل المقالات

كيف ينبغي أن تتعامل مع التوسع التلقائي في ECS؟

أتقن التوسع التلقائي في ECS: اكتشف كيف تحسّن استخدام المعالج وتتعامل مع ذروات الحركة وتضبط عناقيدك لأفضل أداء في السحابة.

7 دقائق قراءة
Kafkaمشاركة المعرفةGrafanaقابلية التوسع

كلما جاء ذكر الخدمات السحابية في الحديث، تكاد كلمة «قابلة للتوسع» تظهر حتمًا. ومقولة «الخدمات السحابية قابلة للتوسع» صحيحة بالتأكيد. فهي تبسّط التوسع وتتولاه غالبًا بشكل جاهز. لكننا أحيانًا نحتاج إلى أخذ زمام الأمور وتحديد كيف ينبغي أن يتصرف التوسع بدقة. هذا هو الوضع الذي واجهه فريقنا عند توسيع الخدمات المصغّرة العاملة في عنقود ECS لدينا. دعوني أشارككم كيف سارت الأمور.

نظرة عامة على المنتج

باختصار – نحن فريق صغير من ثلاثة مطورين نتقاسم مهام الخلفية والواجهة الأمامية والعمليات أثناء بناء منصة بيانات. حركتها ليست مرتفعة باستمرار. بل نتلقى بانتظام ذروات حركة حين ينفذ العملاء أحمال عمل كبيرة، مثل رفع ملفات كثيرة. ومن وجهة نظر العمل، هدفنا معالجة هذه الأحمال بأسرع ما نستطيع ليتمكن المستخدمون من بدء العمل على البيانات التي رُفعت للتو.

النظام غير متزامن وقائم على الرسائل، وتتوزع المسؤوليات فيه على خدمات مصغّرة كثيرة. يعمل MSK (خدمة Kafka المُدارة من AWS) كسجل رسائل دائم، وRDS كقاعدة بياناتنا العلائقية الرئيسية، وOpenSearch (خدمة Elasticsearch المُدارة من AWS) كالمحرك الرئيسي وراء قراءة البيانات في واجهات الويب لدينا.

الإعداد الأولي والمشكلات

في البداية كانت كل خدماتنا تعمل في عنقود ECS واحد بسياسة توسع تلقائي مشتركة. كان التوسع يعتمد على استخدام الذاكرة – فحين يتجاوز استخدام الذاكرة 80% تتوسع الخدمة، وحين ينخفض عن 20% تتقلص. وكان هذا الإعداد الافتراضي مستخدمًا أيضًا في عناقيد أخرى تستضيف منتجات أخرى لعميلنا.

ومع انضمام مزيد من العملاء وتكرار ذروات الحركة، تبين أن إعدادنا ليس جيدًا بما يكفي. فقد كشفت المقاييس أن استخدام الذاكرة لم يكن مشكلة فعلية لخدماتنا المصغّرة؛ بل كان ما نواجهه هو تنازع على المعالج (CPU contention). لم يكن لأي من الخدمات حدود صارمة للذاكرة أو المعالج، فكان بوسع مهمة حاوية واحدة استهلاك كل موارد نسخة EC2 – خاصة عند الذروات. ونتيجة لذلك، لم تكن خدمات أخرى تستجيب أحيانًا لفحوص الصحة الآلية من AWS وتنتهي في حلقات إعادة تشغيل وإعادة محاولة.

وأحيانًا، حين كنا نعرف أن ذروة حركة قادمة، حاولنا استباقها بإضافة نسخ EC2 ومهام يدويًا إلى العنقود. كان حلًا سريعًا، لكنه عنى أيضًا عملًا إضافيًا وتوترًا إضافيًا. وقد ساعد أحيانًا، لكنه لم يعالج المشكلات الأساسية. بقي تنازع المعالج، ولم نكن نعرف كم مهمة إضافية من كل نوع ينبغي تشغيلها، ولم يكن لدينا وقت لمراقبة النتائج والتعديل أثناء العمل.

تحديد عوامل التوسع

وجدنا أخيرًا الوقت لمعالجة مشكلات التوسع التلقائي. الخطوة الأولى هي تحديد عوامل التوسع الصحيحة لنشرك، وأفضل طريقة لذلك هي النظر في مقاييسك وفهم شيفرتك. وكما قلت سابقًا، كنا نعرف بالفعل أن المعالج عنق زجاجة، فصار أول عامل توسع لدينا. أما العامل الثاني، وهو نموذجي للأنظمة القائمة على الرسائل، فكان تأخر المعالجة (lag) في تدفق الأحداث – وهو لدينا تأخر مجموعات المستهلكين (consumer group lag) على بعض مواضيع Kafka الأساسية.

ولاحظنا أيضًا أن بعض الخدمات تتعامل في الغالب مع طلبات HTTP تؤول إلى قراءات وكتابات بسيطة في قاعدة البيانات. وتحتاج هذه إلى موارد أقل من الخدمات التي تؤدي عملًا كثيف استخدام المعالج، مثل معالجة الصور، والتي تعتمد أكثر على تأخر مجموعات المستهلكين.

قررنا فصل هاتين المجموعتين في عنقودي ECS: واحد للخدمات كثيفة استخدام المعالج وآخر للخدمات الخفيفة. وهذا يتيح لنا استخدام استراتيجيات توسع تلقائي مختلفة ومراقبة كل عنقود على حدة.

تحديد حدود الموارد

يمكن حل تنازع المعالج بوضع حدود صارمة للموارد على مهام ECS. لكن هذا يجلب بعض المفاضلات والعواقب المهمة. أولًا، تضيع الموارد حين تكون المهمة خاملة. وعلاوة على ذلك، من الصعب جدًا اختيار قيم جيدة للحدود الصارمة – فعليك أن تعرف، أو حتى تقيس، مقدار المعالج والذاكرة الذي تتطلبه خدمة معينة في أحمال عمل مختلفة.

اخترنا بدلًا من ذلك حدودًا مرنة (soft limits) لمهام حاويات ECS لدينا. ما الفرق؟ مع الحدود المرنة، يمكن للمهام التي لها نسبة الموارد نفسها، مثل 0.5 vCPU، تقاسم هذه الموارد فيما بينها عند الحاجة. لنفترض أن لكل من مهمتين حدًا مرنًا قدره 0.5 vCPU، وإحداهما خاملة بينما تؤدي الأخرى عملًا كثيف استخدام المعالج: يمكن للمهمة المشغولة أن تستعير مؤقتًا الـ 0.5 vCPU غير المستخدمة من المهمة الخاملة. وحين تستيقظ المهمة الخاملة، تحصل ببساطة على المعالج الذي تحتاجه – دون تنازع أو تنافس. ويؤدي هذا إلى استغلال أفضل للموارد عمومًا ولا يتطلب الدقة أو الإعداد الصارم الذي تتطلبه الحدود الصارمة.

العنقود العادي

كما ذكرت، قسّمنا خدماتنا بين عنقودي ECS. يستضيف العنقود «العادي» الخدمات التي تتعامل أساسًا مع حركة HTTP وتتوسع بحسب استخدام المعالج. وعمليًا نادرًا ما يشغّل هذا العنقود نسخ EC2 تتجاوز حده الأدنى الأولي. وفي الأحمال الثقيلة، تتوسع بضع خدمات HTTP أساسية تدعم أهم عمليات العمل، مثل تلك التي تتعامل مع رفع الملفات وتحليلها، بنسختين أو نحو ذلك، وهذا كل ما يحدث عادةً.

تنفذ معظم هذه الخدمات عمليات قاعدة بيانات علائقية على نسخة RDS لدينا، التي تتشاركها الخدمات المصغّرة، وتملك كل خدمة مخطط RDS خاصًا بها. وأثناء التوسع وصلنا أحيانًا إلى حد اتصالات قاعدة البيانات، لأن كل مهمة تحتفظ بمجمّع اتصالات (connection pool) خاص بها. وحللنا ذلك بإضافة RDS Proxy إلى بيئتنا، الذي يدير الاتصالات ويوزعها بكفاءة أكبر. والجانب السلبي زيادة طفيفة في زمن الاستجابة. وللتعويض، تظل بضع خدمات أساسية حاسمة لأداء أحمال العمل تتصل بـ RDS مباشرة، بينما توجّه الخدمات الأقل أهمية أو الأقل استخدامًا حركة قاعدة بياناتها عبر الوكيل. ومنذ ذلك الحين لم نواجه أي مشكلات في الاتصالات. وفي مرحلة ما في المستقبل قد نوسّع نسخة RDS عموديًا، أو نحلل الحمل ونستفيد ربما من نسخ القراءة (read replicas) في RDS.

عنقود الحوسبة

يشغّل العنقود الثاني خدماتنا كثيفة استخدام المعالج ويتوسع أساسًا بحسب تأخر مجموعات المستهلكين. وافتراضيًا تبدأ كل خدمة بمهمة واحدة قيد التشغيل. وهذا فعليًا وضع الاستعداد – إذ نستطيع معالجة بعض رسائل Kafka دون توسع حين يكون الحمل صغيرًا. ويتوسع هذا العنقود بشكل أكثر جرأة من العنقود العادي.

وبعبارة أخرى، حين يبقى التأخر فوق عتبة معينة لفترة محددة، تتوسع الخدمات بخطوات أكبر (تختلف من خدمة إلى أخرى)، فتنتقل من نسخة مهمة واحدة إلى 5، ثم إلى 10 وهكذا. ولأننا لا نطبق أي استراتيجية تجزئة دقيقة على مواضيع Kafka لدينا، يمكن توقع أن تتوزع الرسائل بشكل متساوٍ تقريبًا، لذا فإسناد الأقسام (partitions) أثناء التوسع ليس مصدر قلق. ولذلك يُحدّ الحد الأقصى لعدد نسخ المهام بعدد الأقسام لكل موضوع، وهو لدينا 30. والتقلص بسيط – فبمجرد أن ينخفض تأخر مجموعة المستهلكين إلى 0، نعود إلى نسخة مهمة واحدة.

الضبط الدقيق

للاستقرار على عتبات التوسع وأحجام الخطوات الصحيحة، اختبرنا إعدادات مختلفة كثيرة لنرى كيف تتفاعل المنصة. وبصراحة لا يوجد اختصار – فالأمر يتطلب وقتًا واختبارًا عمليًا بأحمال عمل حقيقية. أجرينا اختبارات حمل في بيئة staging لدينا ثم لاحقًا في الإنتاج أيضًا.

وفي هذه المرحلة تصبح المراقبة الجيدة ضرورية. المقاييس الرئيسية التي نستخدمها لتقييم فعالية التوسع هي استخدام المعالج والذاكرة – على مستوى العنقود ولكل خدمة – وعدد نسخ EC2 والمهام، وأزمنة الاستجابة، وتأخر مجموعات المستهلكين. ومن المفيد أيضًا مراقبة نقطة الفشل الوحيدة لديك،، مثل قواعد البيانات، لأنها قد تواجه حملًا أثقل مما اعتاد فريقك رؤيته عندما تتوسع المنصة. وفي حالتنا وجدنا وحسّنا عددًا من استدعاءات SQL في الخدمات كانت ترفع استخدام المعالج على نسخة RDS المشتركة.

وفي النهاية توصلنا إلى إعداد خدمنا جيدًا. ففي أحمال الرفع الثقيلة، مع إرسال دفعات كبيرة من الملفات إلى المنصة، استطاع عنقود الحوسبة لدينا مواكبة كل المعالجة غير المتزامنة وقدّم جميع النتائج تقريبًا بمجرد اكتمال الرفع. ويعتمد الضبط الدقيق بشدة على طبيعة سير العمل الذي تريد توسيعه. كل مشروع مختلف، لذا فإن فهم نظامك فهمًا شاملًا منذ البداية هو المفتاح.

الخلاصة

استغرقت العملية كلها، بما فيها الضبط الدقيق واختبارات الحمل، أكثر من شهر. وتعلمنا الكثير عن خدماتنا وعن التوسع التلقائي في ECS نفسه. ومن جانب العمل، حسّنا الأداء العام للمنصة، وهو ما يؤثر مباشرة في كيفية استخدام عملائنا للمنتج. وبصفتنا مطورين، حصلنا أيضًا على راحة البال: فذروات الحركة أقل إجهادًا، ولم نعد مضطرين إلى التدخل ومحاولة إصلاح الأمور يدويًا.

في رأيي، أهم خطوتين في العمل على التوسع التلقائي في ECS هما إيجاد عوامل التوسع الصحيحة، أي فهم حمل عملك، والضبط الدقيق لمعاملات التوسع. كل منتج مختلف وبعض الأمور لا تُعمَّم جيدًا – فلا توجد إجابة واحدة تناسب الجميع. لا تستعجل، وثق بمقاييسك ونتائج اختبارات الحمل، وستصل في النهاية إلى المكان الصحيح.

شكرًا لقراءتكم. آمل أن يكون هذا المقال القصير مفيدًا لكم.