إتقان تجربة المطوّر – دروس من مشروع قائم على الخدمات
تتناول هذه السلسلة عدة مشاريع حديثة لنا من منظور تجربة المطوّر، مبيّنة ما سار جيدًا وما لم يسر كذلك وأين يوجد مجال للتحسين.
بصفتنا شريكًا لعملائنا في تسليم البرمجيات، يتاح لفريقنا بطبيعة الحال العمل على مشاريع كثيرة بأحجام مختلفة وفي مجالات أعمال متنوعة. ويختلف كل منها في تنظيمه وأساليب عمله وتقنياته وأدواته وممارسات البرمجة وتجربة المطوّر (DX) التي يوفرها. أحيانًا ننضم إلى مشاريع ناضجة لديها بالفعل تجربة مطوّر ممتازة مدمجة؛ وأحيانًا نبدأ من الصفر أو ننضم إلى مشاريع في مرحلة مبكرة، حيث يكون بناء تجربة مطوّر جيدة مع العميل أحد أهدافنا. وأخيرًا وليس آخرًا، نُستقدم أحيانًا تحديدًا للمساعدة في تقييم جانب DX في المشاريع القائمة وتحسينه، ورفع مستوى «منصات» عملائنا.
في هذه السلسلة الجديدة، نريد وصف عدة مشاريع عملنا عليها مؤخرًا من وجهة نظر تجربة المطوّر وما يسمى هندسة المنصات – كيف جرى التعامل معها، وما كان رائعًا، وأين كان التقصير، وما اعتقدنا أنه يمكن تحسينه وكيف.
ما تجربة المطوّر؟
تجربة المطوّر مصطلح «جامع» جديد نسبيًا يغطي كل ما يتعلق بمدى سهولة العمل على البرمجيات وبنائها، وكذلك مدى إنتاجية المرء وكفاءته أثناء ذلك. وهو يشمل كل شيء من أدوات التطوير واللغات، مرورًا بالتوثيق وسير العمل والأتمتة، وصولًا إلى النشر وتشغيل البرمجيات وصيانتها في بيئة الإنتاج.
ويُناقش أحيانًا مع هندسة المنصات، لأن الأخيرة تضع الأساس لتجربة المطوّر ببساطة، مركّزة على منصات التطوير الداخلية، والأدوات والأتمتة المطلوبة والمخصصة، وبنية المراقبة (observability)، والتعامل مع الأمن والامتثال على مستوى البنية التحتية، إلخ.
وللمشروع الأول الذي نريد عرضه، لنستعرض بضعة مجالات من تجربة المطوّر فيه وننظر كيف جرى التعامل معها وبناؤها.
توفير البنية التحتية وإدارة التغيير
للمشروع بيئات منفصلة للإنتاج (حسنًا) والتجهيز (staging) والقبول. تُستخدم بيئة التجهيز للاختبارات أثناء التطوير والملاحظات والتكامل، بينما تُستخدم بيئة القبول لاختبار المنصة كلها آليًا قدر الإمكان.
لا يحتاج المطورون إلى التعامل مع الأجزاء منخفضة المستوى من البنية التحتية، لأن فريق SRE مخصصًا، بدعم من فريق المنصة، يدير كل ذلك ويشغّله. وبُني المشروع على معمارية خدمات (service) (وليست خدمات مصغّرة)، فنحن لا نتحدث عن مئات أو آلاف الخدمات المصغّرة، تظهر منها جديدة يوميًا وتحتاج باستمرار إلى توفير موارد وبنية تحتية. ونتيجة لذلك، فإن طلبات إعداد بنية تحتية جديدة وتوفيرها نادرة، وتُعالج عبر تذاكر عادية بأسلوب إدارة التغيير تُرفع إلى الفريق المعني.
الخدمات والشيفرة المخصصة والمشتركة
كما في أي مشروع، توجد مكتبات ونماذج وتجريدات مشتركة توحّد طريقة استخدام الأدوات، إلخ، عادةً على شكل «commons» أو «utils». قد نمزح بشأنها، لكنها في الواقع، بتقديمها طريقة موحدة ومعيارية لاستخدام الأدوات المشتركة بين الخدمات ودعمها للأنماط وتسهيل تطبيقها، تحسّن تجربة المطوّر تحسينًا كبيرًا.
لا يحتاج المطورون إلى قضاء الوقت في إعداد وتهيئة وكتابة تجريداتهم الخاصة فوق الخدمات والمكتبات القائمة (مثل Kafka والإعدادات، إلخ)؛ بل يستخدمون ما يصونه فريق المنصة ويواصل توسيعه بحلول جديدة. ومع الوقت، يقلل هذا من الحمل المعرفي للمشروع ويجعل الخدمات أكثر تجانسًا، فيسهل التنقل بين تطوير خدمات مختلفة.
لكن ما كان يمكن إنجازه بشكل أفضل هو وضع النماذج «المشتركة» في هذا المنتج/المكتبة المشتركة. فهو يسرّع التطوير كثيرًا في البداية، لكنه قد يصبح مشكلة عند بلوغ مستوى معين من التعقيد. فبما أن معظم الخدمات تتشارك بعض نماذج المجال عبر هذه المكتبة المخصصة (مثلًا: Money، إلخ)، فإن إدخال تغييرات أو أشكال جديدة منها لبضع خدمات فقط قد يؤثر بقوة في خدمات لا علاقة لها بالأمر. ويمكن بالطبع التعامل مع هذا، لكن لكل خيار مزاياه وعيوبه، وينبغي الموازنة بينها بعناية.
عملية التسليم
المعماريات القائمة على الخدمات، المدعومة بفرق مخصصة وثقافة هندسية قوية ودعم رائع للمنصة والبنية التحتية، هي ما يجعل التسليم السريع للقيمة ممكنًا. ويجب أن أقول إن العمل بهذه الطريقة متعة حقيقية، دون انتظار إصدارات دفعة واحدة (big-bang) كل ثلاثة أشهر تقريبًا، ومع القدرة على إطلاق التغييرات حتى عدة مرات في اليوم عند الحاجة.
وخطوط التكامل المستمر التي تبني صور الخدمات وتضع لها إصدارات بوسوم git وتخطر مؤلفي التغييرات عند الانتهاء تُزيل كل العمل الشاق عن المطورين. وهذا ليس «تسليمًا مستمرًا» بعد – فلا يزال للمهندس الكلمة الأخيرة، يقرر متى يضع وسمًا لنشر جديد ويضغط زر «Deploy» – لكن التجربة سلسة جدًا بفضل فريقي SRE والمنصة اللذين يوفران أدوات تؤتمت هذا جزئيًا في الطريق إلى النشر المستمر الكامل.
وبالطبع، لا يعني النشر المتكرر بالضرورة الإصدار المتكرر، خاصة عندما تكون الوظائف غير مكتملة. وهنا تأتي أعلام الميزات (feature flags، وتُسمى أيضًا feature toggles) للإنقاذ! فهي تُستخدم بكثافة لإخفاء الميزات التي لا تزال قيد التطوير عن المستخدمين النهائيين، مع السماح بنشرها في الإنتاج قطعة قطعة.
ومن الأمور الممتازة الأخرى الاستخدام الواسع للإطلاق التدريجي – فتتيح ميزتك الجديدة اللامعة أولًا للمستخدمين الداخليين، ثم لجزء من المستخدمين خارج الشركة، وتواصل طرحها على دفعات مع مراقبة عملية التبني ومقاييس الخدمة.
البدء في تطوير الخدمة
وبالحديث عن المقاييس، تأتي كل خدمة مزودة بتقارير مدمجة لمجموعة أساسية من المقاييس من JVM والحاوية نفسها (المعالج والذاكرة وGC والخيوط، إلخ). وفوق ذلك، تدمج المكتبة المشتركة المذكورة سابقًا المقاييس والتتبع في كثير من التجريدات التي توفرها، فيصبح إيصال كل المؤشرات الحيوية وآثار التتبع الخاصة بالتطبيق إلى لوحات المراقبة أمرًا بديهيًا عمليًا (إحصاءات نقاط نهاية gRPC، ومراقبة مواضيع Kafka، وحالة عنقود Akka، ومجمّعات قواعد البيانات واستدعاءاتها، إلخ). وبهذا الإعداد، لا تتطلب إضافة مقاييس جديدة خاصة بالخدمة سوى بضعة أسطر من الشيفرة.
فكيف تصبح الخدمة الجديدة جاهزة للتطوير؟ كما ذُكر، ولأن الخدمات أكثر خشونة في تقسيمها، فلا تلزم خدمة جديدة كثيرًا، ولذلك لا يوجد «توفير» آلي يقوم بكل العمل الشاق. بل، ولأن حزمة التقنيات موحدة إلى حد كبير، يوجد ببساطة مستودع خدمة نموذجي أدنى، يضم كل المزايا المذكورة أعلاه، ينسخه المطوّر ثم يبني عليه.
وهذا يعني أيضًا أن على المرء ضبط كل المنتجات المتعلقة بالنشر (مخططات helm، إلخ)، وهو ليس العمل الأمتع، لكنه في معظمه مرة واحدة. ويمكن بالتأكيد أتمتته بالكامل، مثلًا بنموذج ويب أو أداة سطر أوامر، لكن عند موازنة الاستثمار والصيانة مع الاحتياجات الفعلية ومدى تكرار استخدامه، لا يكون في صدارة أولويات خارطة الطريق.
تشغيل الخدمات وصيانتها
بمجرد أن تصبح الخدمة حية وتعالج طلبات المستخدمين في الإنتاج، نريد أن يُخبَرنا كلما حدث خطأ – أخطاء فاتت الاختبارات، وحالات حدّية لم يغطها أحد، ومشكلات في الإعدادات أو التكامل، إلخ.
ولتمكين ذلك، لكل خدمة وفريق إعداد تنبيهات خاص يرسل إشعارات إلى قنوات Slack المقابلة. وتشمل هذه التنبيهات ما تثيره شيفرة الخدمة نفسها – حيث توفر المكتبة المشتركة مرة أخرى مجموعة أدوات لإطلاق الإنذارات برمجيًا بسهولة – وكذلك التنبيهات الواردة من المنصة (تجاوز حدود الذاكرة، وحلقات إعادة التشغيل، إلخ). ولاستكشاف الأخطاء، تتكامل كل القطع المهمة: السجلات وآثار التتبع والمقاييس، ما يجعل جمع البيانات للتحليل أبسط.
وإلى جانب التنبيه الآلي، توجد قنوات Slack تُوجَّه إليها المشكلات المهمة التي يلاحظها الموظفون أو طلبات دعم العملاء لاستجابة سريعة. وقد بُنيت مجموعة من سير عمل Slack حول هذه الطلبات، بحيث تُبلَّغ الملكية والتقدم بوضوح.
قاعدة المعرفة
فيما يتعلق بالتشغيل في الإنتاج، لا يوجد بعد كتالوج خدمات متكامل مخصص مثل Backstage من Spotify وغيره، وإن كان هذا المجال قيد البحث. وفي مكانه، يضم ويكي الهندسة مساحة منظمة تعمل ككتالوج للخدمات.
لكل خدمة صفحتها الخاصة بالمعلومات الأساسية: وصف موجز لما تفعله، والأدوات التي تستخدمها، والفريق والمدير المالكان لها، وكيفية التعامل مع بعض الحوادث التي قد تقع لكنها لم تُصلح إصلاحًا سليمًا بعد، أي ما يُعرف بـ runbooks. ويتضمن كل runbook مجموعة واضحة من التعليمات (بالأوامر المطلوبة ولقطات الشاشة، إلخ) ينبغي أن يتمكن أي مهندس يتولى المشكلة من اتباعها، وفي أسوأ الأحوال قنوات التصعيد عندما لا ينجح الإجراء أو يفشل.
وللصورة الكبيرة للنظام، يوجد مكان يضم معظم المعمارية والتكاملات على شكل مخططات معمارية C4، وهي المعيار الفعلي لوصف هذه الهياكل. وهو يتيح التنقل السريع إلى مزيد من التفاصيل التقنية عن الخدمات ومحيطها.
وللأسف، يجب تحديث كليهما (runbooks والمخططات) يدويًا بعد كل تغيير، ولهذا يجري البحث المذكور سابقًا في أدوات الأتمتة. فالسوق يقدم أدوات كثيرة و«منصات لبناء المنصات»، وقد يستغرق العثور على واحدة ليست معقدة جدًا لكنها تمثل تحسينًا كبيرًا يكفي لتبرير الاستثمار وقتًا.
فريقا SRE والمنصة
أخيرًا وليس آخرًا، بضع كلمات عن الأشخاص وراء بعض هذه التحسينات. قد لا يكون الفريق المنفصل ضروريًا في البداية تمامًا، لكن مع اكتساب المشروع زخمًا وتزايد تعقيده حتمًا، يصبحون لا غنى عنهم. وللاقتباس من تصنيف «Team Topologies»:
«فريق المنصة: مجموعة مؤلفة من أنواع فرق أخرى تقدم منتجًا داخليًا جذابًا، يسرّع التسليم من قبل الفرق المتوائمة مع التدفق (Stream-aligned)»
ودورهم ضمان أن تتمكن الفرق التي تقدم ما يسمى «القيمة التجارية» من العمل بأقصى سرعة. فهم يعتنون بالبنية التحتية والتوفير والصيانة، ويوفرون الأدوات المخصصة ويبنونها عند الضرورة، ويتتبعون تحديثات التبعيات الأساسية عبر الخدمات، ويؤتمتون كل ما يستحق الأتمتة، بحيث تستغرق المهام وقتًا أقل ويقل مجال الخطأ البشري.
وبفضلهم، فإن معظم الأدوات موحدة ومعروفة للمهندسين في كل فريق خدمة، بدلًا من أن تكون كومة من نصوص الفرق محلية الصنع أو أدوات مخترقة على عجل لا يصونها أحد على المدى الطويل. ومع ذلك، لا يعني هذا أن المطورين العاديين لا يمكنهم المساهمة في الأدوات و«المنصة» نفسها. فجزء كبير من الأدوات نشأ في الواقع من مشكلات حلّتها الفرق داخليًا. والتواصل بين فريق المنصة والفرق الأخرى أساسي هنا لتجنب سوء الفهم وبناء أو توحيد أشياء خاطئة – ففي النهاية كل ذلك يخدم تحسين تجربة المطوّر.
الخلاصة
تجربة المطوّر الجيدة لا تُبنى دفعة واحدة؛ إنها عملية مستمرة. وليست مسألة طرح أداة تحل لنا كل مشكلة. فهي تتطلب وقتًا وخبرة ومعرفة، وعادةً أشخاصًا مخصصين مهرة يعرفون ماذا يبنون وكيف، من أجل تمكين الفرق المتوائمة مع التدفق وخدمتها جيدًا.
وفي المشروع الموصوف هنا، نشأ فريق المنصة ولا يزال ينمو عضويًا، مدفوعًا بالاحتياجات الفعلية للفرق الأخرى لا بفكرة أن امتلاك فريق منصة موضة الآن لأن كل الأسماء الكبيرة تملك واحدًا. وبهذا النهج، لا تُسلَّم إلا الأدوات والتحسينات التي تستحق العناء حقًا.
قد لا تكون هذه التحسينات فورية، لكنها على المدى الطويل ستعالج أكثر جوانب التطوير اليومي إزعاجًا، مما يجعل تسليم الميزات أكثر متعة وبساطة.