تقدير المشروع
← كل المقالات

MLOps 101 – البدء مع MLOps

ستجد في هذه المقالة تفاصيل تقنية وأدوات تساعدك على تطبيق عمليات تعلّم الآلة (MLOps) عمليًا.

8 دقائق قراءة
تعلّم الآلةMLOpsGCPAWSNeptunewandb

ستجد في هذه المقالة تفاصيل تقنية وأدوات تساعدك على تطبيق عمليات تعلّم الآلة (MLOps) عمليًا. سأبدأ بوصف مبادئ MLOps وكيفية تطبيقها، ثم أستعرض مستويات نضج MLOps في المشاريع، وأختم بمثال على نهج Revolut.

مبادئ MLOps

دعني أبدأ بشرح الركائز الأساسية لـ MLOps، التي تقودك نحو نظام تعلّم آلة متين وناضج.

1. اجعل إدارة الإصدارات وقابلية إعادة الإنتاج أولوية

في بداية مشروع تعلّم الآلة، لا تحظى إدارة الإصدارات وقابلية إعادة الإنتاج عادةً بكثير من الاهتمام. لكن عندما ينضج المشروع، يصبح الحصول على نتائج قابلة لإعادة الإنتاج وحتمية من الإعداد والمعاملات الفائقة نفسها أمرًا حاسمًا.

قد تتغير شيفرة التجارب كثيرًا، ولهذا من المهم جدًا تتبع هذه التغييرات بأدوات التحكم في الإصدارات مثل Git.

إلى جانب الشيفرة البرمجية، يمكننا أيضًا إدارة إصدارات ما يلي:

  • ملفات الإعدادات التي تعتمد عليها الشيفرة. ولإبقاء ملفات الإعدادات تحت التحكم في الإصدارات، ألقِ نظرة على Git.
  • البيانات، لأنها قد تتطور بمرور الوقت مع إضافة أمثلة جديدة وإزالة أخرى وتغيّر التسميات. ولإدارة إصدارات مجموعات البيانات، تستحق أدوات مثل DVC أو Neptune النظر.
  • دفاتر Jupyter Notebooks. يعتمد عليها كل مهندس تعلّم آلة، ويمكن إدارة إصداراتها عبر Git، مع أن ReviewNB خيار أيضًا، لأنه ينتج ملخصات أوضح للفروق بين الإصدارات.
  • البنية التحتية. لجعل الحل أكثر قابلية للنقل ووصف البنية التحتية على هيئة شيفرة (IaaC)، انظر في أدوات مثل Terraform أو AWS CDK.

تغييرات في Jupyter Notebook معروضة عبر ReviewNB، المصدر: reviewnb.com

2. لا تنسَ المراقبة

غالبًا ما تُعامل المراقبة كالخطوة الأخيرة في مشروع تعلّم الآلة. لكن ينبغي النظر فيها منذ البداية، حتى قبل وصول النموذج إلى الإنتاج. لا تعتبر المراقبة مسألة نشر فقط، لأن تجارب التدريب تستحق التتبع أيضًا. ففي كل تجربة يمكنك تتبع:

  • كيفية توزع الأوزان أثناء التدريب،
  • استخدام العتاد (CPU وGPU وRAM)،
  • جودة التنبؤات على مجموعة الاختبار،
  • تاريخ المقاييس مثل loss وF1 وaccuracy وprecision.

للمراقبة أثناء التدريب، تستحق Weights & Biases أو Neptune أو MLFlow إلقاء نظرة.

يمكن تقسيم مراقبة الاستدلال إلى المجموعات التالية:

  1. مراقبة مستوى الخدمة – متابعة الخدمات المنشورة، مثل المدة التي تستغرقها معالجة طلبات المستخدمين وكيفية استخدام الموارد وغير ذلك.
  2. مراقبة مستوى النموذج – النظر في توزيعات المدخلات والمخرجات. يمكن لهذا النوع من المراقبة أن يطلق إنذارًا عند تغيّر توزيع البيانات تغيرًا كبيرًا وقد يبدأ النموذج بالأداء بشكل أسوأ. ويمكن لمثل هذا الإنذار أن يطلق إعادة تدريب النموذج.

بالنسبة للاستدلال، يعتمد اختيار أدوات المراقبة اعتمادًا كبيرًا على إعدادك. فعندما تعمل النماذج على خدمة AWS Lambda، توفر AWS Cloudwatch إمكانات تسجيل غنية. وفي GCP، المنتجات المكافئة هي Google Cloud Functions للنشر وStackdriver للتسجيل والمراقبة. أما إذا كانت Kubernetes هي بيئة النشر، فعليك النظر في:

  • Prometheus لتتبع حيوية الخدمات واستهلاك الموارد ومعاملات الخدمة الأساسية.
  • Loki لإنتاج السجلات وتجميعها.
  • Grafana لعرض كل شيء على لوحة معلومات.

جدول يسرد أدوات مراقبة أنظمة تعلّم الآلة

3. اختبر كل ما تستطيع!

لا يزال اختبار أنظمة تعلّم الآلة أقل تقنينًا بكثير من اختبار البرمجيات. إذن ما الذي يمكن اختباره؟ إليك قائمة:

  1. كمية بيانات الإدخال وجودتها.
  2. مخطط بيانات الإدخال وتوزيعها (نطاقات القيم والقيم المتوقعة وغير ذلك).
  3. خط المعالجة نفسه مع البيانات التي ينتجها في كل خطوة.
  4. الامتثال (مثل GDPR وEU AI Act) لمكونات نظام تعلّم الآلة (البيانات وخطوط المعالجة).

تجعل الاختبارات نظامك أمتن وأكثر مقاومة للتغييرات غير المتوقعة من جهة البيانات ومن جهة البنية التحتية. ومن خلال التحقق من البيانات، يمكن مقارنة توزيعات بيانات التدريب والإنتاج وإحصاءاتها.

عند اختبار خطوط المعالجة والتحويلات، يمكنك استخدام ممارسات اختبار البرمجيات المعتادة. أما بالنسبة للبنية التحتية، فيمكن تغطية الشيفرة المكتوبة بـ IaaC باختبارات الوحدة. وتعتمد اختبارات الامتثال على المشكلة المحددة ويجب تنفيذها بعناية فائقة.

4. أتمت!
ترتبط هذه الخطوة بكل مبدأ مذكور أعلاه. ومع نضج أنظمة تعلّم الآلة، تُكرَّر النماذج وتُعاد تدريبها بوتيرة أكبر. وفي النهاية لا يكون إعادة التدريب بهذه الوتيرة ممكنًا إلا عندما تكون كل خطوة مؤتمتة. وتسعى فرق MLOps إلى نشر النماذج من البداية إلى النهاية دون أي تدخل بشري.

وبما أن المجال لا يزال يتطور، فلديك حرية واسعة لاختيار ما يناسب حالتك أفضل. اعتبر الإرشادات أدناه نقطة انطلاق لاستكشافك الخاص (State of MLOps).

مستويات MLOps

تقول Google إن MLOps يمكن تطبيقه بثلاث طرق: كعملية يدوية، أو شبه مؤتمتة، أو منسَّقة بالكامل.

مستوى MLOps صفر (عملية يدوية)

تقع الشركات التي بدأت لتوها رحلة MLOps عادةً عند هذا المستوى، حيث يكون سير عمل تعلّم الآلة يدويًا وتتخذ القرارات فيه عالِمات وعلماء البيانات. تُعاد تدريب النماذج نادرًا. ولهذا المستوى السمات التالية:

  1. يُنجَز كل شيء يدويًا، إذ يكتب علماء البيانات السكربتات ويتخذون القرارات الدقيقة.
  2. التدريب والتشغيل منفصلان، ويسلّم علماء البيانات النماذج كناتج (artifact). يجب تشغيل كل خطوة يدويًا وتحتاج إلى قدر كبير من الإشراف البشري.
  3. لا CI/CD. وهو غير مطلوب لأن النماذج لا تُكرَّر كثيرًا.
  4. يُعامل النشر كخدمة تنبؤ أساسية (مثل خدمة REST على Lambda AWS). لا تُؤخذ خوارزميات التوسع المتقدمة في الاعتبار، لأن النشر الثابت كافٍ.
  5. لا خوارزمية لمراقبة الأداء. لا تُتتبع التنبؤات ولا تُسجَّل.

تميل أنظمة تعلّم الآلة عند هذا المستوى إلى التعطل كثيرًا عندما تتغير البيانات باستمرار. واعتماد CI /CD وخوارزميات التتبع والمراقبة طريقة جيدة لمعالجة ذلك. فخط معالجة تعلّم الآلة المزوّد بالمراقبة وCI/CD يتيح اختبارًا سريعًا وبناءات مستقرة وطرحًا آمنًا للتنفيذات الجديدة. وهذا هو المستوى الأخير الذي تُدرَّب فيه النماذج محليًا. وفي كل مستوى بعده (1 و2) تُدرَّب النماذج في السحابة كمهمة، مثلًا بواسطة Airflow أو أداة مشابهة.

مستوى MLOps واحد (شبه مؤتمت)
يتمحور المستوى 1 حول التدريب المستمر عبر خطوط معالجة تعلّم آلة مؤتمتة. ويلائم هذا الإعداد الحلول التي تعمل في بيئة تتغير باستمرار.

لهذا المستوى السمات التالية:

  1. تُنسَّق التجارب وتعمل تلقائيًا.
  2. تُدرَّب نماذج الإنتاج باستمرار، على بيانات حديثة، كلما انطلق مشغّل.
  3. لا تتباعد بيئات التطوير والتجريب وما قبل الإنتاج والإنتاج، لأنها تتشارك خط المعالجة نفسه.
  4. تُقسَّم شيفرة المكونات وخطوط المعالجة إلى وحدات ليمكن إعادة استخدامها ومشاركتها بين خطوط معالجة تعلّم الآلة (عبر الحاويات).
  5. تُسلَّم النماذج باستمرار، لأن التدريب والتحقق والنشر كلها مؤتمتة.

في المستوى 1 من MLOps تُنشر شيفرة النشر وشيفرة التدريب كلتاهما إلى السحابة.

وإلى جانب المكونات الموجودة أصلًا في المستوى 0، يجب تنفيذ هذه المكونات الإضافية:

  • التحقق من البيانات والنموذج: بما أن الهدف خط معالجة مؤتمت بالكامل، يلزم مكوّن للتحقق من البيانات لفحص البيانات الحديثة الواردة. التحقق من البيانات ليس سهلًا، مع أنه بسيط نسبيًا لمسائل التصنيف. أما لمهام مثل توليد النصوص فهو صعب جدًا (لأن وضع التسميات غير واضح). وبعد تدريب نموذج جديد يجب التحقق منه حتى لا يُسلَّم نموذج معيب.
  • مخزن الميزات (feature store): مكوّن يوحّد الميزات ويخزنها ويدير الوصول إليها للتدريب والخدمة.
  • إدارة البيانات الوصفية: تُسجَّل تفاصيل كل تشغيل لخط معالجة تعلّم الآلة، سواء لتصحيح الأخطاء والشذوذات أو لدعم قابلية إعادة الإنتاج والمقارنة بين التشغيلات وتتبع أصل البيانات.
  • مشغِّلات خط معالجة تعلّم الآلة: يمكن أن تحدث إعادة التدريب المؤتمتة في سيناريوهات متنوعة:
    أ) عند الطلب،
    ب) وفق جدول زمني،
    ج) عند تدهور أداء النموذج،
    د) عند تغيّر توزيع البيانات،
    هـ) عند توفر بيانات جديدة.

يعمل MLOps من المستوى 1 جيدًا إذا أردت أتمتة التدريب. لكنه يستوعب تغيّر البيانات فقط، وأي تغيير في مخطط التدريب يعني إعادة نشر خط المعالجة بالكامل.

مستوى MLOps اثنان
يميز هذا المستوى الشركات المدفوعة بالتقنية بقوة، التي تجرّب كثيرًا تنفيذات مختلفة لمكونات خطوط المعالجة. وهي تدرّب نماذج جديدة كثيرًا أيضًا (يوميًا أو كل ساعة)، وتحدّثها في لحظات، وتعيد نشرها على عناقيد الخوادم دفعة واحدة. وبالنسبة لهذه الشركات، سيكون ذلك مستحيلًا دون دورة MLOps متكاملة من البداية إلى النهاية.

لهذا المستوى السمات التالية:

  • التطوير والتجريب التكراريان المؤتمتان: بفضل خطوط معالجة تعلّم الآلة المنسَّقة، من السهل اختبار الأفكار الجديدة وتبنيها.
  • CI لخط معالجة تعلّم الآلة: بناء الشيفرة المصدرية واختبار المكونات كلاهما مباشر.
  • CD لخط معالجة تعلّم الآلة: من السهل نشر المكونات والنواتج الصادرة من مرحلة CI.
  • التشغيل الآلي: في الإنتاج يعمل خط المعالجة تلقائيًا وفق جدول محدد مسبقًا أو يُشغَّل استجابةً لحدث ما.
  • المراقبة: تُجمع إحصاءات أداء النموذج. وباستخدامها يمكن لآلية مخصصة إطلاق إعادة التدريب عند اكتشاف انحراف البيانات. ويمكن أيضًا استخدام السجلات في تصحيح الأخطاء.

يبقى تحليل البيانات والنماذج عملية يدوية، رغم توفر الأدوات.

Revolut: MLOps لكشف الاحتيال
لتوضيح كيفية استخدام شركات التقنية لـ MLOps بشكل أفضل، دعني أعرض حالة Revolut، شركة التقنية المالية التي مقرها المملكة المتحدة. منتجها الرئيسي تطبيق يقدم مجموعة من الخدمات المصرفية ويعالج ملايين المعاملات يوميًا.

ولمنع الخسائر الناجمة عن معاملات البطاقات الاحتيالية، تستخدم الشركة خوارزمية تعلّم آلة لمنع الاحتيال تُسمى Sherlock.

المصدر: Building a state-of-the-art card fraud detection system in 9 months_

تشغّل Revolut معظم خدماتها على Google Cloud، وهناك تُنشر جميع المكونات. وتعتمد إدارة البيانات والميزات على Apache Beam عبر DataFlow. تُطوَّر النماذج بـ Python وCatboost وتُنشر كتطبيق Flask على App Engine. ويُستخدم Couchbase كتخزين في الذاكرة لملفات العملاء والمستخدمين.

يتولى Google Cloud Composer (الذي يشغّل Apache Airflow) التنسيق في الإنتاج.

تراقب Revolut نظامها بأداتين معًا. الأولى Google Cloud Stackdriver، وتُستخدم للتحليل الفوري لزمن الاستجابة وعدد المعاملات المعالجة في الثانية وغير ذلك. والثانية Kibana، التي تتتبع التجار وعدد التنبيهات وحالات الاحتيال وأداء النموذج – معدلات الإيجابيات الحقيقية والإيجابيات الكاذبة. وتصل إشارات المراقبة إلى فريق كشف الاحتيال عبر البريد الإلكتروني والرسائل النصية القصيرة.

يتيح Cloud ML Engine تتبع أصل النموذج. وأخيرًا، تُجمع الملاحظات البشرية داخل التطبيق، حيث يستطيع كل مستخدم الإشارة إلى ما إذا كانت المعاملة خبيثة. وبما أن هذه مهمة تصنيف، يمكن جمع تسميات الإصدار الجديد من مجموعة البيانات مباشرة.

المصدر: Building a state-of-the-art card fraud detection system in 9 months_

موارد مفيدة

إذا أردت التعمق أكثر، يمكنني اقتراح هذه الموارد: