تطبيق مبادئ CT/CD في مشاريع تعلّم الآلة – كيف؟
نقل مشروع تعلّم آلة من مرحلة إثبات المفهوم (Proof of Concept) إلى التدريب والنشر المستمرين (Continuous Training & Deployment).
المشكلة
معالجة الفواتير والتحويلات المصرفية في الشركات الكبيرة عملية معقدة. ومع كثرة المتعاقدين والعملاء، تقع الأخطاء في عناوين التحويلات بسهولة، وأحيانًا يغطي تحويل واحد عدة فواتير أو جزءًا من فاتورة فقط. وتفشل القواعد البسيطة في مثل هذه الحالات، لذا تُطابَق التحويلات المصرفية مع الفواتير يدويًا وتحت إشراف بشري.
لهذا النهج عدة عيوب، أكبرها أن العملية لا تتسع بالتوسع. لنفترض أن لدى الشركة حاليًا موظفًا واحدًا مهمته مطابقة التحويلات المصرفية مع الفواتير. فإذا توسعت الشركة، وتعاقدت مع ضعف عدد المتعاقدين من الباطن وكسبت ضعف عدد العملاء، فإنها – بافتراض بقاء العملية وكفاءة العمل على حالهما – ستحتاج إلى 4 أضعاف عدد الموظفين. وأتمتة العملية تحل هذه المشكلة، ويمكن للذكاء الاصطناعي أن يساعد في ذلك.
وضمن نظام إدارة مالية داخلي خاص بالمؤسسة لدينا، نفذنا مشروع إثبات مفهوم (Proof of Concept) لنظام ذكاء اصطناعي يهدف إلى أتمتة هذه العملية اليدوية.
أين كان المشروع
كان المشروع الذي تسلمناه قد أنهى مرحلة إثبات المفهوم.
المصدر: DALL-E
أي أن الشيفرة كانت موجودة بالفعل لتحليل البيانات وتدريب نموذج تعلّم الآلة وتقييمه ونشره. وكانت هذه الوظائف موجودة في سكربتات منفصلة يجب تشغيلها يدويًا. وفوق ذلك، كانت بيانات التدريب لقطة ثابتة لحالة النظام، محفوظة في المستودع مع الشيفرة بوصفها بيانات تدريب إثبات المفهوم. وكلما وصلت بيانات تدريب جديدة (وهو ما يحدث شهريًا)، كان تحديث النموذج يتطلب جهدًا يدويًا كبيرًا: جلب بيانات التدريب وتحويلها إلى صيغة معينة، وتشغيل التدريب وتقييم النموذج، واختيار أفضل نموذج ونشره في الإنتاج يدويًا. ثم تكرار الأمر نفسه كل شهر… وفي مشروع واحد يظل هذا ممكنًا، وإن كان مزعجًا. أما مع مشاريع أكثر فيستحيل الإبقاء على الأمور هكذا.
كيف تبدو البيانات
تتكون بيانات التدريب من البيانات الوصفية للفواتير والتحويلات المصرفية، مع معلومات عن الفاتورة المرتبطة بكل منها. وتُوسَم هذه البيانات المهيكلة يدويًا في النظام الداخلي من قبل قسم الإدارة والمالية، مما يعني أن أمثلة التدريب موسومة من قبل بشر وذات جودة عالية. وتدخل الفواتير والتحويلات إلى النظام شهريًا. وتصل البيانات إلى BigQuery في الوقت الفعلي، وسيكون BigQuery مصدر بيانات التدريب لعملية التدريب.
إنها حالة نموذجية لمشكلة يمكن فيها استخدام بيانات التدريب الواصلة دوريًا لجعل نموذج تعلّم الآلة أكثر فعالية مع الحفاظ على جودة تنبؤ عالية وإبقاء النموذج محدَّثًا.
التخطيط
لكي لا نضطر إلى إعادة تدريب النموذج يدويًا، يمكننا أتمتة العملية بتقنيات MLOps – وتحديدًا بخطوط التدريب المستمر والنشر المستمر (CT/CD). هنا سنفكر في كيفية تقسيم عملية تطوير نموذج الذكاء الاصطناعي وكيفية أتمتتها.
تقسيم العملية
أول خطوة يجب أن تعمل وفق جدول زمني هي جمع بيانات التدريب من مصادر البيانات. ففي النظام الذي نستخدمه، توجد البيانات الوصفية للتحويلات المصرفية والفواتير في BigQuery. لذا يمكننا كتابة دالة تسحب البيانات من BigQuery وتحوّلها وتقسّمها إلى مجموعتي تدريب واختبار وتحفظهما في حاوية التخزين السحابية المناسبة.
ثم يأتي تدريب نموذج تعلّم الآلة وتقييمه. ففي الخطوة السابقة قررنا أن تعيش بيانات التدريب في السحابة. وهذا يتيح لنا افتراض أن خط تعلّم الآلة سيجلب البيانات من حاوية التخزين السحابية المحددة، ثم يدرّب النموذج ويقيّمه ويخزّن نموذج تعلّم الآلة المضبوط بدقة. وسيتطلب النشر الآلي الاحتفاظ ببيانات وصفية عن النماذج المدرَّبة في سجل نماذج (model registry). وهذا يتيح مقارنة النماذج بالنموذج المنشور حاليًا. فإذا كان أداء النموذج المدرَّب حديثًا أفضل، ينبغي أن يحل محل الحالي. وبهذه الطريقة نستخدم دائمًا أفضل نموذج متاح في أي لحظة.
وتحدد عملية التدريب والتقييم الموصوفة أعلاه ما إذا كان ينبغي تحديث النموذج المستخدم. والخطوة الأخيرة هي نشر النموذج. وكيفية ذلك تعتمد على البنية التحتية للمشروع.
وخلاصة القول، تتطلب أتمتة العملية تشغيل 3 عمليات دوريًا:
- جمع عينات التدريب وإعدادها
- تدريب نموذج تعلّم الآلة وتقييمه
- النشر الشرطي
الأتمتة
إن بناء خط تعلّم آلة ينفذ هذه الخطوات الثلاث لا يحل سوى جزء من المشكلة. فتشغيل الشيفرة على جهاز محلي يوفر بعض الوقت، لكنه ليس أتمتة. وللتوقف عن الاعتماد على تذكّر تشغيل العملية، يمكننا استخدام cron (خيار لمحبي التعذيب) أو اللجوء إلى حلول سحابية تتسع جيدًا.
المصدر
تعمل الأجزاء السابقة من المشروع، مثل BigQuery، على Google Cloud، فكان النظر في هذا المزود السحابي الخطوة التالية البديهية.
ما الذي نحتاجه لتشغيل الخط في سحابة Google؟ Cloud Storage لحفظ بيانات التدريب وملفات نموذج تعلّم الآلة. وGoogle Cloud Builder لبناء حاويات Docker في السحابة ودفعها إلى سجل الحاويات المناسب. أما لتدريب نموذج تعلّم الآلة، فيتيح VertexAI اختيار العتاد المناسب، بما في ذلك وحدة GPU اللازمة لتدريب نماذج الذكاء الاصطناعي الأكثر تعقيدًا. وللجلب المجدول للبيانات من BigQuery والتدريب والنشر - دوال Google Cloud Run.
وباختصار، تتكون حزمة التقنيات المختارة من خدمات Google: Google Cloud Storage وBigQuery وVertexAI وCloud Run وGoogle Cloud Builder.
التنفيذ
بما أن قلب المشروع – معالجة بيانات التدريب وتدريب نموذج تعلّم الآلة وتقييمه ونشره – كان موجودًا بالفعل، فقد كانت المهمة الرئيسية تكييفه ليعمل في بيئة سحابية.
ولجعل خط تعلّم الآلة جاهزًا للإنتاج، سنستخدم إطار ZenML. فهو يقدم طبقة تجريد فوق خدمات ومكونات مزودي سحابة مختلفين، لذا لا يتطلب نقل المشروع بين السحابات أي تغييرات في الشيفرة. وأنصح بإلقاء نظرة على هذا المشروع!
تتطلب الخطوط العاملة في السحابة نشر خادم ZenML Server. ومن الخيارات المناسبة نشره على HuggingFace Spaces. وتحتاج الخطوط إلى حزمة ZenML stack مكوّنة من هذه المكونات: image builder وorchestrator وartifact-store. وسيشغّل المنسّق الافتراضي في GCP، وهو VertexAI Orchestrator، الحاويات. ويتطلب تشغيل المهام المجدولة إعداد حسابات الخدمة والمنسّق نفسه بشكل صحيح في ZenML، باتباع التعليمات في الوثائق. ويعتمد النشر على مكوّن BentoML. ويعمل Docker المحلي كمُنشئ للصور.
بناء مجموعة بيانات التدريب
في هذه المرحلة، تُمنح الخط أذونات القراءة/الكتابة على Google Cloud Storage وBigQuery. فيصادق مع BigQuery وينفذ استعلامًا يعيد البيانات على شكل pandas DataFrame، ويحوّل البيانات، ويقسمها إلى مجموعة تدريب ومجموعة اختبار، ويحفظها بصيغة .csv في حاوية GCS المناسبة. ويعمل الخط وفق جدول شهري. ولا تُولَّد مجموعة بيانات الاختبار إلا في أول تشغيل للخط. وبمجرد وجود مجموعة الاختبار، تخزّن عمليات التشغيل اللاحقة عينات البيانات الجديدة بوصفها بيانات تدريب.
التدريب والتقييم وسجل النماذج
يسحب خط تدريب النموذج البيانات من حاوية Google Cloud Storage المحددة، ويدرّب النموذج على بيانات التدريب، ويقيّمه على بيانات الاختبار، ويقارنه بالنماذج الموجودة في سجل النماذج. وكسجل نماذج نستخدم مكوّن Model Control Plane المدمج في zenml. فإذا كان النموذج الجديد أفضل، يُسجَّل في model-registry، ويُنشأ أرشيف يحتوي على الشيفرة والملفات اللازمة لبناء الحاوية ويُخزَّن في GCS، وأخيرًا تُطلَق مهمة Google Cloud Builder – وهذه هي خطوة النشر المشروحة في القسم التالي. ويعمل هذا الخط أيضًا كل شهر. ويجب أن يعمل بعد انتهاء الخط الذي يجمع عينات بيانات التدريب.
النشر
تُبنى الحاوية في Google Cloud Builder. وهو يتيح إنشاء مهمة وبدءها عبر طلب POST تصف حمولته خطوات بناء الحاوية والأرشيف المحتوي على الشيفرة والملفات وسجل الحاويات المستهدف الذي ستُخزَّن فيه الحاوية الناتجة.
فيما يلي حمولة نموذجية تُرسل إلى Google Cloud Builder. يشير المعامل source إلى الأرشيف الذي ستُبنى منه حاوية Docker. ويجب أن يتضمن ذلك الأرشيف ملف Dockerfile وكل ملف مطلوب أثناء البناء. ويسرد المعامل steps خطوات العملية. وهنا هو أمر بناء الحاوية فقط. أما المعامل الأخير، images، فيحدد الاسم الذي ستُخزَّن به الحاوية في سجل الحاويات المحدد.
{
"source": {
"storageSource": {
"bucket": "finanse-ml-dev",
"object": "models/8f19cd96-ca7b-40bd-980e-f2ce19908a6b/model.tar.gz"
}
},
"steps": [
{
"name": "gcr.io/cloud-builders/docker",
"args": [
"build",
"-t",
"gcr.io/finanse-project/model",
"."
]
}],
"images": [
"gcr.io/finanse-project/model"
]
}
في إعدادنا، يعمل النموذج كـ Pod على عنقود GKE جرى إعداده مسبقًا. ويعتمد Kubernetes على ميزة أتمتة الصور في flux.cd. ونتيجة لذلك، يعني النشر ببساطة دفع حاوية Docker المبنية إلى السجل المناسب. ويتولى Kubernetes تحديث النموذج داخليًا.
وبسبب متطلبات البنية التحتية، تبني هذه الخطوة حاوية Docker تكشف REST API يُستخدم للاستدلال على نموذج تعلّم الآلة. ونستخدم لذلك إطار BentoML، الذي يسهّل بناء REST API للاستدلال على نموذج تعلّم الآلة.
النتائج
النتيجة النهائية لخط CT/CD بأكمله هي إعادة تدريب نموذج تعلّم الآلة دوريًا على أحدث بيانات التدريب، يليها نشر النموذج شرطيًا في الإنتاج. ويحدث كل ذلك بشكل متكرر وآلي دون أي حاجة إلى إشراف بشري.
ما التالي
ستركز المراحل التالية من المشروع على مراقبة النموذج والعملية. ماذا يعني ذلك؟ أحد التحسينات البسيطة سيكون إضافة تنبيهات Slack تُخطر الفريق في قناة مخصصة بشأن عملية التدريب ونتائج النموذج وحالة المهام والنشر الشرطي. وأما مراقبة النموذج، فأقصد بها إضافة مهمة متكررة تستخدم evidently لاكتشاف انحراف التاريخ والنموذج (date and model drift) استنادًا إلى اختلاف بيانات التدريب عن أحدث البيانات الداخلة إلى النظام.
المشكلات التي واجهناها
الملفات الكبيرة
يطبّق ZenML آلية تخزين مؤقت على كل خطوة من خطوات الخط العامل. وتصرّح كل خطوة بأنواع بيانات الإدخال والإخراج، التي تُحفظ كملفات artifacts في مكوّن من مكونات الحزمة - وهو artifact-store. والهدف هو تقليل زمن تنفيذ الخط واستهلاك الموارد عندما لا تتغير معاملات إدخال الخطوة. ومع الملفات الكبيرة (مثل مجموعات البيانات بأكملها)، يستغرق تسلسلها ورفعها وقتًا غير مقبول.
وقد حللنا ذلك بتحسين مجموعة البيانات المنقولة من خطوة إلى أخرى. وتذكّر أن مجموعة البيانات صغيرة نسبيًا ومكوّنة من بيانات جدولية. أما في المشاريع التي تعمل مع الصور أو الفيديو، فقد يكون ذلك تحديًا.
الخلاصة
استعرضت هذه المقالة نقل مشروع تعلّم آلة من مرحلة إثبات المفهوم إلى عملية CT/CD آلية، وحددت المراحل التالية من تطويره. وقد أتاح لنا استخدام تقنيات MLOps في مشروع حقيقي التحقق من فائدة الأدوات وتجربة الأساليب المقترحة لمشكلات تشغيل نماذج الذكاء الاصطناعي.
ومن منظور أعمال المشروع، ولأن بيانات تدريب جديدة تظهر في النظام دوريًا، فقد أثمر تطبيق معمارية CT/CD فوق خطوط تعلّم الآلة، مما يتيح تحسين جودة النموذج دورة بعد دورة. وستتيح الإضافة المخطط لها لاكتشاف انحراف البيانات والنموذج دوريًا التفاعل بسرعة أكبر عند تغير خصائص البيانات الواردة.
سأتناول المراحل التالية من المشروع في مقالات قادمة، فتابعونا.