تقدير المشروع
← كل المقالات

تشغيل نموذج ML التجريبي (PoC) على GCP Compute Engine

تشرح هذه المقالة كيفية نشر نموذج ML بسرعة، مع تقييد وصول المستخدمين وإمكانية التوسع إلى الصفر. ويستخدم الدليل التعليمي Compute Engine على Google Cloud Platform.

7 دقائق قراءة
تعلّم الآلةCompute Engine

توجد أدوات ممتازة كثيرة لتنسيق مشاريع ML، مثل KubeFlow أو Airflow مع MLFlow، أو عروض مزوّدي السحابة (مثل Google Vertex AI وSageMaker وAzure AI)، لكنها جميعًا مصممة للأنظمة واسعة النطاق. فماذا تفعل إذا كنت تحتاج إلى طريقة منخفضة التكلفة لخدمة عرض ML تجريبي بحركة مرور قليلة وغير منتظمة؟ تشرح هذه المقالة كيفية نشر نموذج ML بسرعة، مع تقييد وصول المستخدمين وإمكانية التوسع إلى الصفر. ويستخدم الدليل التعليمي Compute Engine على Google Cloud Platform.

لماذا Compute Engine؟

تقدم GCP عدة طرق لاستضافة التطبيقات: من الأبسط، Cloud Run، مرورًا بـ Vertex AI، وهو حل مبني خصيصًا لاستضافة نماذج ML، وصولًا إلى Compute Engine الذي يمنحك بنية تحتية تديرها بنفسك. فلماذا قد يكون Compute Engine الخيار الصحيح؟

Cloud Run

Cloud Run منصة كخدمة (PaaS) عديمة الخوادم (serverless). يمكنها التوسع إلى الصفر ولا تتطلب إدارة تقريبًا. وهي مثالية للتطبيقات الاقتصادية، لأنها تعمل فقط أثناء معالجة طلب HTTP فعليًا. غير أن Cloud Run لا تدعم GPU، مما يستبعدها في معظم مشاريع ML.

Vertex AI

Vertex AI حل مبني خصيصًا لإدارة نماذج ML. وهو يجعل إدارة إصدارات نماذج ML وخدمتها بسيطة. لكن Vertex AI Endpoints لا يمكنها التقلص إلى الصفر. ويوجد طلب ميزة بهذا الشأن مفتوح منذ 2021، لكن الميزة لم تُقدَّم حتى الآن.

Compute Engine

Compute Engine بنية تحتية كخدمة (IaaS). وهي توفر تخصيصًا أكبر بكثير من Cloud Run، لكنها تحتاج أيضًا إلى إعداد أكثر. فمع خدمة Managed Instance Group (MIG)، يمكننا ضبط التوسع التلقائي لآلاتنا الافتراضية. من الناحية النظرية، ينبغي أن تتيح ميزة التوسع التلقائي التقلص إلى الصفر، لكنني لم أتمكن من تشغيلها. ومع ذلك، يمكننا التحكم في توسع MIG برمجيًا والحصول على سلوك التوسع إلى الصفر للآلة الافتراضية ذات GPU.

بدائل

خيار آخر قد يكون مساحة HuggingFace. فهي تدعم التوسع إلى الصفر وتوفر وحدات GPU. غير أن مساحات HuggingFace تتطلب أن تكون شيفرتك المصدرية علنية، مما قد يستبعدها في كثير من المشاريع.

معمارية الحل

يعتمد الحل على نسخة واجهة أمامية رخيصة تعمل دائمًا ونسخة GPU مكلفة تطلقها نسخة CPU كلما ظهرت حركة مرور.

الشكل 1. معمارية الحل.

يمنحنا هذا توفرًا عاليًا وإمكانية التوسع إلى الصفر وتسريع GPU. تُدار كل نسخة بواسطة MIG وتقع خلف موازن الحمل. ولأغراض الأمان، يعمل Identity Aware Proxy (IAP) كنقطة تحكم واحدة لإدارة من يمكنه الوصول إلى تطبيقات الويب.

تفاصيل التنفيذ

Artifact registry

تطبيق الواجهة الأمامية (الذي يعمل فقط على آلة CPU الافتراضية) والجزء الخلفي (الذي يعمل على الآلة الافتراضية ذات GPU) كلاهما صورتا docker. وإضافة إلى ذلك، يجب أن تتضمن صورة docker للواجهة الأمامية دوال التوسع الواردة في «التوسع من الصفر وإليه». ولهذا السبب تلزم أدوار حساب الخدمة الإضافية الموصوفة في «حساب الخدمة».

بعد بناء صورة docker، يجب وسمها ودفعها إلى سجل القطع (artifacts registry). تتوفر تعليمات مفصلة خطوة بخطوة هنا.

حساب الخدمة (Service Account)

يحتاج تطبيق الواجهة الأمامية إلى حساب خدمة مخصص كي يتمكن من توسيع نسخ GPU من الصفر وإليه. عليك إنشاء دور مخصص يضم بعض الأذونات أدناه أو كلها:

  • Compute.autoscalers.create
  • Compute.autoscalers.delete
  • Compute.autoscalers.get
  • Compute.autoscalers.list
  • compute.autoscalers.update

أما للجزء الخلفي، فعليك إنشاء دور مخصص بالإذن

artifactregistry.repositories.downloadArtifacts.

قالب النسخة (Instance template)

تحتاج كل مجموعة نسخ إلى قالب نسخة تُنشأ منه الآلة الافتراضية. وبما أن نموذج ML التجريبي يتكون من مجموعتي نسخ (واجهة أمامية على CPU وجزء خلفي على GPU)، فإن قالبين مطلوبان.

قالب نسخة الواجهة الأمامية
اضبط القيم التالية:

  • إعداد الجهاز: E2 مثلًا.

  • الحاوية: صورة الحاوية -> europe-west4-docker.pkg.dev/<team>/<repo>/<frontendimage_name>:<tag>

  • قرص الإقلاع:

  • الهوية والوصول إلى API: حساب خدمة بدور Editor ودور بالإذن

  • جدار الحماية: السماح بحركة HTTP

قالب نسخة الجزء الخلفي
اضبط القيم التالية:

  • إعداد الجهاز: اختر GPU ونوع النسخة، N1 مثلًا

  • قرص الإقلاع:

  • جدار الحماية: السماح بحركة HTTP

  • خيارات متقدمة: Management -> Automation -> startup-script

# install nvidia drivers
sudo /opt/deeplearning/install-driver.sh
# setup access to the google cloud docker registry
VERSION=2.1.2
OS=linux
ARCH=amd64
curl -fsSL "https://github.com/GoogleCloudPlatform/
docker-credential-gcr/releases/download/v${VERSION}/
docker-credential-gcr_${OS}_${ARCH}-${VERSION}.tar.gz" \
| tar xz docker-credential-gcr \
&& chmod +x docker-credential-gcr && sudo mv docker-credential-gcr /usr/bin/
docker-credential-gcr configure-docker --registries=europe-west4-docker.pkg.dev
docker pull europe-west4-docker.pkg.dev/<team>/<repo>/<image>:<tag>
docker container prune command

docker run -d --gpus=all -v <src>:<dest> -p 11434:11434 --name 
<imagename> europe-west4-docker.pkg.dev//<team>/<repo>/<backend_image>:<tag>

يثبّت سكربت بدء التشغيل تعريفات Nvidia، ويضبط سجل القطع كي يتمكن docker من الوصول إليه، ثم يسحب صورة docker ويشغلها على المنفذ 11434. ضبط سجل القطع لبيانات اعتماد docker مطلوب لأن نظام التشغيل ليس Container Optimised OS؛ ومع ذلك النظام يمكنك تخطي هذه الخطوة. يتوفر الدليل الرسمي لمصادقة Docker مع Artifact Registry هنا.

مجموعة النسخ المُدارة (Instance Managed Group)

أنشئ مجموعة نسخ لكل قالب نسخة.

مجموعة نسخ الواجهة الأمامية
أضف فحص صحة جديدًا يستخدم المنفذ الصحيح.

اضبط تعيين المنافذ للطلبات الواردة.

مجموعة نسخ الجزء الخلفي
عطّل التوسع التلقائي. سيُعالَج توسع الآلة الافتراضية ذات GPU برمجيًا.

أضف فحص صحة للآلة الافتراضية ذات GPU.

اضبط تعيين المنافذ للخدمة الخلفية.

موازن الحمل الخارجي (External Load Balancer)

يوزع موازن الحمل الخارجي الحمل الوارد من الإنترنت على نسخة الواجهة الأمامية. ينبغي منح خدمة الواجهة الأمامية لموازن الحمل عنوان IP ثابتًا وشهادة SSL صالحة لبروتوكول HTTPS. تقدم Google دليلًا تعليميًا يشرح كيفية إنشاء الشهادة للاستخدام في التطوير. وينبغي أن يشير الجزء الخلفي إلى مجموعة نسخ الواجهة الأمامية.

موازن الحمل الداخلي (Internal Load Balancer)

يتولى موازن الحمل الداخلي حركة المرور القادمة من تطبيق الواجهة الأمامية. ويُستخدم HTTP كبروتوكول لنقطة النهاية. وينبغي أن يحصل جزء الواجهة الأمامية على عنوان IP داخلي ثابت، وأن يشير الجزء الخلفي إلى مجموعة نسخ الجزء الخلفي. دوّن عنوان IP للواجهة الأمامية والمنفذ، لأن مجموعة نسخ الواجهة الأمامية ستستخدم هذا العنوان للتحدث إلى مجموعة نسخ الجزء الخلفي.

بالنسبة لجزء الواجهة الأمامية، عليك إنشاء الشبكة الفرعية للوكيل فقط (Proxy-only subnet).

رفع مهلة موازن الحمل الافتراضية مهم، خاصة لنماذج ML التي تعمل لفترة طويلة. فالمهلة الافتراضية البالغة 30 ثانية كثيرًا ما لا تكفي لاستدلال النموذج.

قواعد جدار الحماية

لكي يعمل الإعداد بأكمله، أضف قواعد جدار الحماية هذه إلى سحابتك الخاصة الافتراضية (VPC):

الاتجاه:
ingress

عناوين IP:
130.211.0.0/22
35.191.0.0/16

المنافذ:
<frontend web-app port>
<backend port>

الاتجاه:
ingress

عناوين IP:
<internal load balancer subnet IP address>

المنافذ:
<internal load balancer frontend port>

Identity Aware Proxy

يحرس IAP الوصول إلى التطبيقات المستضافة على Google Cloud. فهو يتيح لك وضع عناوين البريد الإلكتروني المسموح لها باستخدام تطبيق الويب في قائمة بيضاء. ولإعداد IAP، نحتاج إلى إنشاء خدمة الجزء الخلفي لموازن الحمل الخارجي وإعداد قواعد جدار حماية VPC. تقدم Google دليلًا رسميًا خطوة بخطوة لإعداده.

التوسع من الصفر وإليه

تنفيذ توسع الآلات الافتراضية برمجيًا موثّق جيدًا في مواضع أخرى، لذا سأتخطى التفاصيل.

ينبغي طلب التوسع للأعلى كلما ظهرت حركة مرور على نسخة CPU. ويمكن فعل ذلك في البرمجية الوسيطة (middleware)، شرط ألا يكون الطلب فحص صحة.

@app.middleware("http")
async def spawn_gpu(request: Request, call_next):
    response = await call_next(request)
    if "/health" not in request.url.path:
        # request GPU
        scale_up()
        global LAST_ACTIVITY_TIME
        LAST_ACTIVITY_TIME = time.time()

ويمكن أن يُطلَق التقلص بسبب الخمول. فعندما لا تشهد الخادم أي حركة مرور لفترة أطول من GPU_TURN_OFF_TIME، يمكن تقليص نسخة GPU.

class GpuActivityMonitor(Thread):
    def __init__(self):
        Thread.__init__(self)
        self.daemon = True
        self.start()

    def run(self):
        while main_thread().is_alive():
            if time.time() - LAST_ACTIVITY_TIME > GPU_TURN_OFF_TIME:
                log.info('scaling down GPU due to inactivity')
                try:
                    scale_down()
                except Exception as e:
                    log.error(f'Error scaling down GPU: {e}')
            time.sleep(10)

ينبغي تنفيذ التوسع للأعلى والتقلص كلاهما كعمليات على خيوط (threads)، وقبل التوسع في أي اتجاه علينا التحقق مما إذا كانت هناك خيوط أخرى قيد التشغيل. وبصورة docker بحجم نحو 0.5 GB، يستغرق توسيع نسخة GPU من الصفر نحو 3.5 دقيقة.

على آلة Google الافتراضية، يمكننا الاعتماد على بيانات الاعتماد الافتراضية، لأن الآلة الافتراضية مصادَق عليها بالفعل. أما إذا كانت النسخة تعمل خارج Google Cloud، فعلينا المصادقة أولًا باستخدام مفتاح حساب خدمة أو اتحاد هوية أحمال العمل (workload identity federation).

الخلاصة

تناولت هذه المقالة نشر نسخة منخفضة التكلفة من نموذج ML التجريبي واستضافتها. وللأنظمة الإنتاجية الكبيرة، أقترح أدوات تنسيق ML مثل KubeFlow أو AirFlow + MLFlow أو ZenML، أو عروض مزوّدي السحابة مثل Vertex AI وSageMaker وAzure AI. لا تتردد في التواصل معي لأي أسئلة – سأساعد بكل سرور.