Triton Inference Server: الانطباعات الأولى
Triton أداة سريعة وموفّرة للموارد لنشر النماذج، ويستحق الأمر أن تتعلّم كيف تضبط إعداداتها جيدًا.
بعد أن أمضيت بعض الوقت في تجربة Triton، أودّ في هذه المقالة أن أشارككم انطباعاتي الأولى، وأستعرض ميزاته الرئيسية، وأشرح متى وكيف يستحق استخدامه. أما المقالة التالية فستتناول النصائح والحيل، وتتضمن ورقة مرجعية سريعة (cheat sheet)، ومثال كود لقياس أداء إعدادات نماذج مختلفة لنماذج الرؤية الحاسوبية. فلنبدأ!
ما هو؟
Triton بيئة تشغيل سريعة للاستدلال (inference) في تعلّم الآلة، وتقع تحت العديد من أدوات نشر النماذج، ومنها Seldon Core وKServe وMLFlow وBentoML. وما يجعله قويًا هو الأداء الذي يحققه بفضل تنفيذه بلغة C++، إلى جانب مجموعة واسعة من الميزات تمنحه مرونة تناسب أي حالة استخدام تقريبًا. ويعمل مع كثير من أطر العمل – NVIDIA TensorRT وTensorFlow وPyTorch وOpenVINO وONNX – وكذلك مع واجهات خلفية (backends) مخصصة بلغتي C++ وPython. ويتكامل مع Kubernetes ويوفر مقاييس لمراقبة الخدمة بشكل جاهز، مما يجعل تشغيله في بيئة الإنتاج مريحًا.
المصدر: https://docs.nvidia.com
يأتي Triton ضمن حزمة JetPack SDK التي تعمل على حواسيب NVIDIA Jetson المصممة لذكاء الحافة (edge AI). وتتيح واجهة C API الخاصة به تشغيل الاستدلال في الزمن الحقيقي دون أي كلفة شبكية.
كما يفيد Triton عند الحاجة إلى نشر نماذج لغوية كبيرة. ويمكن الاطلاع على المزيد حول هذا الموضوع في هذه المدونة.
الخطوات الأولى
يقدّم المستودع الرسمي عددًا من الدروس التعليمية. وينبغي الانتباه إلى أنها تحتوي على بعض الأخطاء الصغيرة أو تحتاج ببساطة إلى بعض التعديلات. وقد فتحتُ PR بإصلاحات. وبعد إدخال هذه التصحيحات يعمل الكود بشكل صحيح ويمنحك طريقة بسيطة للتعرّف على المفاهيم الأساسية في Triton: بنيته، وتنفيذ النماذج بالتزامن، وتنظيم مستودع النماذج، وملف إعدادات النموذج، وتقنيات التحسين.
وتساعدك أدوات Triton نفسها، perf_analyzer وmodel_analyzer، على إيجاد أفضل معاملات للنشر على عتاد معيّن بشكل تلقائي. وهذا مفيد جدًا عند وضع النماذج على خادم إنتاج.
للأسف، ليس العمل مع Triton سهلًا. ففي إعدادات النموذج استثناءات كثيرة، وبعض الخيارات لا يمكن استخدامها معًا، وهكذا. وعندما تحاول تشغيل الخادم بإعدادات كهذه يفشل مع رسائل خطأ غير واضحة. وسأصف في الأقسام التالية الاستثناءات التي واجهتها والقواعد التي التزمت بها أثناء تجربتي لـ Triton.
إعدادات النموذج
فيما يلي ملف إعدادات أدنى لنموذج له tensor إدخال عددهما 2 وtensor إخراج واحد. وهناك عدة حقول مطلوبة: name، ويجب أن يطابق تمامًا اسم مجلد النموذج في model-repository الممرَّر إلى Triton؛ وplatform، وهو يحدد نوع بيئة تشغيل النموذج؛ وinput وoutput، وهما يصفان البيانات الداخلة إلى النموذج.
المنصات المتاحة هي onnxruntime_onnx وtensorrt_plan وpytorch_libtorch وtensorflow_savedmodel وtensorflow_graphdef. وتحتاج ملفات النماذج إلى امتدادات تتوافق مع المنصة المختارة: .onnx, .plan, .pt وغيرها.
أنواع البيانات المدعومة مدرجة في التوثيق. ويحدد الحقل dims أبعاد الـ tensor. فمثلًا، النموذج الذي يعالج صور ImageNet يستخدم dims: [3, 224, 224] للإدخال وdims: [1000] للإخراج.
ضع في اعتبارك: يصبح الاستدلال المجمَّع (batched) ممكنًا بمجرد تعيين قيمة max_batch_size، لكن عليك التأكد من أن النموذج المصدَّر قادر فعلًا على التعامل مع هذا الإدخال. فنموذج TensorRT يجب تصديره مع أشكال محددة للحد الأدنى والأقصى لحجم الدفعة الذي يقبله. وسأتناول هذه المسألة بتفصيل أكبر في مقالتي القادمة عن Triton، فترقبوها!
مجموعات النسخ
تتيح هذه الميزة تشغيل عدة نسخ من النموذج بحيث يجري الاستدلال بالتوازي، وهو ما يرفع الإنتاجية ويخفض زمن الاستجابة إذا سار كل شيء على ما يرام، على حساب استهلاك موارد أكثر.
تنفيذ النماذج بالتزامن
وفق ما يذكره التوثيق، تتيح بنية Triton تشغيل عدة نماذج، أو عدة نسخ من نموذج واحد، بالتوازي على نظام واحد. ويوضع كل طلب وارد في طابور ويُجدول لتنفيذه. وبحسب إعداد instance gpus الذي يحدد عدد نسخ النموذج العاملة بالتوازي، يمكن معالجة الطلبات بالتزامن على كل من GPU وCPU.
التجميع الديناميكي
إحدى طرق رفع إنتاجية النموذج هي تجميع البيانات في دفعات أكبر وتشغيل الاستدلال على الدفعة كاملة بدل تشغيله على مدخلات صغيرة كثيرة. وميزة التجميع الديناميكي (dynamic batching) في Triton تفعل ذلك بالضبط. ولها إعدادان: حجم الدفعة المفضّل وأقصى تأخير للطابور. الأول واضح بذاته؛ أما الثاني فيحدد المدة التي تُجمَّع خلالها الطلبات الواردة لبناء دفعة ديناميكية.
ووفق توثيق Triton، لا يمكن تجميع الطلبات ديناميكيًا افتراضيًا إلا عندما يكون لكل مدخل الشكل نفسه عبر تلك الطلبات؛ ولاستخدام التجميع الديناميكي حين تختلف أشكال المدخلات كثيرًا، يجب على العميل أن يحشو (pad) الـ tensors في طلباته إلى شكل موحّد. وبالنسبة إلى النماذج ذات المدخلات ديناميكية الأشكال، يوفر Triton ميزة التجميع غير المنتظم (ragged batching). ويمكنك معرفة المزيد عنها هنا.
الأولويات
يتيح Triton إعداد عدة طوابير بمستويات أولوية مختلفة. وبشكل افتراضي يوجد طابور واحد فقط. وتُضبط الأولويات لكل نموذج منشور في ملف إعداداته.
الذاكرة المؤقتة
يمكن لتفعيل ذاكرة الاستجابات المؤقتة (response cache) أن يساعد في استخدام الموارد بكفاءة أكبر. وتفعّلها لكل نموذج في ملف الإعدادات، لكن يجب أيضًا تشغيل Triton مع الخيارات –cache-config local,size=SIZE. وتجد تفاصيل أكثر عن هذه الميزة في التوثيق.
تسخين النموذج
بعد النشر، قد تمر بعض النماذج ببداية باردة (cold start)، أي أن الطلبات القليلة الأولى التي تعالجها تستغرق وقتًا أطول بشكل ملحوظ. ولتجنب ذلك يستطيع Triton إجراء تشغيل تجريبي لاستدلال النموذج قبل وسمه بالحالة READY.
مستودع النماذج
استخدم الأمر التالي لتشغيل خادم Triton مع مستودع نماذج معيّن:
وبدلًا من مسار لمستودع نماذج محلي، يمكنك أيضًا الإشارة إلى تخزين سحابي مثل S3 وGoogle Cloud Storage وAzure Storage.
يجب أن يتبع مجلد مستودع النماذج البنية التالية:
يستطيع Triton تقديم عدة إصدارات من النموذج المنشور.
المقاييس
يعرض Triton بشكل جاهز مقاييس Prometheus تتضمن إحصاءات GPU والطلبات.
البرمجة النصية لمنطق الأعمال
لتسريع استدلال النموذج يمكنك الاعتماد على ميزة البرمجة النصية لمنطق الأعمال (BLS)، التي تفصل خطوات المعالجة المسبقة واللاحقة المكتوبة بـ Python/C++/Java عن الاستدلال الأساسي للنموذج. وعندها يمكن تحسين النموذج الأساسي، مثلًا بتصديره إلى TensorRT بإعدادات مناسبة. ويمكن بناء خط المعالجة الكامل عبر نموذج ensemble في Triton، الذي يصف تسلسل العمليات مع معاملات إدخالها وإخراجها. وفي بعض الحالات يحسّن هذا استغلال النماذج المنشورة، إذ يمكن مشاركة النماذج الأساسية بين نماذج ensemble مختلفة.
هل يستحق الاستخدام؟
مكان Triton هو بيئات الإنتاج التي يمكنك فيها الاستفادة من جميع ميزاته. فنقطتا قوته الحقيقيتان هما تجميع الطلبات في دفعات أثناء التشغيل وتوسيع النماذج أفقيًا بنسخ متعددة. ولا تؤتي هاتان القدرتان ثمارها إلا مع حِمل طلبات مرتفع بما يكفي. فإذا قارنت نموذجًا يعمل في إطاره الأصلي، مثل PyTorch، بالنموذج نفسه في Triton، فقد يتبين أن Triton أبطأ عند حركة المرور المنخفضة بسبب الكلفة الإضافية الناتجة عن الطوابير والتجميع ومعالجات أخرى. أما مع أحمال الطلبات الثقيلة، حيث يدخل التجميع الديناميكي وزيادة عدد النماذج في الحسبان، فسيكون Triton أكثر كفاءة.
فإذا كان Triton بهذه الجودة، فهل ينبغي استخدامه في كل مكان؟ إذا كان فقدان بضع نقاط مئوية من الإنتاجية لا يخيفك، فإن Triton خيار متين. فالنشر به يتيح لك نقل حلّك إلى الإنتاج بسلاسة مع تغييرات قليلة جدًا في الإعدادات.
كيف تستخدمه؟
يتضمن Triton أداتين قويتين لضبط إعدادات النموذج وفق بيئة عتاد وبرمجيات معيّنة: perfanalyzer* و_model_analyzer*. وقد تختلف أفضل الإعدادات من جهاز إلى آخر، لذا ينبغي دائمًا ضبط إعداداتك على خادم الإنتاج المستهدف.
ابدأ بتصدير نماذجك إلى صيغتي ONNX وTensorRT مع تحسينات متنوعة، مثل الدفعات الديناميكية والدقة النصفية والتكميم (quantization). ثم شغّل model_analyzer مع مساحة بحث محددة للمعاملات. وقد يستغرق هذا وقتًا طويلًا، فاحتسِ كوب قهوة أو اخرج لتناول الغداء. وعند انتهائه يمكنك إنتاج تقرير ملخّص يقارن بين الإعدادات. وأخيرًا تختار أفضل إعداد وتطبّقه وتشغّل خدمة Triton الإنتاجية.
الخلاصة
بفضل أدائه العالي واستخدامه الفعّال للموارد، يُعدّ Triton أداة جاهزة للإنتاج لنشر النماذج. والأدوات المحيطة به، مثل perf_analyzer وmodel-analyzer، تتيح اختبار إعدادات متنوعة واختيار أفضلها للنشر بسرعة. وليس من السهل إتقانه في البداية، لكن متى فهمتَ مفاهيمه ومزالقه المعتادة يصبح أداة عملية لمهندسي تعلّم الآلة وDevOps. وتستخدم أدوات نشر أخرى Triton كبيئة تشغيل أساسية ضمن خطوط MLOps أكبر، مما يبسّط النشر أكثر. ولهذا يستحق الأمر أن تعرف كيف تتعامل مع إعدادات Triton. وفي المقالة القادمة سأشارك نصائح وحيلًا وأمثلة كود، فترقبوا!