إضافة مقاييس CPU و GPU والنظام إلى نقطة مقاييس خدمة BentoML
القطعة التي كانت ناقصة لمراقبة الخدمات المنشورة باستخدام BentoML.
تُعد مراقبة الخدمات المنشورة أمرًا أساسيًا إذا أردت الاستجابة بسرعة لمشكلات الأداء أو الأخطاء فور ظهورها. وعندما تعتمد الخدمة على نماذج تعلّم الآلة في الخلفية، يصبح من الحيوي مراقبة الموارد التي يعتمد عليها تشغيلها.
يوفر BentoML، وهو خيار شائع لتقديم نماذج تعلّم الآلة، واجهة REST API جاهزة للاستخدام تتضمن ميزات أساسية عامة مثل فحوصات السلامة (health checks) ومراقبة مقاييس الخدمة. وتُنشر المقاييس بصيغة open-telemetry ويمكن ربطها بـ Prometheus و Grafana للتجميع والمراقبة والتنبيه.
في هذه المقالة سأبيّن أولًا المقاييس التي يتتبعها BentoML افتراضيًا. بعد ذلك سأشرح المقاييس التي أرى أنها ناقصة وكيفية إضافتها. وأخيرًا سأوضح كيفية التحقق من التغيير المقترح وسأنظر في أثره على أداء الخدمة. هيا بنا!
لماذا BentoML؟
كما ذُكر في المقدمة، BentoML هو إطار عمل لبناء ونشر خدمات تعلّم الآلة الجاهزة للإنتاج. فبينما يعتمد MLFlow على Flask كخادم HTTP له (WSGI)، يستخدم BentoML الإطار FastAPI (ASGI)، وهو أنسب لتقديم النماذج في بيئة الإنتاج. وبعبارة أخرى، تكمن قوة BentoML في دعمه للتواصل غير المتزامن. ويعمل مع أطر عمل شائعة كثيرة، مثل scikit-learn و Transformers و ONNX و PyTorch و TensorFlow، لذلك يمكن استخدام إطار واحد لأنواع مختلفة من نماذج تعلّم الآلة. وفوق ذلك، توفر الأداة ميزات مفيدة كثيرة جاهزة، مثل توثيق واجهة الخدمة بصيغة OpenAPI ومقاييس أساسية عن عدد الطلبات وأزمنة المعالجة بصيغة Open Telemetry. وهي تجعل تحسين النشر سريعًا وبسيطًا من خلال فئات Runner متنوعة، مثل Triton Inference Server، والتجميع التكيفي للطلبات (adaptive request batching). وتتيح لك بناء تسلسلات من النماذج الموزعة والتحكم في موارد GPU و CPU وكذلك في عدد العمال (workers). ويأتي BentoML مع مخزن نماذج مدمج (Model Store) لإصدار النماذج، وصيغة تغليف bento، وأداة بناء حاويات Docker تجعل التحويل إلى حاويات والنشر سلسين.
إجمالًا، BentoML إطار عمل عام الأغراض لتطوير خدمات تعلّم الآلة يوفر كثيرًا من الميزات التي تحتاجها ويتيح بناء النماذج الأولية بسرعة. وفي الوقت نفسه هو قابل للضبط بدرجة عالية، لذا يمكن تكييفه مع متطلباتك. والأهم أنه يدعم أكثر أطر العمل استخدامًا، مما يعني أنه يناسب أي مشروع تعلّم آلة تقريبًا.
المقاييس الافتراضية
تعرض القائمة أدناه المقاييس التي تتتبعها خدمة BentoML افتراضيًا. ومن الواضح أنها مقاييس عامة تركز على الطلبات وتغطي خدمة الواجهة بأكملها والـ runners كلًا على حدة.
bentoml_runner_request_duration_seconds- عدد الثواني التي يحتاجها كل runner لإكمال الـ RPCbentoml_runner_request_in_progress- عدد استدعاءات RPC الجارية حاليًا في الـ runners إجمالًاbentoml_runner_adaptive_batch_size- حجم الدفعة التكيفي للـ runnerbentoml_runner_request_total- العدد الإجمالي لاستدعاءات RPC في الـ runnersbentoml_api_server_request_total- العدد الإجمالي لطلبات HTTP إلى الخادمbentoml_api_server_request_in_progress- عدد طلبات HTTP الجارية حاليًا على الخادم إجمالًاbentoml_api_server_request_duration_seconds- عدد الثواني اللازمة لإكمال طلب HTTP إلى الخادم
ما المقاييس الناقصة؟
في رأيي، الناقص هو مقاييس النظام التي تبيّن كيفية استهلاك الموارد أثناء معالجة الطلبات. وأهمها استخدام RAM و CPU، وللنماذج التي تستخدم تسريعًا عتاديًا، استهلاك VRAM و GPU أيضًا. ومن المفيد تتبع هذه المقاييس الأساسية لأي نموذج ذكاء اصطناعي، لأنها تتيح لك الحكم على مدى جاهزية نموذج الخدمة للتعامل مع عدد كبير من الطلبات، وتساعدك على اكتشاف تسرّبات الذاكرة المحتملة والحالات الحدّية التي تنخفض فيها الذاكرة.
إضافتها
لا تتضمن سجلات BentoML افتراضيًا مقاييس النظام. لكن بإمكاننا توسيع الفئة Runner في إطار عمل BentoML وتسجيل أي مقاييس مخصصة نريدها – وفي حالتنا مقاييس النظام التي تغطي استخدام CPU و GPU و RAM و VRAM. تجمع الشيفرة أدناه هذه المقاييس باستخدام المكتبتين psutil و pynvml.
import psutil
import pynvml
import bentoml
pynvml.nvmlInit()
driver_version = pynvml.nvmlSystemGetDriverVersion()
gpu_number = pynvml.nvmlDeviceGetCount()
metrics_system_keys_dict = {
"node_ram_usage_percentage": "RAM usage in %",
"node_ram_usage_bytes": "RAM usage in bytes",
"node_ram_total_bytes": "RAM total in bytes",
"node_ram_free_bytes": "RAM free in bytes",
"node_swap_usage_percentage": "swap memory usage in %",
"node_swap_usage_bytes": "swap memory usage in bytes",
"node_swap_total_bytes": "swap total memory in bytes",
"node_swap_free_bytes": "swap memory free in bytes",
"node_disk_usage_percentage": "disk usage in %",
"node_disk_usage_bytes": "disk usage in bytes",
"node_disk_total_bytes": "disk total in bytes",
"node_disk_free_bytes": "disk free in bytes",
"node_process_number": "Number of processes runnning in the system",
}
metric_dict = {
key: bentoml.metrics.Gauge(name=key, documentation=value)
for key, value in metrics_system_keys_dict.items()
}
metric_gpu_keys_dict = {
"total_memory": "VRAM total in bytes",
"free_memory": "VRAM free in bytes",
"used_memory": "VRAM used in bytes",
"power_usage": "GPU device power usage in Watts",
"fan_speed": "GPU fan speed in rpm",
"utilization_percent": "GPU utilization in %"
}
for gpu_device in range(0, gpu_number):
for key, value in metric_gpu_keys_dict.items():
name = f"node_gpu_{gpu_device}_{key}"
metric_dict[name] = bentoml.metrics.Gauge(name=name, documentation=value)
def update_gpu_metrics():
for gpu_device in range(0, gpu_number):
handle = pynvml.nvmlDeviceGetHandleByIndex(gpu_device)
info = pynvml.nvmlDeviceGetMemoryInfo(handle)
metric_dict[f"node_gpu_{gpu_device}_total_memory"].set(info.total)
metric_dict[f"node_gpu_{gpu_device}_free_memory"].set(info.free)
metric_dict[f"node_gpu_{gpu_device}_used_memory"].set(info.used)
metric_dict[f"node_gpu_{gpu_device}_power_usage"].set(
pynvml.nvmlDeviceGetPowerUsage(handle)
)
metric_dict[f"node_gpu_{gpu_device}_fan_speed"].set(
pynvml.nvmlDeviceGetFanSpeed(handle)
)
metric_dict[f"node_gpu_{gpu_device}_utilization_percent"].set(
pynvml.nvmlDeviceGetUtilizationRates(handle).gpu
)
cpu_list = psutil.cpu_percent(percpu=True)
cpu_no = len(cpu_list)
cpu_usage_metric_list = []
for index in range(0, cpu_no):
key = f"node_cpu_{index}_usage_percentage"
metric_dict[key] = bentoml.metrics.Gauge(
name=key,
documentation=f"CPU{index} usage in %",
)
def update_metrics():
"""Update system metrics."""
for index, cpu_usage in enumerate(psutil.cpu_percent(percpu=True)):
key = f"node_cpu_{index}_usage_percentage"
metric_dict[key].set(cpu_usage)
ram = psutil.virtual_memory()
metric_dict["node_ram_usage_percentage"].set(ram.percent)
metric_dict["node_ram_usage_bytes"].set(ram.active)
metric_dict["node_ram_total_bytes"].set(ram.total)
metric_dict["node_ram_free_bytes"].set(ram.free)
swap = psutil.swap_memory()
metric_dict["node_swap_usage_percentage"].set(swap.percent)
metric_dict["node_swap_usage_bytes"].set(swap.used)
metric_dict["node_swap_total_bytes"].set(swap.total)
metric_dict["node_swap_free_bytes"].set(swap.free)
disk = psutil.disk_usage("/")
metric_dict["node_disk_usage_percentage"].set(disk.percent)
metric_dict["node_disk_usage_bytes"].set(disk.used)
metric_dict["node_disk_total_bytes"].set(disk.total)
metric_dict["node_disk_free_bytes"].set(disk.free)
metric_dict["node_process_number"].set(len(psutil.pids()))
update_gpu_metrics()
تذكّر أن المكتبة pynvml تعتمد في الخلفية على مكتبة NVIDIA NVML، لذا تأكد من تثبيتها في بيئة التنفيذ لديك (مثل حاوية Docker). وستجد مزيدًا من التفاصيل في مستودع المشروع: https://github.com/gpuopenanalytics/pynvml.
نريد من الفئة Runner أن تستدعي الدالة update_metrics مباشرة بعد تشغيل الاستدلال على نموذج الذكاء الاصطناعي داخل الدالة __call__.
"""File containing Transformer model handler."""
from typing import Any, Dict, List
import bentoml
from bentoml.io import JSON
from examples.services.metrics import update_metrics
MODEL_NAME = "classification-pipeline"
SERVICE_NAME = "classification-pipeline-service"
model = bentoml.transformers.get(f"{MODEL_NAME}:latest")
_BuiltinRunnable = model.to_runnable()
class CustomRunnable(_BuiltinRunnable):
@bentoml.Runnable.method(batchable=True, batch_dim=0)
def __call__(self, input_data: List[str]) -> Dict[str, Any]:
output = self.model(input_data)
update_metrics()
return output
runner = bentoml.Runner(CustomRunnable)
svc = bentoml.Service(
SERVICE_NAME,
runners=[runner],
models=[model],
)
@svc.api(input=JSON(), output=JSON()) # type: ignore
async def classify(input_series: Dict[str, Any]) -> Dict[str, Any]:
"""Perform inference on the deployed model.
Args:
input_series: Dictionary with key "data" containing text.
Returns:
JSON response with key "prediction" containing list of predicted
classes.
"""
response = await runner.async_run(input_series["data"]) # type: ignore
return {"predictions": response}
الآن، بمجرد نشر النموذج، ستعرض نقطة المقاييس الافتراضية (/metrics) لخدمة BentoML سجلات إضافية عن استهلاك موارد النظام.
النتائج
للتحقق من أن مقاييسنا تُجمَّع وتُعرض بصيغة open-telemetry على نقطة /metrics الافتراضية، يمكننا فتح عنوان الخدمة التي تشغّل نموذج تعلّم الآلة في المتصفح. وفي صفحة توثيق الواجهة على Swagger، يمكننا إرسال طلب استدلال تجريبي إلى النموذج باستعلام نقطة /classify بحمولة مناسبة ثم استدعاء نقطة /metrics. وإلى جانب السجلات الافتراضية، سيتضمن الخرج مقاييس عن استهلاك موارد النظام.
الأداء
المنطق الإضافي المضاف إلى شيفرة الـ Runner يجعل النموذج يستجيب ببطء أكبر. وفي اختبارات الأداء، يضيف جمع المقاييس نحو 5 ms من زمن الاستجابة في المتوسط. وهذا الحمل ثابت، إذ لا يعتمد على نموذج تعلّم الآلة المستخدم، ومن المرجح جدًا أن يمكن تحسينه.
الخلاصة
أوضحت هذه المقالة كيف تبدو المقاييس التي توفرها خدمة BentoML افتراضيًا وكيف يمكن توسيعها حسب الحاجة. تتيح مقاييس النظام مراقبة الموارد الرئيسية التي تستخدمها نماذج تعلّم الآلة بكثافة، وتتبعها يتيح اكتشاف تسرّبات الذاكرة والحالات الحدّية وإصلاحها.
في مقالتي القادمة سأوضح كيفية استخدام أداة اختبار الحمل مع تكامل Grafana لمراقبة استخدام موارد النظام أثناء معالجة الطلبات، بالاعتماد على المقاييس المخصصة التي قُدمت هنا. ترقبوا!