تقدير المشروع
← كل المقالات

تشغيل نماذج LLM بسرعة أكبر في بيئة الإنتاج

استعرضت هذه المقالة مجموعة من الأدوات والمكتبات الممتازة لنشر نماذج LLM وإدارة إصداراتها ومراقبتها بكفاءة.

8 دقائق قراءة
تعلّم الآلةLLMروبوتات الدردشةTriton

يصاحب وضع نماذج اللغة الكبيرة (LLM) في أنظمة الإنتاج عدد من الصعوبات، وإيجاد الاختناقات هو المفتاح لضبط أدائها. أبرز الاختناقات المعتادة عند تشغيل LLM في الإنتاج:

  1. زمن الاستجابة. تولّد نماذج LLM مخرجاتها رمزًا (token) واحدًا في كل مرة بحكم تصميمها، لذا تستغرق التنبؤات وقتًا أطول مع المدخلات الطويلة والاستجابات المولَّدة الطويلة.
  2. معدل المعالجة (Throughput). قد يؤدي ورود عدد كبير من الطلبات إلى خادمك كل ثانية، مقترنًا بزمن استجابة مرتفع، إلى تجميد الخادم أو التسبب في انتهاء مهلة كثير من الطلبات. والطريقة الرئيسية لرفع معدل معالجة الخادم بتكلفة إضافية صغيرة فقط هي تجميع الطلبات، أو الأفضل استخدام التجميع أثناء التنفيذ (inflight batching).
  3. متطلبات الذاكرة. تعتمد مباشرة على حجم النموذج وطول المدخل. فالنموذج الأكبر والمدخل الأطول كلاهما يعنيان ذاكرة VRAM أكبر.
  4. استهلاك الطاقة. تحتاج النماذج الأكبر ذات المدخلات والمخرجات الأطول إلى حوسبة أكثر ووقت أطول للاستدلال، فتستهلك طاقة أكبر. وفي أنظمة الإنتاج واسعة النطاق قد تشكّل هذه تكلفة كبيرة.
  5. قابلية التوسع. تحتاج نماذج LLM إلى أجهزة متطورة باهظة الثمن. وإضافة مزيد من الأجهزة لتوسيع النظام مكلفة جدًا، لذا فإن استخراج أقصى أداء من جهاز واحد أمر أساسي.
  6. تحديثات النموذج وإدارة الإصدارات.

تتطلب معالجة هذه الاختناقات مزيجًا من تحسين العتاد وضبط معمارية النموذج واستراتيجيات النشر الفعالة. ومن الضروري أيضًا مراعاة المتطلبات والقيود الخاصة ببيئة الإنتاج عند نشر نماذج LLM. فيما يلي أستعرض أهم الجوانب في التعامل مع هذه التحديات.

إيجاد الاختناق

ينبغي أن يبدأ تحسين أداء نموذج منشور دائمًا بتحديد المشكلة بدقة. فكما ذُكر أعلاه، قد نواجه تحديات كثيرة، لذا علينا أولًا أن نحدد أيها الأهم بالنسبة لنا. فإذا كانت العقبة الأولى هي جعل النموذج يتسع في وحدة GPU، فمن الواضح أن تحسين الذاكرة هو نقطة البداية. وتشمل الخيارات تكميم (quantization) النموذج إلى float16 أو float8، أو تحميل طبقات النموذج واحدة تلو الأخرى أثناء الاستدلال. فبعد حساب مخرجات الطبقة، تُنقل تلك الطبقة خارج GPU وتُنقل الطبقة التالية من CPU إلى GPU. وبهذه الطريقة يمكنك تشغيل نموذج بأي حجم على نظامك، شرط أن تتسع أكبر طبقة في GPU. هذه الميزة متاحة في مكتبة accelerate.

وبمجرد تشغيل النموذج، يمكننا الانتقال إلى التحديات الأخرى. فإذا كان للنظام عدد قليل من المستخدمين، أو عدد كبير منهم مع معدل معالجة مرتفع، لكن الاستجابات تعود ببطء، فقد نرغب في إضافة بثّ الاستجابات أو تقليل زمن الاستدلال. ومن طرق ذلك طبقات Flash-Attention، وتحديد أقصى عرض للحزمة (max beam width)، وإزالة حشو المدخلات، واستخدام طبقات التطبيع بجذر متوسط المربعات (RMS norm) بدلًا من تطبيع المثيل (instance normalization)، واستخدام GEneral Matrix to Matrix Multiplication (GEMM)، أو دمج طبقات GatedMLP أفقيًا. ويمكن للتكميم أيضًا أن يجعل الاستدلال أسرع، لكن فقط عند استخدام نوى (kernels) مكمَّمة. فمعظم طرق التكميم تُصغّر النموذج فحسب دون تسريع الاستدلال. ولاحظ كذلك أن ليست كل معماريات GPU تدعم كل أنواع الدقة، لذا ينبغي أن تستند قرارات التكميم إلى ما تستطيعه معمارية GPU المستهدفة. تتوفر مصفوفة دعم الدقة لأشهر وحدات NVIDIA GPU [هنا](https://github.com/NVIDIA/TensorRT-LLM#:~:text=may, however, apply.-,Precision,-Various numerical precisions).

أما إذا كان زمن الاستجابة منخفضًا بالفعل لكن معدل المعالجة، أي عدد المستخدمين الذين يستطيع النظام خدمتهم في وقت واحد، هو المشكلة، فيمكننا تطبيق التجميع الخلوي (cellular batching) أو الجدولة على مستوى التكرار (iteration-level scheduling) أو paged attention. تتيح الأوليان انضمام الطلبات الواصلة حديثًا وإعادة الطلبات المنتهية في كل تكرار من حلقة توليد الرموز. أما Paged attention فهي مخطط ذكي لإدارة ذاكرة GPU يُبقي تجزؤ الذاكرة عند الحد الأدنى ويسرّع الاستدلال أيضًا عبر تخزين KV مؤقتًا.

مهما كانت المشكلة، أحب أن أبدأ بتحليل أداء الشيفرة (profiling)، لأنه قد تكون هناك أمور غريبة أخرى تؤثر في النظام. فعلى سبيل المثال، أثناء تحليل شيفرة LLM قبل بضعة أشهر، اكتشفت أنها تحاول تحميل النموذج بدقة bfloat16 على Tesla T4، التي لا تدعم bfloat16، فعادت إلى float32 واستهلكت ضعف الذاكرة. وحتى أمر بسيط مثل ترقية CUDA من 11.7 إلى 12.3 قد يجعل النموذج أسرع بنسبة 20%.

TensorRT-LLM

هذه أداة ممتازة لتحسين نماذج LLM، وتنفّذ كل تحسينات سرعة الاستدلال واستهلاك الذاكرة المذكورة أعلاه. للبدء مع TensorRT-LLM، اتبع دليل التثبيت الرسمي في مستودع GitHub الخاص به. الخطوة الأساسية في تسريع نموذج باستخدام TRT-LLM هي تحويله. بالنسبة لإصدارات TRT-LLM الأقدم من 8.0، يُجرى التحويل بالأمر التالي:

مقتطف الشيفرة 1. بناء ملف محرك TensorRT من نموذج معيّن. الإصدار 1.

في الإصدارات الأحدث، يتطلب توليد المحرك خطوتين:

مقتطف الشيفرة 2. بناء ملف محرك TensorRT من نموذج معيّن. الإصدار 2، الجزء 1.

مقتطف الشيفرة 3. بناء ملف محرك TensorRT من نموذج معيّن. الإصدار 2، الجزء 2.

بعد بناء ملفات المحرك، يمكنك إجراء اختبار استدلال باستخدام السكربت _python3 /trtllm/examples/run.py.

التجميع أثناء التنفيذ (Inflight batching)

مع نهج التجميع الساذج، إما تنتظر الطلبات الأسبق الطلبات اللاحقة، أو تُحجب الطلبات الواردة حتى تنتهي الطلبات الأسبق، مما يسبب تأخيرات طويلة في الطوابير. يستخدم TensorRT-LLM المكوّن BatchManager لتوفير التجميع أثناء التنفيذ عند الطلب. ويتيح ضبط العلَم _-use_inflightbatching أثناء تحويل النموذج أن يضيف النموذج طلبات جديدة إلى دفعة طلبات قيد المعالجة بالفعل. فبدلًا من انتظار انتهاء الطلب الأسبق، يمكن لطلب جديد الانضمام إلى الدفعة على مستوى التكرار، أي بعد إنتاج الرمز الجديد للتكرار الحالي. وهذا يرفع معدل المعالجة كثيرًا بتكلفة حسابية وذاكرة إضافية قليلة فقط.

Paged Attention

يرفع التجميع أثناء التنفيذ معدل معالجة النموذج، لكن حجم الدفعة الكبير الذي يجلبه يرفع أيضًا استهلاك الذاكرة. تواجه الأنظمة القائمة صعوبة لأن الذاكرة المحجوزة لذاكرة المفتاح والقيمة المؤقتة (KV cache) لكل طلب كبيرة وحجمها يتغير ديناميكيًا. وإدارة هذه الذاكرة بشكل سيئ قد تهدر جزءًا كبيرًا منها عبر التجزؤ والتكرار غير الضروري، مما يحدّ في النهاية من حجم الدفعة الذي يستطيع النظام معالجته بكفاءة. وهنا يأتي دور Paged Attention، وهي خوارزمية مستوحاة من تقنيات الذاكرة الافتراضية والتصفيح (paging) الكلاسيكية المستخدمة في أنظمة التشغيل. فبدلًا من حجز KV cache ككتلة ذاكرة متصلة واحدة، تقسّمها إلى كتل أصغر لا يشترط أن تكون متصلة. وإضافة إلى ذلك، تضيف منطقًا لمشاركة كتل KV cache بين الطلبات وداخلها. والنتيجة نظام لخدمة LLM بهدر شبه معدوم في ذاكرة KV cache ومشاركة مرنة لها داخل الطلبات وفيما بينها. ومع التجميع أثناء التنفيذ في TensorRT، يجب تفعيل paged attention أيضًا. ويُفعَّل PaggedAttention بالعلَم _–paged_kvcache. لاحظ أن KV cache المقسّمة تُخصَّص في تنفيذ TensorRT مسبقًا، وليس عند الطلب كما تصف الورقة البحثية. ونتيجة لذلك، نحتاج إلى ذاكرة VRAM أكبر بنحو 60% مما يتطلبه النموذج نفسه. ويعتمد مقدار الذاكرة المحجوزة لـ KV cache تحديدًا على حجم الدفعة وأقصى أطوال المدخل/المخرج، وفي النهاية على أقصى عدد من الرموز المولَّدة.

Triton

Triton أداة لخدمة النماذج. وتتكامل مع TensorRT-LLM عبر TensorRT-LLM-backend. وعند نشر TensorRT-LLM مع Triton، يجب أن تتطابق الإصدارات المحددة. فعلى سبيل المثال، تأتي صورة حاوية خادم Triton 24.01 مع TensorRT-LLM 7.1. وتجميع النماذج في محرك TensorRT بإصدار شيفرة مختلف سيسبب أخطاء وقت الاستدلال. وقد تكون صور docker الجاهزة التي تتضمن TenroRT-LLM-backend مريحة جدًا. ستجد جميع الصور المتاحة في صفحة Triton على NGC.

لخدمة نموذج، علينا إعداد 4 مجلدات تتبع التخطيط الموضح في الشكل 1.

الشكل 1. تخطيط المجلدات لخادم الاستدلال Triton.

  • Preprocessing. يحتوي هذا المجلد على السكربتات والتعليمات الخاصة بتحضير الطلبات قبل وصولها إلى النموذج.
  • Tensrrt_llm. يحتوي هذا المجلد على ملفات محرك النموذج وملفات إعداداته وملفات إعدادات تصف بنى بيانات المدخلات والمخرجات وأنواعها.
  • Postprocessing. يحتوي هذا المجلد على السكربتات والتعليمات الخاصة بمعالجة مخرجات النموذج لاحقًا.
  • Ensemble. يحتوي هذا المجلد على السكربتات والتعليمات التي تنسّق المعالجة المسبقة واستدلال النموذج والمعالجة اللاحقة. ويمكنه أيضًا التعامل مع عمليات أخرى عند الحاجة، مثل تشغيل نموذجين الواحد بعد الآخر.

تصف ملفات Pbtxt مدخلات/مخرجات النموذج وشكلها ونوعها وبعض المعاملات الفائقة عند الاقتضاء. ومن بين المعاملات الفائقة الأخرى، يكون حجم الدفعة والقيمة المنطقية decoupled إلزاميين. وعندما تُضبط الأخيرة على False، يعيد النموذج استجابة واحدة بالضبط لكل طلب.

يبدأ اسم كل مجلد فرعي برقم يدل على إصدار النموذج/الشيفرة. ويمكن وضع نقطة حفظ للنموذج أو سكربت Python داخل المجلد. يُنفَّذ سكربت Python وفق استراتيجية الـ ensemble، بينما يحمّل الخادم نقطة حفظ النموذج تلقائيًا. يمكنك إيجاد المزيد عن مستودع نماذج Triton هنا.

يتضمن Triton أيضًا محلل نماذج مفيدًا يمكنه اقتراح معاملات خادم Triton وإعداد العتاد لأفضل معدل معالجة وأقل زمن استجابة. ويمكنه مثلًا اقتراح حجم الدفعة الأمثل أو عدد المثيلات.

بمجرد جاهزية مستودع نماذج Triton، يمكنك تشغيل خادم Triton بالأمر:

مقتطف الشيفرة 4. تشغيل خادم triton.

أو عند استخدام حاوية docker:

مقتطف الشيفرة 5. تشغيل خادم triton باستخدام docker.

الخلاصة

استعرضت هذه المقالة مجموعة من الأدوات والمكتبات الممتازة لنشر نماذج LLM وإدارة إصداراتها ومراقبتها بكفاءة. وإذا كان جعل نموذجك فعّالًا لا يزال يمثل عناء، فلا تتردد في التواصل معنا. سنساعدك بكل سرور.