تقدير المشروع
← كل المقالات

مقارنة بين Pytorch وTensorFlow وJAX وFlax من منظور مهندس تعلّم آلة

مع هذه المقالة وأمثلتها المرافقة، يصبح فهم المحاذير ونقاط الضعف الخاصة بمختلف أُطر العمل أمرًا مباشرًا.

9 دقائق قراءة
التعلّم العميقتعلّم الآلةالأداء

أي إطار عمل للتعلّم العميق يتصدر؟

عند دخولك عالم تعلّم الآلة، قد تشعر بالإرهاق من كثرة المكتبات التي يمكن الاختيار بينها، مع معسكرات منقسمة كالأحزاب السياسية أو الأديان (بما يقارب أُطر عمل الواجهات الأمامية). ومن بين الخيارات الكثيرة تبرز قلة منها بوصفها الأكثر شعبية: Pytorch وTensorflow (+ Keras) وPytorch Lightning، ومؤخرًا JAX (مع إطار الشبكات العصبية الخاص به – Flax). ويمكن استخدام كلٍّ منها على مستوى مختلف من التجريد: يقع Pytorch Lightning وKeras في مستوى أعلى، ويوفّر Tensorflow وPyTorch وFlax تحكمًا أكبر، ويعمل JAX على أدنى مستوى.

في هذه المقالة أريد أن أعرض أمثلة نوعية تساعد على مقارنة نقاط القوة والضعف في أُطر العمل هذه، بحيث يسهل فهم إيجابياتها وسلبياتها.

Tensorflow + Keras

أنشأت Google Brain إطار TensorFlow وأصدرته عام 2015. ويغطي الإطار نطاقًا واسعًا من مهام تعلّم الآلة، من الانحدار الخطي الأساسي إلى معماريات التعلّم العميق المتطورة، ويمنح تحكمًا منخفض المستوى في معمارية النموذج.

أما التحكم الأعلى مستوى فمتاح عبر Keras، الذي أصبح مكوّنًا أساسيًا في Tensorflow بدءًا من الإصدار 2). ومع ذلك فإن Keras 3.0 يبتعد مرة أخرى عن كونه خاصًا بـ Tensorflow فقط ويدعم عدة واجهات خلفية: JAX وTensorflow وPytorch.

ويُعرف Tensorflow أيضًا بتنوع المنصات التي يستهدفها: الأجهزة المحمولة (Tensorflow Lite)، والأنظمة الموزعة واسعة النطاق (Tensorflow Serving)، والنشر بمستوى الإنتاج (TFX - Tensorflow Extended)، والنشر على الويب (Tensorflow.js لتشغيل النماذج في Node.js).

Pytorch

شعبية أُطر العمل

مدى شعبية أُطر العمل في أوراق تعلّم الآلة الجديدة، المصدر: visio.ai

صدر Pytorch عام 2016 عن مختبر أبحاث الذكاء الاصطناعي في Facebook (FAIR) وكسب الباحثين والمطورين بسرعة. ويعود ذلك في الغالب إلى رسمه البياني الحسابي الديناميكي وسهولة استخدامه، اللذين أزاحا Tensorflow عن موقعه المستقر الذي كان يحتله آنذاك.

في تحليلنا المعمّق لنموذج الالتهاب الرئوي، دربنا النموذج وقيّمناه باستخدام PyTorch.

كان الرسم البياني الحسابي الديناميكي (Dynamic Computation Graph) (أي أن الرسم البياني يُبنى أثناء التنفيذ) ثوريًا في ذلك الوقت، إذ جعل تنقيح أخطاء الشبكة وإجراء تغييرات أثناء التشغيل أسهل بكثير. وكانت هذه المعمارية وواجهة البرمجة أنسب لأسلوب التطوير على طريقة Python (Pythonic) من أُطر العمل الأخرى (مثل Caffe). ومن المزايا الكبرى الأخرى دعمه القوي لحساب التدرجات تلقائيًا، مما بسّط كثيرًا تنفيذ نماذج تعلّم الآلة. كما يتيح PyTorch تنظيم الكود بطريقة مرنة ووحداتية، مما جعله شديد الشعبية في البحث والتطوير.

ومع مرور الوقت ونمو شعبيته في مجتمع المطورين، توسّع النظام البيئي لـ Pytorch توسعًا كبيرًا، مع توثيق ممتاز وأدوات ومكتبات متخصصة (تغطي مجالات مختلفة – الصوت، والرؤية الحاسوبية أو النصوص/معالجة اللغات الطبيعية – إضافةً إلى النشر، مثل النشر على الأجهزة الطرفية)، وكذلك مكتبات أكثر تخصصًا: مكتبة الرؤية الحاسوبية الطبية Monai، ومكتبة الانتشار للذكاء الاصطناعي التوليدي Diffusers، أو، لبيانات سحابة النقاط ثلاثية الأبعاد، Pytorch Geometrics وPytorch3D. وفوق ذلك، تتيح مكتبات مثل fast.ai البدء بسرعة في بناء حلول مفيدة وقادرة، مع وصول سهل إلى أحدث الأفكار من عالم الأبحاث.

Pytorch Lightning

Pytorch Lightning إطار عمل عالي المستوى مبني فوق Pytorch يجعل تطوير نماذج التعلّم العميق وتدريبها أبسط. فهو يخفي العمليات المعقدة التي كان لا بد من كتابتها يدويًا سابقًا (مثل حلقات التدريب وخطوات التحقق)، مما يتيح للباحثين التركيز على الأجزاء الجوهرية من تطوير النموذج.

أهم مزايا الإطار:

  • توسيع النطاق بسهولة عبر عدة وحدات GPU وعقد،
  • المعالجة التلقائية للمهام الروتينية مثل حفظ نقاط التحقق (checkpointing) والتسجيل (logging) أو الإيقاف المبكر (early stopping).
  • بنية وحداتية أكثر، مما يجعل الكود أسهل قراءةً وصيانةً.

JAX +Flax

JAX مكتبة مفتوحة المصدر للحوسبة العددية أنشأتها Google تجمع بين مرونة Python وتسريع العتاد. وأهم مزاياها:

  • اشتقاق تلقائي يعمل أصلًا مع Python وNumPy.
  • التصريف الفوري (Just-In-Time Compilation) (JIT)، الذي يسرّع دوال Python بتحويلها إلى كود آلة محسَّن يعمل على CPU وGPU وTPU.
  • تجهيز متجهي (vectorisation) وتوازٍ واسعان، مما يتيح تشغيل الكود بكفاءة على منصات عتاد متنوعة.

أما Flax فهي بدورها مكتبة شبكات عصبية عالية المستوى مبنية على JAX، وتطوّرها Google أيضًا. هدفها الرئيسي تصميم وحداتي يسهل تخصيصه. فهي تدير معاملات النموذج وحالته والعشوائية بطريقة منظّمة، مما يتيح لها فصل منطق النموذج عن منطق التدريب ويجعل الكود أسهل تنقيحًا.

يُعدّ الجمع بين JAX وFlax الأداة المفضلة لدى Deepmind وGoogle AI على حد سواء.

التحليل

استعرضنا الخلفية العامة والدافع لكل إطار عمل، لكننا نريد أيضًا مقارنات نوعية، مثل الشعبية، إلى جانب مقاييس تجربة الاستخدام والأداء مثل زمن التنفيذ وسهولة الكتابة وغيرها. يقدّم القسم التالي صورة أوضح عن أي إطار عمل يناسب أي مهمة على أفضل وجه.

الشعبية

المنظور من نجوم GitHub

فيما يلي مقارنة لمدى شعبية أُطر العمل المختارة على GitHub.

الشعبية على GitHub

يتصدر Pytorch بوضوح (81 ألف نجمة)، يليه Tensorflow عن قرب (74 ألف نجمة)، ثم إطار Keras الوثيق الصلة به (61 ألفًا). أما JAX (29 ألف نجمة) وPytorch Lightning (28 ألف نجمة) فهما مكتبتان أحدث، بينما Flax (6 آلاف نجمة) هي الأقل شعبية، لكونها الأحدث بين الجميع.

منظور الأبحاث

وفضلًا عن ذلك، إذا نظرنا إلى أي إطار عمل تستخدمه الأوراق الجديدة، فإن Pytorch يهيمن بوضوح في مجتمع الأبحاث (أكثر من 75% من أوراق التعلّم العميق الجديدة تعتمد على Pytorch). وهذا يبيّن في النهاية أن الناس أميل إلى استخدام النماذج الجديدة في Pytorch؛ ومع ذلك، فإن أدوات التجميع مثل Transformer من Hugging Face كثيرًا ما تتيح البقاء مستقلًا عن النموذج دون تحويل النماذج يدويًا.

مثال بسيط على الرؤية الحاسوبية

الإعداد التجريبي

في هذا الحل نركّز على مثال بسيط يستخدم:

  • شبكة عصبية مكوّنة من 5 طبقات Conv مع Batch Normalization (لأنها تجعل مرحلتي التدريب والاختبار تتصرفان بشكل مختلف)
  • مجموعة بيانات Imagenette، التي تضم الفئات العشر الأسهل وصولًا من ImageNet، وتعطي 9472 مثالًا.
  • محسِّن Adam بمعدل تعلّم بسيط قدره 0.001.

الأداء

يتناول هذا القسم أسلوبي تنفيذ رئيسيين في تعلّم الآلة: أحدهما يناسب مجموعات البيانات الكبيرة ويعمل بطريقة البث (streaming)، والآخر الأنسب لمجموعات البيانات الأصغر التي تتسع بالكامل في ذاكرة GPU.

التنفيذ الجاهز (قائم على البث)

Pytorch Pytorch lightning Tensorflow + Keras JAX
232s (180s using the native loader) 180s 64s 84s

هنا تُحمَّل البيانات بطريقة البث، أي أن كل صورة تُجلب عبر محمِّل بيانات (data loader) عند الحاجة إليها فقط. يمكن ضبط كل إعداد أكثر بطرق كثيرة، لكن هدفنا تنفيذ بسيط جاهز. وتُظهر النتائج أن Tesorflow وJAX أسرع وأن Pytroch وPytorch lightning أبطأ. والتفسير بسيط: يحمّل Pytorch وPytorch lightning الصور باستخدام PIL، بينما يعتمد Tensorflow وFLAX على التنفيذ الأصلي لـ TF. وبتجربة Dataloader مخصص لـ Pytorch (باستخدام torchvision.io.read_image())، تمكّنا من خفض زمن المعالجة بنسبة 22% (إلى 180s). ومع ذلك فهو ما زال أبطأ بكثير من معالجة TF (التي تستخدم داخليًا الدالة tf.io.read_file() المحسَّنة بدرجة عالية).

التنفيذ كليًا في الذاكرة (قائم على الذاكرة)

بخلاف الإعداد السابق، استخدمنا هنا مجموعة فرعية من 3/10 فئات بسبب قيود الذاكرة) ووضعنا مجموعة البيانات كاملة على GPU (مما يقلل أثر محمِّلات البيانات الأبطأ). في هذا الإعداد يبدو Pytorch أسرع بكثير من البدائل، ويحقق PyTorch Lightning وJAX أزمنة متقاربة، ويكون Tensorflow الأبطأ. وقد يشير هذا إلى أن Pytorch Lightning وKeras يحملان بعض الحمل الإضافي بسبب ميزاتهما الإضافية.

كلا المثالين (القائم على البث والقائم على الذاكرة) تجربتان بسيطتان على مجموعة بيانات Imagenette. وبدلًا من إثبات أي إطار عمل هو الأفضل، فإنهما يبرزان بوضوح بعض المحاذير المخبّأة خلف واجهة البرمجة الأساسية. وسيُشرح بعض هذه المحاذير، التي تطرقنا إليها بالفعل (مثل تحميل البيانات)، وسيُتناول بعضها الآخر في القسم التالي.

تجربة استخدام الكود وتحليله

يستخدم كل مثال إعدادًا افتراضيًا مماثلًا، ويحمّل مجموعة فرعية من Imagenet تُسمى Imagenette (الفئات العشر الأسهل وصولًا من ImageNet) بـ 9472 مثالًا. فيما يلي مقارنة لأسطر الكود (LOCs)، باستثناء الاستيرادات والإعدادات التي يجب ضبطها.

مقارنة أسطر الكود عبر التنفيذات في أُطر العمل المختلفة

يحتاج Pytorch وTensorflow إلى أكبر عدد من الأسطر، بينما JAX هو الأكثر إيجازًا (وإن كان قد يتطلب ضبط بعض متغيرات النظام). وما ينبغي أن يلفت الانتباه هنا هو خصائص كل إطار عمل. يتيح Pytorch تجزئة قوية لقاعدة الكود (بنهج برمجة كائنية التوجه في بناء النماذج)، ويذهب Pytorch Lightning خطوة أبعد بتطبيق نهج مماثل على مستوى البيانات. والنتيجة كود أنظف بكثير وأسهل فهمًا.

بدأ Tensorflow بأسلوب وظيفي أكثر ثم انتقل لاحقًا إلى واجهة برمجة قائمة على التفريع (subclassing) (مستوحاة من نجاح Pytorch)، وهي تتيح ذلك أيضًا. غير أن مجموعات البيانات ومحمِّلاتها في ذلك الإطار ما زالت تُكتب في الغالب بأسلوب وظيفي.

فلسفة Flax وJAX هي إبقاء معمارية النموذج وخصائص التدريب مستقلتين عن بعضهما. وبناءً على ذلك، يُتوقع منك إنشاء TrainingState يمكنه الوصول إلى معاملات النموذج والمحسِّن المختار ومعدل التعلّم، دون المساس بمعمارية النموذج نفسها.

وجدير بالذكر أن Tensorflow راكم بعض الدين التقني على مر السنين، ويظهر ذلك في التغييرات الكاسرة (وفي ضعف الدعم والتوافق عمليًا بين Keras 3.0 وTF2)

فروقات مثيرة للاهتمام بين أُطر العمل

مُهيِّئات مختلفة

فرق ملحوظ آخر بين أُطر العمل يكمن في كيفية تهيئتها للأوزان افتراضيًا:

مقارنة توزيع الأوزان الأولية لتهيئات Xavier وKaming وLeCun

تراعي Kaming عدد الوحدات الداخلة في الطبقة (في طبقة الالتفاف: عدد قنوات الدخل مضروبًا في حجم النواة)، بينما تراعي تهيئة Xavier أيضًا الوحدات الخارجة (fan_out). وتعمل تهيئة LeCun (وهي صيغة من تهيئة Xavier) بشكل أفضل مع الطبقات ذات دالة التنشيط tanh.

قد تبدو كلها متشابهة، لكن المُهيِّئات المختلفة يمكن أن تؤثر بقوة في كيفية بدء النماذج للتدريب والاتجاه الذي تسلكه، لذا فإن الانتباه إلى مثل هذه التفاصيل قد يُحدث فرقًا كبيرًا عند نقل الكود إلى إطار عمل جديد.

واجهات معالجة خلفية مختلفة

كما ذُكر في قسم الأداء، هناك بعض الاختلافات في كيفية التعامل مع الصور – وبالتالي تعزيز البيانات (data augmentation). يعتمد Pytorch على PIL، بينما يستخدم Tensorflow وJAX حلولًا أصلية أكثر. وهذا سيف ذو حدين: فتعزيزات الصور القائمة على PIL أسهل في التنفيذ، لكنها قد تكون أقل تحسينًا من الحلول الأصلية وينتهي بها الأمر إلى إطالة المعالجة المسبقة (كما حدث في مثالنا القائم على البث).

خوارزميات مختلفة لتخصيص ذاكرة GPU

يخصص Pytorch وPytorch Lightning الذاكرة تدريجيًا، فيأخذان المزيد كلما ظهرت الحاجة. أما Tensorflow وJAX فيخصصان بشراهة، مما قد يؤدي إلى أخطاء غريبة عند استخدامهما ضمن النطاق نفسه. وهذه المشكلة المعروفة موصوفة على موقع JAX ويمكن إصلاحها ببضعة أسطر من الكود.

يمكن أن تؤثر هذه الاستراتيجيات المختلفة في زمن المعالجة، لكنها قد تستحوذ أيضًا على ذاكرة أكبر كلما لزم، فتمنع المكونات الأخرى التي قد تحتاج إلى GPU من استخدامه.

دعم النماذج الموجودة

يُظهر التحليل ككل أن JAX خيار متين ومقروء باستمرار. ولكن لأنه الأحدث وغير مُعتمد على نطاق واسع بعد، ما زالت هناك حاجة إلى مزيد من النماذج ذات الأوزان المدرَّبة. ويمكن التحايل على ذلك باستخدام HuggingFace ومكتبة المحوّلات (transformers) الخاصة بها، لكن ذلك قد لا يكون مثاليًا عندما تريد إبقاء الاعتماديات عند حدها الأدنى.

الخلاصة

مع هذه المقالة وأمثلتها المرافقة، يصبح فهم المحاذير ونقاط الضعف الخاصة بمختلف أُطر العمل أمرًا مباشرًا. بعضها ناضج (مثل Pytorch)، وبعضها يحمل دينًا تقنيًا من حلول سابقة (مثل Tensorflow)، وبعضها لم يثبت بعد إمكاناته الكبيرة بينما يواصل مجتمعه النمو كل يوم، مثل JAX + Flax.