تقدير المشروع
← كل المقالات

أي نوع من روبوتات المحادثة بالذكاء الاصطناعي يناسبك؟

اعثر على حل روبوت المحادثة بالذكاء الاصطناعي الأنسب لاحتياجات مؤسستك ومتطلباتها.

7 دقائق قراءة
الذكاء الاصطناعيAWSGoogle Cloud Platformروبوتات المحادثةنموذج لغوي كبير

روبوت المحادثة بالذكاء الاصطناعي هو نموذج لغوي كبير (LLM) خضع لضبط بالتعليمات. يستطيع روبوت كهذا تقديم إجابات سريعة ودقيقة وذات صلة عن الأسئلة التي يتلقاها. لكنه مقيّد بالمعلومات ونبرة النص وصيغته وأسلوبه الموجودة في بيانات تدريبه.

وبتقنية التوليد المعزَّز بالاسترجاع (Retrieval Augmented Generation، أو RAG-Chatbot)، يمكنك ربط روبوت المحادثة بالوثائق الداخلية الخاصة بمؤسستك، بحيث يجيب عن الأسئلة باستخدام قاعدة المعرفة المقدَّمة. يطرح المستخدمون الأسئلة ويتلقون إجابات مستندة إلى الوثائق، رغم أن النموذج لم يصادفها أثناء التدريب (وثائقك الداخلية تبقى خاصة وآمنة!). يسترجع الذكاء الاصطناعي الوثائق المناسبة بناءً على استعلام المستخدم ويرفقها بالاستعلام كسياق قبل تمريره إلى روبوت المحادثة.

لبناء RAG-Chatbot، تحتاج إلى تحويل كل وثائق المؤسسة إلى الصيغة المناسبة واتخاذ عدد من قرارات التصميم. يعرض الشكل 1 كل الخيارات الممكنة لتصميم RAG-Chatbot ونشره.

عام مقابل مستضاف ذاتيًا

الشكل 1. خيارات استضافة RAG-Chatbot الخاص بك.

يعتمد الحل الأنسب على حالة الاستخدام. سأستعرض أدناه كل نهج وأوازن بين مزاياه وعيوبه.

حلول RAG-Chatbot

واجهة برمجية عامة (LLM SaaS)

تتفوق الحلول المبنية على واجهات السحابة البرمجية من حيث سرعة التطوير والتحقق من إثبات المفهوم (Proof-of-Concept) وانخفاض حركة الاستخدام. كما توفر تحديثات منتظمة للنموذج دون تكلفة إضافية. لكن لها عددًا من القيود:

  • التخصيص محدود.
  • ليست فعّالة من حيث التكلفة عند حركة استخدام مرتفعة جدًا.
  • قد لا توفر أمانًا كافيًا للبيانات شديدة السرية.
  • النموذج الأساسي

في معظم الحالات يكون هذا هو أفضل نهج. يمكن تنفيذه بسرعة ويؤدي أداءً جيدًا إلى حد معقول. تدفع حسب الاستخدام (لكل طلب) إضافة إلى رسم ثابت صغير. وهو الخيار الأرخص عندما تكون الحركة غير منتظمة (ذروات استخدام عالية مع بقاء النظام خاملًا معظم الوقت) أو منخفضة نسبيًا (أقل من 10,000 في اليوم). كما أنه يضمن ترقيات تلقائية إلى إصدارات أحدث من النموذج، فتتحسن جودة الإجابات بمرور الوقت. ويضمن استخدام Vertex AI من Google Cloud أو حلول Bedrock من AWS خصوصية بياناتك. وهو أفضل طريقة لبناء إثبات مفهوم لـ RAG-Chatbot لمؤسستك والتحقق من كونه الحل المناسب لك – أو لمجرد بناء روبوت محادثة حواري إذا كانت حركتك متوسطة ولا تحتاج إلى أي تخصيص.

نموذج مخصص
يشكل هذا الخيار امتدادًا طبيعيًا للخيار السابق، مع أنه يمكن اختياره أيضًا كحل نهائي منذ البداية. فهو يتيح لك ضبط النموذج بدقة على بيانات العملاء، وبذلك تحقق أداءً أفضل لـ RAG-Chatbot أو ميزات لا يمكن تحقيقها بغير ذلك. ويكون ضبط النموذج بدقة منطقيًا إذا:

  • أردتَ أن يتصرف النموذج بطريقة معينة.
  • لتقليد نبرة صوت محددة.
  • لإنتاج مخرجات بصيغة معينة.
  • احتجتَ إلى تحسين أداء النموذج (تنفيذ RAG دون قاعدة معرفة).
  • لجعل النموذج يفعل شيئًا لم يُدرَّب عليه.
  • وقبل كل شيء، اضبط النموذج بدقة عندما لا تفي هندسة التوجيهات (prompting) وخيار قاعدة المعرفة بالغرض.

يجلب النموذج المخصص تكاليف أعلى. إذ يجب إعداد مجموعة البيانات بالصيغة المناسبة للتدريب والتحقق والاختبار. وتعتمد تكاليف التدريب على نوع النموذج وحجم مجموعة البيانات ومزوّد البنية التحتية، لكن التقدير التقريبي هو 0.0008 دولار لكل 1,000 رمز (token) أو نحو 20$/ساعة. تتوفر تفاصيل تكاليف ضبط النماذج اللغوية الكبيرة هنا لـ AWS وهنا لـ GCP.

ويضيف تشغيل النموذج تكاليف أخرى. فلا ينطبق التسعير عند الطلب بعد الآن؛ إذ يحمل النموذج المخصص رسمًا أساسيًا بالساعة يبلغ نحو 7-20$/ساعة. وبهذا السعر تحصل على نموذج خاص تحت تصرفك بالكامل.

ضبط النموذج بدقة عبر واجهة مزوّد السحابة البرمجية يقصّر وقت التطوير لكنه يحدّ من مدى إمكانية التحسين. فلا يمكن ضبط سوى نماذج معينة، ولا يستطيع المهندسون النظر تحت الغطاء لمواصلة تعديل النموذج. وتجد معلومات مفصلة عن ضبط النماذج عبر واجهة سحابية، باستخدام AWS Bedrock ونموذج Titan مثالًا، هنا.

مستضاف ذاتيًا

مع روبوتات RAG Chatbot المستضافة ذاتيًا، نتحكم بالكامل في النموذج وخط الاستدلال. فهي توفر خيارات تخصيص واسعة وخصوصية للبيانات، وتسهّل ضبط كل من النموذج اللغوي الكبير ونماذج التضمين (embedder) بدقة، وتتيح بناء خوارزميات استرجاع متقدمة. وبعد بناء RAG Chatbot مخصص، يصبح السؤال: أين ينبغي استضافته؟ هناك خياران – في السحابة أو داخل المقرّ (on-premise). ونوجز مزايا كل منهما وعيوبه أدناه.

مستضاف ذاتيًا في السحابة
هذا الخيار سهل الصيانة وقابل للتوسع وموثوق، إذ يتولى مزوّد السحابة صيانة البنية التحتية. ومن ناحية أخرى، فإن تكلفته أعلى من حلول الاستضافة داخل المقرّ. يعمل الإعداد الأساسي بنحو 1.2$/ساعة وقد يصل إلى 12$/ساعة للنسخة الواحدة. وتستطيع نسخة واحدة معالجة ما يصل إلى 50 ألف طلب في اليوم.

داخل المقرّ (On-premise)
يوفر النموذج المستضاف ذاتيًا داخل المقرّ أقوى خصوصية للبيانات. فلا تُستدعى أي واجهات برمجية خارجية، وتبقى كل البيانات داخل شبكة المؤسسة. ويمنحك النموذج المستضاف ذاتيًا تحكمًا كاملًا في RAG Chatbot ويسمح بأي تخصيص تريده. وتكاليف التشغيل منخفضة، لأنك تدفع فقط ثمن الكهرباء والصيانة. وأبرز عيوب هذا الخيار الصيانة وقابلية التوسع.

أي نموذج تختار

الشكل 2. مخطط القرار لتنفيذ RAG-Chatbot.

هل أحتاج إلى نموذج مخصص؟

يمكن للضبط الدقيق أن يحسّن كثيرًا أداء النموذج في مهام معينة. فعندما يرى النموذج بيانات خاصة بالمهمة أثناء الضبط الدقيق، يتعلم إنتاج تنبؤات أدق لتلك المهمة. فضبط نموذج مُدرَّب مسبقًا على نصوص طبية، مثلًا، ينتج نموذجًا متخصصًا في فهم اللغة الطبية. والضبط الدقيق على بيانات خاصة بمجال ما يتيح للنموذج استيعاب معرفة ذلك المجال، فتقوى قدراته على الفهم والتوليد فيه. وبوجه عام، يتيح لك الضبط الدقيق البناء على نقاط قوة النماذج المُدرَّبة مسبقًا مع تكييفها مع احتياجاتك الخاصة، مما يحقق أداءً وكفاءة أفضل لمهامك المحددة.

تحسين المحتوى والنموذج

الشكل 3. مخطط تحسين النموذج.

ينبغي أن يكون ضبط النموذج بدقة خيارًا واعيًا. فعادةً يتبع تطوير RAG-Chatbot المسار الموضح في الشكل 3. نبدأ بهندسة التوجيهات (prompt engineering)، وهي الثمرة الأسهل قطفًا، ونستخرج منها أكبر قدر ممكن، ثم ننتقل إلى التوليد المعزَّز بالاسترجاع مع قاعدة المعرفة المتصلة. عند هذه النقطة نحصل بالفعل على إجابات عالية الجودة قائمة على المعرفة الداخلية لمؤسستنا. بعد ذلك، قد نختار دفع أداء النموذج أبعد بضبطه بدقة على بياناتنا، لنصل إلى حل هو الأفضل في فئته.

حدود هندسة التوجيهات

تُعد هندسة التوجيهات دائمًا الخطوة الأولى المعتادة في تخصيص النموذج، لأنها غير مكلفة وسريعة التنفيذ. وغالبًا ما تكفي وحدها دون الحاجة إلى شيء آخر. وعيبها أنها تطيل السياق، فقد تصطدم بحد السياق في النموذج. وإذا ظل أداء النموذج غير مُرضٍ بعد هندسة التوجيهات، ففكّر في الضبط الدقيق. وهو فعّال بوجه خاص في محاكاة الأسلوب والنبرة. غير أنه يتطلب جهدًا أكبر بكثير، إذ تحتاج إلى إعداد مجموعة البيانات بالصيغة المناسبة وتدريب النموذج على عتاد ليس رخيصًا هو الآخر.

مقارنة تكاليف التشغيل

يعرض الجدول 1 التكاليف والأداء المقدَّرين لكل نمط نشر.

الجدول 1. مقارنة تكاليف التشغيل والأداء بين 4 خيارات نشر مختلفة.

تسعير AWS: https://aws.amazon.com/bedrock/pricing/
تسعير GCP: https://cloud.google.com/vertex-ai/pricing#custom-trained_models

خصوصية البيانات

يعتمد مدى خصوصية بياناتك على الخدمات التي تستخدمها وعلى مزوّد السحابة. ولهذا يجب أن تقرأ شروط الاتفاقية بعناية قبل استخدام أي واجهة برمجية لمزوّد سحابي. وفيما يلي الوضع الحالي لدى مزوّدي الحلول السحابية الثلاثة الرائدين.

Google Cloud

  • قد تُستخدم البيانات المرسلة في استدعاءات Gemini API للتدريب وقد يطلع عليها مراجعون بشريون، فلا ترسل معلومات حساسة أو سرية أو شخصية إلى الخدمة. وشروط خدمة Gemini API خارج VertexAI متاحة هنا
  • داخل VertexAI، المصمم لدعم بمستوى المؤسسات، تستخدم Vertex AI Gemini API التي تحظر شروط خدمتها استخدام بياناتك لتدريب نماذج أساسية جديدة.

AWS

  • تنص شروط خدمة Bedrock على أن مدخلات نموذج Titan ومخرجاته لا تُستخدم لتدريب النماذج الأساسية.
  • «يخزّن AWS Chatbot ويعالج بيانات المستخدم افتراضيًا، بما في ذلك إعدادات AWS Chatbot والإشعارات ومدخلات المستخدم والردود التي يولّدها AWS Chatbot وبيانات التفاعل. ويستخدم AWS Chatbot هذه البيانات لمواصلة تحسين نفسه وتطويرها وكذلك تقنيات الذكاء الاصطناعي (AI).» (المصدر).

Azure

  • لا يخزّن Azure OpenAI بياناتك ولا يستخدمها. (المصدر)
  • قد تستخدم OpenAI بياناتك لتدريب نماذج جديدة. (المصدر)

خلاصة القول، إن الحلول بمستوى المؤسسات لا تستخدم بيانات الإدخال والإخراج، بينما تستخدم الواجهات البرمجية العامة بيانات الإدخال لتدريب النماذج وتحسين الذكاء الاصطناعي. ولاحظ أيضًا أن جميع سياسات الخصوصية المذكورة أعلاه تخضع دائمًا للقانون المحلي. إذ يجب على الشركات تسليم بياناتها عندما يقتضي القانون أو أمر ملزم من جهة حكومية ذلك.

الخلاصة

الجدول 2. مزايا وعيوب RAG-Chatbot القائم على واجهة سحابية برمجية مقابل المستضاف ذاتيًا.

في شركتنا، نبني حلولًا مصممة وفق ما يحتاجه عملاؤنا. سواء أردتَ تسليم RAG-Chatbot الخاص بك بسرعة، أو توقعتَ حركة استخدام منخفضة، أو احتجتَ إلى حل مخصص يستخلص أقصى ما في بياناتك، فنحن قادرون على بنائه. لدينا شراكات قائمة مع مزوّدي السحابة الرائدين ويمكننا تقديم خصومات وأرصدة مجانية لانطلاق مشروعك. وإن كانت لديك أي أسئلة، فلا تتردد في التواصل معنا – يسعدنا مساعدتك.