تقدير المشروع
← كل المقالات

ScyllaDB ما بعد Cassandra، الجزء 2: البحث وCDC وطبقة التخزين

نظرة تقنية على الفروق بين ScyllaDB وApache Cassandra في الفهارس الثانوية والبحث المتجهي والبحث النصي الكامل والتقاط تغييرات البيانات (CDC) وتحديد أولويات أعباء العمل، موضّحة بمثال تذاكر دعم فني.

10 دقائق قراءة
قواعد البياناتCassandraScyllaDB

تجعل الـ Tablets وRaft وأجزاء أخرى من ScyllaDB وصفها بأنها “Cassandra أُعيدت كتابتها بـ C++” أقل دقة يومًا بعد يوم.

وهناك مجموعة ثانية من الفروق أقرب إلى التطبيق. كيف تستعلم عن عمود ليس جزءًا من المفتاح الأساسي؟ وكيف تُبقي فهرس البحث محدّثًا؟ وكيف تشغّل ملء رجعيًا (backfill) دون إغراق حركة المرور التفاعلية؟ وكم من مساحة القرص يتطلب الدمج (compaction)؟ وهل يجب أصلًا أن تقيم SSTables على أقراص محلية؟

تجيب ScyllaDB وCassandra عن هذه الأسئلة بطرق مختلفة. وبعض الإجابات ميزات ناضجة؛ وبعضها الآخر جاء مع ScyllaDB 2026.3. وهي تشكّل الاستعلامات التي تستطيع كتابتها والبنية التحتية التي تقف تحتها.

الفهارس الثانوية: CQL متشابهة، لكن العمل خلفها ليس كذلك

تخيّل تطبيق دعم فني يخزّن التذاكر بمفتاح هو المعرّف (ID). جلب تذكرة واحدة بسيط. أما البحث عن التذاكر بمرجع خارجي فيتطلب مسار وصول مختلفًا.

مثال: ابحث عن التذاكر المرتبطة بـ CRM-1842.

CREATE INDEX tickets_external_ref_idx ON support.tickets (external_ref);

SELECT ticket_id, body FROM support.tickets
WHERE external_ref = 'CRM-1842';

في الخلفية، تُبنى الفهارس الثانوية العامة في ScyllaDB على العروض المادية (materialized views). وتعمل القيمة المفهرسة مفتاحَ قسم لجدول الفهرس. ويقرأ الاستعلام ذلك الجدول أولًا لتحديد مفاتيح الجدول الأساسي المطابقة، ثم يجلب الصفوف. ويكلّف إبقاء الفهرس محدّثًا عملًا إضافيًا كلما تغيرت القيم المفهرسة، وقد تقيم صفوف الفهرس على عقد مختلفة عن الصفوف الأساسية.

أما الفهرسة المرفقة بالتخزين (Storage-Attached Indexing) (SAI) في Cassandra 5 فتخزّن بنى الفهرس بجوار memtables وSSTables على كل نسخة. وتعتمد الاستعلامات على هذه الفهارس المحلية على أي نسخ تصل إليها. ولا يوجد جدول فهرس عام مماثل مقسَّم بحسب القيمة المفهرسة. وأقرب مكافئ في ScyllaDB هو الفهرس الثانوي المحلي، الذي يضع الفهرس والبيانات الأساسية في الموضع نفسه لكنه لا يخدم إلا الاستعلامات التي تقيّد مفتاح القسم أيضًا.

ويؤثر هذا في أين تُرسَل القراءات، وما الذي يجب أن تُبقيه الكتابات محدّثًا، وكيف تتفاوت التكاليف بحسب الانتقائية. فالاستعلام الذي يعيد عشرة صفوف ينبغي اختباره بصورة مختلفة عن استعلام يطابق نصف الجدول.

وهناك تفصيل توافق يستحق الذكر أيضًا: تقبل ScyllaDB اسم صنف StorageAttachedIndex الخاص بـ Cassandra لـالفهارس المتجهية وتربطه بتنفيذها الخاص. وقبول هذا التصريح لا يعني أن ScyllaDB تشغّل محرك SAI الخاص بـ Cassandra.

يجلب البحث المتجهي نوعًا مختلفًا من الاستعلام

يحدد معرّف التذكرة سجلًا واحدًا. أما التضمين (embedding) فيمكن أن يساعد في العثور على بلاغات سابقة عن المشكلة نفسها، حتى لو صيغت بشكل مختلف. فـ “يفشل الاتصال بعد تجديد الشهادة” قد تكون مرتبطة بـ “أخطاء مصافحة TLS عقب تدوير الشهادة”.

تدعم Cassandra البحث المتجهي بالفعل. أما تنفيذ ScyllaDB فيتبع نموذج نشر مختلفًا.

إن خدمة البحث المتجهي والنصي (Vector and Text Search) هي، في الوقت الحالي، ميزة في ScyllaDB Cloud. فيتطلب البحث المتجهي الإصدار 2025.4.3 أو أحدث، ويتطلب البحث النصي الكامل الإصدار 2026.3.0 أو أحدث. وفي الحالتين يجب تشغيل خدمة الفهرسة.

تُبقي البنية عقد التخزين منفصلة عن عقد الفهرسة. فتخزّن ScyllaDB الصفوف مع تضميناتها. وتحتفظ عقد مخصصة بفهارس HNSW في الذاكرة وتستخدم USearch للبحث التقريبي عن أقرب الجيران. ويذهب استعلام CQL إلى خدمة الفهرسة، التي تحدد مفاتيح الصفوف المرشحة؛ ثم تستخدم ScyllaDB تلك المفاتيح لجلب الصفوف المطابقة. ويمكن توسيع سعة الفهرسة باستقلالية عن سعة قاعدة البيانات.

scylladb - البحث المتجهي والنصي

تحتفظ عقد ScyllaDB بالصفوف والتضمينات، بينما تُبقي عقد الفهرسة المخصصة الفهارس المتجهية والنصية الكاملة محدّثة عبر تحديثات CDC غير المتزامنة.

وهذا يعني مواردًا إضافية يجب تحديد حجمها. فقد تملك قاعدة بيانات مساحة تخزين وافرة بينما ينقص فهرسها المتجهي الذاكرة. وتؤدي أبعاد المتجهات وإعدادات الرسم البياني وعدد الصفوف المفهرسة دورًا. كما يجلب البحث التقريبي مقايضة بين الاستدعاء (recall) وزمن الاستجابة: فالإجابة السريعة والعثور على كل جار ذي صلة هدفان منفصلان.

ويبقى توليد التضمينات من مهام التطبيق. فهو يختار النموذج، ويقرر كيف تُقسَّم نقاشات التذاكر الطويلة إلى أجزاء قابلة للبحث، ويتولى إعادة التضمين عند تبديل النموذج.
مثال: ابحث عن خمس تذاكر مشابهة.
لنفترض أن كل تذكرة تُخزَّن مع تضمين. تأتي هذه القيمة من نموذج خارجي، وكل نموذج ينتج مخرجات بحجم ثابت. ولنموذج يعيد 384 قيمة، مثل all-MiniLM-L6-v2، يحصل الجدول على عمود متجه بالحجم المطابق، مع فهرس عليه:

ALTER TABLE support.tickets ADD embedding vector<float, 384>;

CREATE CUSTOM INDEX tickets_embedding_idx ON support.tickets (embedding)
  USING 'vector_index'
  WITH OPTIONS = {'similarity_function': 'COSINE'};

وعندما تصل تذكرة جديدة (“أخطاء مصافحة TLS عقب تدوير الشهادة”)، يرسل التطبيق نصها إلى النموذج نفسه – سواء أكان واجهة برمجية مستضافة أو نموذجًا يعمل محليًا – ويتلقى 384 رقمًا في المقابل. ثم يمررها إلى الاستعلام كمعامل ربط (bind parameter). وصيغة الاستعلام تطابق Cassandra 5:

SELECT ticket_id, body FROM support.tickets
ORDER BY embedding ANN OF ?
LIMIT 5;

يتعامل البحث النصي الكامل مع الكلمات الدقيقة التي كتبتها

أحيانًا يكون مصطلح البحث الأكثر فائدة هو SSLHandshakeException فقط. فاسم استثناء أو معرّف منتج أو عبارة بين علامتي اقتباس قد يكون أدق من وصف دلالي.

تقدّم ScyllaDB 2026.3 البحث النصي الكامل عبر فهارس fulltext_index وترتيب BM25. وبالنسبة للعمود body في التذكرة:

مثال: ابحث عن التذاكر التي تذكر SSLHandshakeException.

CREATE CUSTOM INDEX tickets_body_fts ON support.tickets (body)
  USING 'fulltext_index';

SELECT ticket_id, body FROM support.tickets
WHERE BM25(body, 'SSLHandshakeException') > 0
ORDER BY BM25(body, 'SSLHandshakeException')
LIMIT 10;

يقسّم المحلّل (analyzer) النص إلى مصطلحات ويوحّدها. ويحدد الفهرس المستندات المطابقة ويرتّبها. وتعالج المحلّلات الخاصة بلغة معينة أيضًا صيغ الكلمات عبر الجذع (stemming). ويجب أن يستخدم الجدول tablets، ولا يمكن فهرسة أعمدة مفتاح القسم. وإنشاء فهرس نصي كامل يشغّل CDC للجدول الأساسي تلقائيًا، مما يضيف تخزينًا لسجل التغييرات يجب أن تضعه في ميزانيتك.

وتحتاج الاستعلامات إلى تعبيرات BM25() مطابقة في كل من WHERE وORDER BY، إضافةً إلى LIMIT. ولا يُدعم الترقيم (paging) والتجميع (grouping) والتجميعات (aggregation) حاليًا.

ويستحق انتهاء الصلاحية اعتبارًا خاصًا. فـ TTL العادي على مستوى الخلية لا يُصدر أحداث CDC، لذا قد يحتفظ الفهرس بإدخالات بعد انتهاء صلاحية القيم الأساسية. وعندما يجب أن يتبع الفهرس انتهاء الصلاحية، تنصح الوثائق باستخدام TTL لكل صف، الذي يُصدر أحداث حذف.

تعمل الفهارس النصية الكاملة على عقد الفهرسة نفسها التي تستضيف الفهارس المتجهية، وكلاهما يحصل على التغييرات بصورة غير متزامنة عبر CDC. ونتيجة لذلك، يحدث نجاح تحديث صف وصيرورة ذلك التحديث قابلًا للبحث في وقتين مختلفين. وفي تطبيق الدعم الفني، سأقيس الوقت الذي تستغرقه إجابة أُضيفت حديثًا لتظهر في البحث، إضافةً إلى زمن استجابة الاستعلام.

يمكن أن تتعايش الفهارس النصية والمتجهية على جدول واحد، لكن البحث الهجين يتطلب حاليًا استعلامين. ويدمج التطبيق قائمتي النتائج بنفسه، مثلًا بدمج الرتب التبادلي (reciprocal rank fusion)، الذي يدمج ترتيبيهما دون الحاجة إلى أن تكون الدرجات الخام قابلة للمقارنة.

وفي التطبيقات متعددة المستأجرين (multi-tenant)، يثقل قيد آخر أكثر: فاستعلام النص الكامل لا يمكن أن يحمل أي قيد WHERE إضافي، بما في ذلك المستأجر أو مفتاح القسم. وتنص الأسئلة الشائعة عن البحث على أن البحث المتجهي يدعم التصفية، بينما لا يدعمها البحث النصي الكامل.

لذا يجب تصميم التصفية في التطبيق بعناية. فجلب أفضل 20 تطابقًا عامًا ثم تجاهل تذاكر المستأجرين الآخرين قد يتركك دون شيء صالح للاستخدام. ويجب أن يتم التفويض أيضًا قبل أن يصل أي محتوى مُسترجَع إلى مستخدم أو وكيل ذكاء اصطناعي. وبالنسبة لجدول تذاكر مشترك، قد يحدد هذا القيد ما إذا كان البحث النصي المدمج خيارًا أصلًا.

أما لاحتياجات البحث الأقل تطلبًا، فإبقاء الصفوف والتضمينات والفهارس النصية خلف CQL قد يوفّر عليك تكاملًا منفصلًا مع محرك بحث. ومع ذلك سأختبر الاستعلامات الفعلية قبل التخطيط لإيقاف محرك بحث قائم.

يمنح CDC التطبيقات سجل تغييرات يمكنها الاستعلام عنه

خدمة البحث ليست سوى أحد مستهلكي تدفق التغييرات في ScyllaDB. ويمكن لتطبيقك استهلاكه أيضًا.

يكتب CDC في ScyllaDB التغييرات في جداول سجل يُستعلم عنها عبر CQL. وتُقسَّم السجلات إلى تدفقات (streams)، لذا يتتبع المستهلك عدة تدفقات ويحتفظ بما بلغه من تقدم. ويلتقط السجل الطفرات (mutations)، لكن يمكنك تشغيل الصور السابقة واللاحقة (preimages وpostimages) الاختيارية للحصول على حالة صف إضافية (بتكلفة إضافية).

أما CDC الأصلي في Apache Cassandra فيعرض مقاطع سجل الإيداع (commit log) على كل عقدة ليعالجها المستهلكون. والمستهلكون مسؤولون عن إدارة تلك الملفات، بما في ذلك حذفها. وبمجرد امتلاء مساحة CDC المضبوطة، قد تُرفَض الكتابات على الجداول المفعّل عليها CDC. وتقدّم ScyllaDB واجهة تكامل مختلفة: يقرأ العملاء جداول قاعدة البيانات بدلًا من جمع ملفات سجل الإيداع من العقد. وهذا من أهم الفروق بين تنفيذَي CDC. فعلى مستهلكي Cassandra التعامل مع نسخ من كل طفرة، دون أي ترتيب عبر العقد، وإزالة التكرار منها. أما جدول سجل ScyllaDB فيُقرأ عبر CQL، لذا يحصل المستهلك على سجل منطقي واحد.

وفي مسار Kafka، يقرأ ScyllaDB CDC Source Connector جداول السجل هذه وينشر التغييرات عبر Kafka Connect. ويمكن أن يغذي هذا محرك بحث أو ذاكرة مؤقتة (cache) أو إسقاطًا تحليليًا.

وفي سيناريو التذاكر لدينا، يمكن لـ CDC أيضًا أن يطلق توليد التضمين كلما تغير النص. ويجب أن يربط العامل كل تضمين بنسخة النص التي عالجها فعلًا. وإلا فقد تستبدل مهمة بطيئة تعمل على مراجعة أقدم تضمينَ مراجعة أحدث. وسيفهرس الفهرس المتجهي في ScyllaDB بإخلاص أي متجه تكتبه، بما فيه المتجهات القديمة.

ويتطلب الاحتفاظ بالبيانات العناية نفسها. فسجلات CDC تعيش لفترة قابلة للضبط. وإذا تأخر مستهلك عن تلك النافذة، فهو بحاجة إلى طريقة لإعادة البناء أو المطابقة. ولا قيمة لتدفق التغييرات إلا إذا عرف التطبيق كيف يتعافى بعد فوات جزء منه.

شغّل الملء الرجعي بأولوية أقل

إضافة البحث تنطوي كثيرًا على معالجة سجلات قائمة تمتد لسنوات. يقرأ الملء الرجعي التذاكر ويستدعي نموذج تضمين ويكتب المتجهات، وكل ذلك بينما تواصل واجهة الدعم الفني البرمجية خدمة المستخدمين.

يتيح تحديد أولويات أعباء العمل في ScyllaDB تعيين مستويات خدمة لأدوار قاعدة البيانات، يحصل كل منها على حصة مختلفة من موارد الجدولة. ويمكن تشغيل الواجهة البرمجية والملء الرجعي تحت أدوار منفصلة، مع إعطاء الواجهة أولوية أعلى.

مثال - فضّل طلبات الواجهة البرمجية على الملء الرجعي. للأدوار القائمة التي يستخدمها العميلان:

CREATE SERVICE_LEVEL interactive WITH SHARES = 1000;
CREATE SERVICE_LEVEL bulk WITH SHARES = 100;
ATTACH SERVICE_LEVEL interactive TO api_role;
ATTACH SERVICE_LEVEL bulk TO backfill_role;

تحدد الحصص (shares) الأولوية النسبية عند التنافس على الموارد. ويمكنها إعطاء الطلبات التفاعلية الأسبقية على أعمال الملء الرجعي، لكنها لا تحجز عتادًا ولا تضمن أي p99 معين.

ويغطي هذا عمليات قاعدة البيانات التي تؤديها تلك الأدوار. فالملء الرجعي ذو الأولوية الأقل لا يزال يحتاج إلى حدود تزامن خاصة به، ولا ينبغي افتراض أن مستوى خدمته في قاعدة البيانات يتحكم في خدمة الفهرسة المتجهية المنفصلة. وعند ضبط تزامنه، سأراقب زمن استجابة الواجهة البرمجية وتقدم الملء الرجعي وتأخر الفهرسة جنبًا إلى جنب.

يغيّر الدمج (Compaction) مقدار التخزين الذي تحتاجه

تحظى ميزات البحث باهتمام أكبر، لكن الدمج قد يؤثر في فاتورة البنية التحتية بصورة أشد.

تدمج قاعدة بيانات LSM ملفات SSTables من وقت لآخر. وأثناء جريان دمج كبير، قد توجد ملفات الإدخال والمخرجات المكتوبة حديثًا في وقت واحد، لذا يحتاج العنقود إلى مساحة فوق مجموعة البيانات الحية.

تقسّم استراتيجية الدمج التزايدي (Incremental Compaction Strategy) (ICS) في ScyllaDB تشغيلات SSTable إلى أجزاء أصغر، بحجم 1 GB لكل منها افتراضيًا. ويعمل الدمج عبر تلك الأجزاء ويحرر المدخلات المستهلكة خطوة بخطوة، فلا يضطر إلى إبقاء المجموعة الكاملة من ملفات الإدخال الكبيرة حتى تكتمل العملية بأكملها.

وتحافظ ICS على مقايضات القراءة/الكتابة العامة للدمج المتدرج بالحجم (size-tiered). فقد تنتهي الصفوف التي تُحدَّث كثيرًا موزعة على عدة SSTables، وقد تشغل الإصدارات القديمة مساحة إلى أن تُدمَج. وتقليل مساحة الدمج المؤقتة لا يزيل كل أنواع الكلفة الإضافية للتخزين.

وعلى جانب Cassandra، صارت نقطة المقارنة ذات الصلة الآن استراتيجية الدمج الموحدة (Unified Compaction Strategy)، التي وصلت في Cassandra 5 وجرى تناولها في المقال السابق. وتدعم UCS سلوكًا متدرجًا ومستويًا قابلًا للضبط مع دمج مجزّأ. والمقارنة بالإعدادات الافتراضية الأقدم المتدرجة بالحجم في Cassandra وحدها ستتجاهل ذلك العمل.

يتطور استخدام القرص مع تراكم التحديثات وتشغيل الدمج. وحجم مجموعة البيانات بعد التحميل مباشرةً لا يخبرك إلا بالقليل عن السعة التي ستحتاجها بعد شهور من الكتابات فوق القيم القائمة وعمليات الحذف والصيانة.

يمكن أن تقيم SSTables أيضًا في التخزين الكائني

تقدّم ScyllaDB 2026.3 دعمًا تجريبيًا (preview) لإبقاء SSTables في تخزين كائني متوافق مع S3. ويحدد الخيار STORAGE الخاص بمساحة المفاتيح (keyspace) نقطة النهاية والحاوية (bucket) المضبوطتين. وهذه الكائنات هي SSTables الحية لقاعدة البيانات، ويعمل الدمج والقراءات عليها مباشرةً.

يرتبط هذا بسؤال تخزين يظهر أيضًا مع Kafka بلا أقراص (diskless): كم من البيانات تحتاج عقدة الحوسبة فعلًا إلى امتلاكه ماديًا؟ يتيح تنفيذ ScyllaDB انتقال ملكية الـ tablets بتسليم مراجع إلى كائنات مشتركة، لذا لا يلزم نسخ حمولة SSTable أثناء الترحيل.

وثائق التخزين الكائني الحالية موجهة إلى أعباء العمل الأرشيفية. فالقراءات أبطأ كثيرًا من التخزين المحلي، ولا توجد ذاكرة مؤقتة على قرص محلي. وبالتالي، يؤثر عدد SSTables التي يلمسها الاستعلام في تكاليف الوصول البعيد، إضافةً إلى زمن الاستجابة.

ويتطلب الدعم التجريبي tablets إضافةً إلى تغييرات في الترقيم (paging) والمهل الزمنية (timeouts) وموازنة الـ tablets. وهو لا يدعم حاليًا الفهارس الثانوية ولا العروض المادية ولا CDC ولا LWT ولا العدّادات ولا النسخ الاحتياطي/الاستعادة. كما لا تُدعم العناقيد التي تجمع بين مساحات مفاتيح مستخدم محلية ومدعومة بكائنات. ونتيجة لذلك لا يمكن استخدام ميزات البحث وCDC المذكورة أعلاه مع نمط التخزين هذا.

ولا يوفّر التخزين الكائني نسخًا احتياطية لـ SSTables الحية هذه تلقائيًا أيضًا: فـ ScyllaDB تزيل الكائنات حين يزول آخر مرجع إليها، ولا يستطيع ScyllaDB Manager نسخ مساحات مفاتيح كهذه احتياطيًا. ومن دون نسخ احتياطي، هذه ميزة تُجرَّب على مجموعات بيانات أرشيفية قابلة للتخلص منها. أما نقل ملكية الـ tablets دون نسخ البيانات فهو قدرة تستحق المتابعة مع نضج التنفيذ.

الواجهة مألوفة، أما الداخل فلا

لا تزال CQL ونموذج البيانات ذو الأعمدة العريضة يربطان ScyllaDB بـ Cassandra. لكن تحت السطح تسلك قاعدتا البيانات مسارين مختلفين فيما يتعلق بمكان إقامة الفهارس وكيفية استهلاك التطبيقات للتغييرات وكيفية ترتيب SSTables. وتشكّل هذه القرارات قدرات الاستعلام وحداثة البيانات وتكاليف التخزين.

تناول المقال السابق نموذج تنفيذ ScyllaDB وإدارة العنقود. ويمضي البحث وCDC والتخزين بهذا التباعد أبعد، إلى معمارية التطبيق. ووصف ScyllaDB بأنها “Cassandra بلغة C++” يُغفل جزءًا متناميًا من النظام.