تقدير المشروع
← كل المقالات

ما الذي يجعل TigerBeetle جديرًا بالاهتمام؟

TigerBeetle قاعدة بيانات مالية مكررة (replicated) عالية التوفر بمخطط ثابت وتركيز على الأداء، وتحظى بما يبدو حصة مبالغًا فيها من الاهتمام. لماذا كل هذه الضجة؟ ما الذي يجعل TigerBeetle مثيرًا للاهتمام؟

11 دقائق قراءة
قواعد البياناتالتجميع (Clustering)التقنية الماليةالنسخ المتماثلTigerbeetle

TigerBeetle: قاعدة بيانات مالية مكررة عالية التوفر بمخطط ثابت وتركيز على الأداء. وهذا يلخص المشروع تقريبًا. ومع ذلك، تحظى TigerBeetle بما يبدو حصة مبالغًا فيها من الاهتمام. لماذا كل هذه الضجة؟ ما الذي يجعل TigerBeetle مثيرًا للاهتمام؟

لنتعمق!

TigerBeetle بعيون SQL

سنبدأ من زاوية تقليدية إلى حد ما. فمعظم القراء على الأرجح لديهم خلفية قوية في SQL، وتشكّل قواعد البيانات العلائقية طريقة حكمنا على أنظمة قواعد البيانات الأخرى (حتى عندما لا يكون الشيء قاعدة بيانات علائقية، نسميه “NoSQL”).

على عكس قاعدة البيانات العلائقية، مخطط TigerBeetle ثابت وفيه ثلاثة “أنواع كيانات” فقط: دفاتر الأستاذ (ledgers) والحسابات (accounts) والتحويلات (transfers). ولكل نوع كيان عدد محدد من الأعمدة، لكل منها نوع محدد. يمكنك تخيل المخطط كـ مخطط ERP:

erp

ينفذ المخطط مفهومًا محاسبيًا مألوفًا: القيد المزدوج (double-entry bookkeeping). وهو يعود إلى العصور الوسطى ويقوم على قاعدة بسيطة: كل تحويل يشمل دائمًا حسابين، أحدهما مدين والآخر دائن. بعبارة أخرى، المال (أو أي مورد يجري تتبعه) لا يختفي أبدًا ولا يظهر من العدم.

إذا لم تعمل في المحاسبة من قبل، فقد لا تكون المصطلحات مألوفة جدًا. ولهذا السبب كتبت TigerBeetle دليلًا تمهيديًا يضعك في صورة أساسيات المحاسبة (accounting 101). وهو مثير للاهتمام وتعليمي بحد ذاته، حتى لو لم تكن TigerBeetle نفسها تهمك كثيرًا.

ما هو OLTP؟

تقدّم TigerBeetle نفسها كقاعدة بيانات OLTP (معالجة المعاملات عبر الإنترنت) – وهو مجال كانت تحتله قواعد بيانات SQL تقليديًا. ويقابل OLTP نظام OLAP (المعالجة التحليلية عبر الإنترنت، مثل ClickHouse).

غير أن TigerBeetle تضع تمييزًا إضافيًا. فمن جهة هناك OLGP (الغرض العام عبر الإنترنت)، وهي فئة PostgreSQL وMySQL وغيرها؛ ومن جهة أخرى OLTP “الحقيقي” الذي يتعامل مع المعاملات الآنية، وهنا تنتمي TigerBeetle.

كون قاعدة البيانات OLGP أو OLTP يظهر أيضًا في طريقة استخدامها المعتادة. ففي قواعد بيانات OLGP، تفوق القراءات عادةً الكتابات. أما في OLTP، فمعظم ما تفعله هو إنشاء تحويلات جديدة. وTigerBeetle محسّنة لأعباء العمل كثيفة الكتابة.

الاتساق

تمنحنا قاعدة بيانات SQL خيارًا بين مستويات العزل (repeatable read وsnapshot isolation وغيرها)، وباختيار أحدها نقرر ضمنيًا أي “الظواهر” (مثل القراءة الشبحية phantom read والتحديثات الضائعة lost updates وغيرها) قد نواجهها.

تبقي TigerBeetle الأمور أبسط بكثير: تحصل على قابلية تسلسل صارمة (strict serializability)، دون بدائل. تُنفَّذ المعاملات دائمًا بالتسلسل، واحدة تلو الأخرى، وترى كل منها كل آثار المعاملات التي سبقتها.

العمل مع البيانات: الإدخال والاستعلام

أنت لا تتحدث إلى TigerBeetle عبر SQL أو لغة استعلام خاصة، بل عبر واجهة برمجية (API). توجد مكتبات عميل لأشهر منظومات البرمجة، ويمكنك أيضًا ببساطة استخدام عميل CLI المرفق.

كل قطعة بيانات في TigerBeetle غير قابلة للتغيير، لذا كل ما يمكنك فعله هو الإدخال (والاستعلام). لا توجد UPDATE ولا DELETE ولا ALTER SCHEMA، لأن المخطط ثابت.

يأتي الإدخال مع ثلاث ميزات أساسية لكثير من حالات استخدام TigerBeetle.

بدايةً، يمكنك اشتراط ألا يهبط رصيد الحساب أبدًا دون 0. وأي تحويل من شأنه كسر هذه القاعدة يُرفض. ولأن التحويلات تُطبَّق بالتسلسل على الحالة الراهنة، فإن قبول التحويل يعني أنك متأكد من أن رصيد الحساب يسمح به.

بعد ذلك، يمكن ضم التحويلات في سلسلة (chain). وتضمن TigerBeetle أن تحويلات السلسلة إما تُقبل كلها أو تُرفض كلها. ويمكن لتحويلات السلسلة أن تمس الحسابات نفسها أو حسابات مختلفة تمامًا من دفاتر أستاذ متنوعة.

وأخيرًا، يمكنك إنشاء تحويلات “معلّقة” ثنائية المرحلة تحجز مبلغًا فقط؛ وقد يحمل مثل هذا التحويل مؤقتًا، يُعبَّر عنه بالثواني منذ وقت الحجز. ويمكن لاحقًا ترحيل التحويل المعلّق (إتمامه) أو إبطاله. والتفويض المسبق لبطاقة الائتمان أو حجوزات المقاعد المحدودة بوقت يعطيان حدسًا جيدًا لكيفية عمل ذلك.

وجانب أساسي في إنشاء التحويلات هو أن لكل تحويل معرّفًا فريدًا، ينبغي أن يعيّنه العميل النهائي. والمقصود بالعميل النهائي هنا المتصفح أو تطبيق الجوال، لا أي طبقة API وسيطة. وينبغي تخزين كل معرّف (مثلًا في التخزين المحلي للعميل) ثم إعادة استخدامه في أي إعادة محاولة. إنه يعمل كمفتاح عدم تكرار (idempotency key)، يضمن أنك تدفع مرة واحدة فقط حتى على شبكة غير موثوقة.

TigerBeetle ضمن نظام أكبر

تهدف TigerBeetle إلى أداء كتابة متميز، وكجزء من ذلك تُبقي الميزات “المساندة” عند حدها الأدنى. ما تحصل عليه هو قاعدة بيانات تركز على سلامة البيانات (المزيد عن ذلك أدناه) وعلى الكتابة بأسرع ما يمكن، لكن دون أي شيء للأمان أو المصادقة؛ فهي تفترض أنها تعمل في بيئة موثوقة مع مستخدمين موثوقين.

لهذا السبب، ينبغي أن تقف TigerBeetle دائمًا خلف بوابة (gateway) من نوع ما. وللبوابة مهمتان: الأمان والتجميع في دفعات (batching). أولًا، يجب أن تضمن مصادقة كل طلب تمرره بشكل سليم. ثانيًا، ينبغي أن تجمع الطلبات في دفعات للحصول على أفضل أداء. فكل جلسة عميل لا يمكن أن يكون لديها إلا طلب واحد قيد التنفيذ، لذا بينما تعمل TigerBeetle على دفعة، ينبغي أن تجمع البوابة التحويلات للدفعة التالية.

ورغم أن المصادقة مكانها البوابة، عليك التأكد من أن البوابة لا تتحول إلى عنق زجاجة في النظام. فتنفيذ استعلام SQL للبحث عن المستخدم لكل تحويل وارد، مثلًا، أمر مستبعد. استخدم بدلًا من ذلك أساليب خفيفة، مثل التحقق من رمز JWT، أو، إذا لم تكن هناك طريقة أخرى فعلًا، التحقق من المستخدم في ذاكرة Redis المؤقتة.

على جانب القراءة، يمكنك أن تطلب من TigerBeetle تحويلًا محددًا أو نطاقًا من التحويلات، أو تحصل على الرصيد الحالي لحساب. وأي شيء يتجاوز ذلك يتطلب بناء إسقاط (projection)، قد يصعب إبقاؤه متزامنًا يدويًا. ولحسن الحظ، توفر TigerBeetle التقاط بيانات CDC، الذي ينشر كل تحويل إلى طابور AMQP (مثل RabbitMQ) بتسليم مرة واحدة على الأقل.

وعليه فإن البنية المرجعية لنظام تتولى فيه TigerBeetle المعاملات قد تبدو هكذا:

arch

على “مسار الكتابة الساخن”، ينبغي أن تكون البوابة بلا حالة من الناحية المثالية. أما في كل ما عدا ذلك، فيمكنها بل ينبغي أن تعتمد على قاعدة بيانات OLGP. فعند إنشاء حساب مستخدم، تنشئ حسابًا بكل التفاصيل المعتادة في قاعدة بيانات SQL، إضافة إلى حساب في TigerBeetle.

وربما ينبغي أن يأتي كل نشر لـ TigerBeetle مع قاعدة بيانات SQL إلى جانبه: فالأولى تتولى الكتابات ذات التنافس العالي، بينما تتعامل الثانية مع البيانات وعمليات CRUD والإسقاطات وكل أنواع القراءات والاستعلامات.

حالات الاستخدام

مع مخطط ثابت، هل TigerBeetle مناسبة للتطبيقات المالية فقط؟ ليس تمامًا: فالمدين والدائن يمكنهما نمذجة أشياء كثيرة غير المال!

خذ مبيعات التذاكر، التي تضع دائمًا ضغطًا هائلًا على نظام التذاكر للفعاليات الشعبية (وكثيرًا ما تُسقطه). أو تحديد معدل الوصول إلى API.

تتضمن وثائق TigerBeetle عدة وصفات، لكن عند التفكير في الأمر، فإن تتبع الأرصدة في نظام بلا خوادم (serverless) وقياس الطاقة واستخدام رموز LLM كلها صور مختلفة لمشكلة واحدة – تتبع مورد محدود وضمان ألا يختفي أبدًا أو يُختلق. ولذلك تمتد حالات استخدام TigerBeetle إلى ما هو أبعد بكثير من المالية.

كيف صُمم نسخ البيانات وسلامتها

TigerBeetle قاعدة بيانات مكررة تضمن أن التحويل المقبول مخزّن بشكل دائم: لن يُفقد أبدًا (باستثناء فقدان بيانات كارثي على كل النسخ بالطبع). للوهلة الأولى، قد لا يبدو هذا جديدًا بشكل خاص، إذ إن قواعد بيانات كثيرة تعد بسلامة البيانات عبر النسخ المتماثل.

لكن بمجرد التعمق في تصميم TigerBeetle، تبدأ بتقدير عدد سيناريوهات الإخفاق التي نظر فيها الفريق ويواصل اختبار قاعدة البيانات أمامها. وهي تمتد من انقلاب البتات العشوائي على القرص والكتابات الموجهة خطأً (التي يبدو أنها قد تحدث عندما تقع البيانات عند إزاحة خاطئة)، وإخفاقات القرص والشبكة “الرمادية” (حيث يعمل كل شيء لكن ببطء شديد للغاية)، وصولًا إلى موت العقد المختارة عشوائيًا فجأة أو تدريجيًا.

وبالنظر عن كثب إلى قواعد البيانات الأخرى، فإن هذه المرونة أمام شتى أنواع الكوارث لا نظير لها. لقد تقدمنا كثيرًا منذ fsyncgate، لكنني أشك في أن كثيرًا من قواعد البيانات الأخرى تستطيع ادعاء هذه الدرجة من المرونة.

تحمي TigerBeetle البيانات محليًا بتخزين مجاميع اختبارية (checksums) لكل كتلة بيانات (محفوظة بمعزل عن البيانات نفسها)، وتنظيم البيانات كشجرة، وربط كل شيء بسلسلة تجزئة (hash-chaining). ويتيح ربط التجزئة تحققًا سريعًا من اتساق البيانات؛ وقد تتعرف على الفكرة من git أو البلوكتشين.

ولسلامة البيانات الموزعة، TigerBeetle آلة حالة مكررة قائمة على الإجماع (consensus). تعالج عقدة قائد واحدة كل حركة المرور، دون تجزئة (sharding) أو موازنة أحمال. ونتيجة لذلك، يعني التوسع إضافة ذاكرة أسرع أو معالجات أسرع (“scale up”)، لا التوسع الأفقي.

وهذا مقصود: فحالات الاستخدام التي تستهدفها TigerBeetle كثيرًا ما تتضمن بيانات لا تتجزأ جيدًا – حالات يشارك فيها عدد قليل من الحسابات “الساخنة” في معظم المعاملات. وفوق ذلك، يجعل إبقاء كل شيء محليًا ضمان الاتساق وقابلية التسلسل الصارمة أسهل بكثير. والأكثر من ذلك، أن عملية TigerBeetle بأكملها تعمل على خيط واحد (thread)، باستخدام نواة معالج واحدة! ومع ذلك فهي سريعة بشكل مذهل! (أو ربما – لهذا السبب بالذات؟)

cloud

توصي TigerBeetle بنشر من 6 عقد. وهذا غير مألوف، إذ إن النصيحة المعتادة هي عدد فردي من العقد لتتشكل النصابات بسهولة. والفكرة هنا هي التوزيع على 3 مزوّدي سحابة، تفصل بينهم أجزاء من الثانية، يشغّل كل منهم عقدتين. وبهذه الطريقة، لن يوقف انقطاع كامل لدى أحد المزوّدين نظامك. وإضافة إلى ذلك، يتكون نصاب الكتابة من القائد زائد عقدتين أخريين، لذا ما دام القائد يعمل، لا يلزم سوى نصف العقد. أما انتخاب قائد جديد فيتطلب الأغلبية.

النسخ المتماثل متزامن، أي أنه بحلول حصولك على الاستجابة تكون بياناتك مضمونة الأمان: مكتوبة على القرص ومنسوخة عبر العنقود. وتروّج TigerBeetle للتجميع الجريء في دفعات (حتى 8k تحويل لكل طلب)، سواء للطلبات أو لاحقًا أثناء النسخ المتماثل داخل العنقود.

خوارزمية النسخ المتماثل

قد تستحضر قراءة آلة حالة مكررة قائمة على الإجماع خوارزميات مثل Multi-Paxos أو Raft. لكن TigerBeetle تستخدم خوارزمية مختلفة: Viewstamped Replication (VR). وهي أقل شهرة، لكنها وُضعت في الوقت نفسه الذي وُضعت فيه Paxos، بشكل مستقل عنها.

يمكن القول إن الأساليب الثلاثة (Paxos وRaft وVR) تشترك في الخوارزمية الأساسية نفسها. والشيطان، بطبيعة الحال، في التفاصيل. Raft هي الأسهل فهمًا، لكنها أيضًا تأتي بأكبر القيود، خاصة فيما يتعلق بالإيقاف غير النظيف والتعافي. بدأت Paxos كخوارزمية إجماع بحتة ثم وُسّعت لاحقًا إلى قيم متعددة باسم Multi Paxos، بينما تعمل VR مباشرة مع سجل مكرر (replicated log).

ربما اختيرت VR على Paxos لأنها أسهل تنفيذًا مع توفيرها بالضبط الأوليات التي احتاجها فريق TigerBeetle. وهي أيضًا أفضل أداءً (بعدد أقل من الرحلات ذهابًا وإيابًا).

الاختبار

تخضع TigerBeetle لاختبارات مكثفة باستخدام بضع تقنيات جديدة.

الأولى هي VOPR (Viewstamped Operation Replicator)، الذي يوفر اختبار المحاكاة الحتمية (Deterministic Simulation Testing – DST) لعنقود TigerBeetle. يُبنى VOPR مع قاعدة البيانات ويعمل بلا توقف، باحثًا عن الأخطاء في قاعدة الكود. وعندما يجد خطأ، تتلقى بذرة عشوائية وأثرًا دقيقًا يوضح كيفية إعادة إنتاج المشكلة محليًا.

vopr

يوفر VOPR تنفيذات بديلة لكل مصدر لعدم الحتمية: القرص والشبكة وساعة النظام. ويمكنه محاكاة عنقود TigerBeetle كامل على نواة واحدة وتسريع الوقت، ليضغط ما سيكون شهرًا من تشغيل TigerBeetle في ساعة. ويمكنه أيضًا حقن شتى أنواع الإخفاقات، مثل الرسائل المفقودة أو القطاعات التالفة المحاكاة.

كما اختُبرت TigerBeetle أيضًا بـ Antithesis، وهو أسلوب مختلف في DST يعمل على مستوى حاويات Docker. ويستطيع Antithesis أيضًا حقن أعطال القرص والشبكة، لكنه يفتقر إلى التكامل الوثيق الذي يوفره VOPR.

وأخيرًا، كشفت اختبارات Jepsen لـ TigerBeetle عن مشكلتين فقط في سلامة البيانات: نتائج استعلام مفقودة ومشكلات في واجهة API لتصحيح الأخطاء (وكلتاهما أُصلحتا منذئذ). ويشير التحليل إلى أن TigerBeetle تُظهر مرونة استثنائية أمام أعطال الأقراص. كما وُجدت بضع مشكلات تتعلق بانهيار العميل أو قاعدة البيانات أثناء الترقيات. لكن إجمالًا، وبمقارنة نتائج Jepsen عبر قواعد بيانات مختلفة، تعكس نتائج TigerBeetle تصميمًا متينًا حقًا.

قرارات هندسية جديرة بالملاحظة

اتخذ الفريق عددًا كبيرًا جدًا من القرارات الهندسية المثيرة للاهتمام! ونهج TigerBeetle ليس للجميع بالتأكيد، نظرًا لخصوصية حالة الاستخدام، لكن هناك دائمًا ما يمكن تعلمه. وفيما يلي قائمة جزئية:

  • كُتبت TigerBeetle بلغة Zig، وهي لغة برمجة أنظمة. كانت Rust وC كلتاهما مطروحتين، لكن Zig اختيرت على الأرجح لتحكمها الدقيق في الذاكرة وسهولة استخدامها وخلوها من السلوكيات غير المعرفة (على عكس C) ومجموعة الميزات الدقيقة التي يحتاجها مشروع قاعدة بيانات منخفض المستوى.
  • تُخصَّص الذاكرة كلها مقدمًا؛ ولا يُخصَّص شيء ديناميكيًا.
  • كل شيء يعمل بشكل حتمي على نواة واحدة.
  • كل عمليات الإدخال/الإخراج مباشرة، متجاوزة ذواكر الصفحات المؤقتة (page caches) والتخزين المؤقت في النواة.
  • يحتفظ TigerBeetles بـ “ساعة العنقود” (cluster clock) التي تضمن أن الطوابع الزمنية تزداد دائمًا. وإذا أظهرت أي عقدة انحرافًا زمنيًا مفرطًا، تنهار تلك العقدة.
  • يتبع الكود أسلوب Tiger، الذي يستند إلى قواعد القوى العشر لدى NASA ويهدف إلى “إتقان الأمر من أول مرة”. وعلى مستوى الكود، يُحظر الاستدعاء الذاتي (recursion)، والتأكيدات (assertions) في كل مكان، ولا يُسمح إلا بالتجريدات البسيطة، ولا يجوز أن تتجاوز الدوال 70 سطرًا، وغير ذلك! وعلى مستوى التصميم، يجري قدر كبير من التفكير الاستباقي والبحث قبل كتابة أي كود.

TigerBeetle: بداية جيل جديد من قواعد البيانات؟

يرى الرئيس التنفيذي لـ TigerBeetle ومؤسسها في عرضه أن حدثين في 2018 فتحا فصلًا جديدًا في تطوير قواعد البيانات: fsyncgate (كيفية تعامل قواعد البيانات مع إخفاقات الكتابة على القرص والتخزين المؤقت لـ I/O) والتعافي الواعي بالبروتوكول بعد الإخفاقات. وقد أثر كلاهما في تصميم TigerBeetle.

ويعتقد أننا قد نشهد ظهور نوع جديد من قواعد البيانات: يُبنى على مدى سنوات لا عقود. وقد أصبح ذلك ممكنًا بفضل تطورات مثل DST وDirect I/O وio_uring ولغات برمجة الأنظمة الجديدة (Zig وRust) ونماذج الأعطال الصريحة، وكلها تسرّع تطوير قواعد البيانات.

وقد تكون TigerBeetle بالفعل أوزة الصدارة لجيل جديد من قواعد البيانات المتخصصة في مجالها، السريعة بشكل مذهل والمتينة.