تقدير المشروع
← كل المقالات

مقارنة أداء TigerBeetle وPostgreSQL: أداة الاختبار المرجعي واختبارات السحابة

اختبار أداء معمّق يضع TigerBeetle في مواجهة PostgreSQL في بيئة متعددة العقد على Google Cloud Platform. يفحص أحمال المحاسبة بالقيد المزدوج بمعدلات طلبات مختلفة ومستويات متفاوتة من تنافس الحسابات (توزيع Zipfian)، وينظر في مقاييس مثل متوسط الإنتاجية ومئينات زمن الاستجابة ونسبة الطلبات المُسقطة.

8 دقائق قراءة
قواعد البياناتPostgreSQLTigerbeetle

قبل عدة أشهر، اختبرنا أداء TigerBeetle وPostgreSQL باختبارات مرجعية محلية. وقد أعاد الاختبار إنتاج سير العمل المعتاد في حالة استخدام TigerBeetle – إنشاء تحويلات بالمحاسبة ذات القيد المزدوج.

محليًا، تبيّن أن TigerBeetle أسرع بنحو 3 مرات من أسرع نهج في PostgreSQL، لكن بقي السؤال مفتوحًا عمّا إذا كان الأمر نفسه ينطبق على نشر عنقودي على خوادم مخصصة. وهذا ما شرعنا في الإجابة عنه هنا.

تذكير موجز: مخطط PostgreSQL

يأتي TigerBeetle بمخطط ثابت صُمم حصرًا للمحاسبة ذات القيد المزدوج. وله ثلاثة كيانات رئيسية: دفاتر الأستاذ (ledgers) والحسابات (accounts) والتحويلات (transfers). ويتضمن كل تحويل حسابين – أحدهما يُقيَّد دائنًا والآخر مدينًا. وكما ذُكر سابقًا، فإن إنشاء تحويل هو العملية الأساسية في قاعدة البيانات. وفيما يلي المخطط المماثل الذي نستخدمه لهذا الاختبار في PostgreSQL:

CREATE TABLE IF NOT EXISTS accounts (
    id BIGINT PRIMARY KEY,
    balance BIGINT NOT NULL DEFAULT 0,
    CONSTRAINT balance_non_negative CHECK (balance >= 0)
);

CREATE TABLE IF NOT EXISTS transfers (
    id BIGSERIAL PRIMARY KEY,
    source_id BIGINT NOT NULL REFERENCES accounts(id),
    dest_id BIGINT NOT NULL REFERENCES accounts(id),
    amount BIGINT NOT NULL,
    created_at TIMESTAMPTZ NOT NULL DEFAULT NOW(),
    CONSTRAINT amount_positive CHECK (amount > 0),
    CONSTRAINT different_accounts CHECK (source_id != dest_id)
);

CREATE INDEX IF NOT EXISTS idx_transfers_source ON transfers(source_id);
CREATE INDEX IF NOT EXISTS idx_transfers_dest ON transfers(dest_id);
CREATE INDEX IF NOT EXISTS idx_transfers_created_at ON transfers(created_at);

سنختبر استراتيجيتين لإنشاء التحويلات في PostgreSQL (القفل الضمني والقفل الصريح). ولأنهما وُصفتا سابقًا، فلن نعيد استعراضهما.

تشغيل الاختبار المرجعي للأداء في السحابة

سابقًا، شغّلنا كل شيء محليًا بنسخة واحدة من قاعدة البيانات وعميل واحد. وللاقتراب من ظروف العالم الحقيقي، نشغّل هذه المرة عنقودًا لكل قاعدة بيانات إضافة إلى 5 نسخ عملاء. يوصي TigerBeetle بست عقد موزعة على ثلاثة مزودي سحابة؛ وفي هذا الاختبار استخدمنا ثلاثًا لمطابقة إعداد PostgreSQL، مهيّأة لتوافق الآراء القياسي لديه: قائد + نسختان مكرّرتان. وبالمثل، شُغّل PostgreSQL بنسخة أساسية واحدة ونسختين احتياطيتين متزامنتين (quorum commit، أي أن المعاملة لا يُقرّ بها إلا بعد أن تصبح دائمة على النسخة الأساسية وعلى نسخة احتياطية واحدة على الأقل).

شُغّلت الاختبارات على Google Cloud Platform. وإلى جانب نسخ العملاء وقواعد البيانات المذكورة أعلاه، تستضيف عقدة إضافية واحدة حزمة المراقبة لدينا بـ Prometheus وGrafana.

شُغّل العملاء على نسخ n2-standard-2 (معالجان افتراضيان، 8 GB من الذاكرة)، وقواعد البيانات على نسخ n2-highmem-4 (4 معالجات افتراضية، 32 GB من الذاكرة).

ما الذي نقيسه وما الذي نغيّره

قبل الخوض في المنهجية والنتائج، لنستعرض ما نريد قياسه والمتغيرات التي نتحكم فيها. أولًا، المتغيرات:

  • target_rate هو العدد الإجمالي للتحويلات في الثانية التي يحاول العملاء على جميع النسخ تنفيذها. وتُرسل الطلبات بغض النظر عن سرعة استجابة قاعدة البيانات.
  • max_concurrency يحدد عدد الطلبات قيد التنفيذ التي يجوز للعميل أن يملكها في وقت واحد. لاحظنا أن العملاء أسقطوا تحويلات أحيانًا بسبب كثرة الطلبات قيد التنفيذ، لا لأن قاعدة البيانات لم تستجب. واستخدمنا هذا الإعداد لرفع السقف والسماح بمزيد من الطلبات.

وما نقيسه:

  • متوسط الإنتاجية
  • زمن الاستجابة p50 وp95 وp99 وp999
  • معدل الأخطاء
  • الطلبات المُسقطة – طلبات أُسقطت بسبب max_concurrency، أي كثرة الطلبات قيد التنفيذ

تشغيل الاختبارات وتنسيقها

تتولى شيفرة المنسّق توزيع شيفرة العميل، وتشغيل قاعدة البيانات، وتهيئة الحسابات، وتشغيل الاختبار المرجعي. ما زلنا ننشر قاعدة البيانات بـ Docker، لكن بما أن المضيف غير مشترك، نستخدم --security-opt seccomp=unconfined لتمكين io_uring.

أما بالنسبة لشيفرة العميل، فلم نرد تثبيت سلاسل أدوات Rust وZig الكاملة على النسخ لمجرد بناء الملف التنفيذي. بل نجمّع الملف التنفيذي للعميل تجميعًا عابرًا للمنصات بـ cargo zigbuild وننسخه إلى نسخ الآلات الافتراضية.

نتائج الاختبار

والآن إلى النتائج. يعمل كل اختبار 5 دقائق، بعد تسخين مدته دقيقتان، على 3 تكرارات. أجرينا اختبارين لـ TigerBeetle و6 لـ PostgreSQL، لأن PostgreSQL يدعم استراتيجيتين مختلفتين. وبعد مقارنة قاعدتي البيانات، أجرينا أيضًا عدة اختبارات مرجعية أخرى لمعرفة إلى أي مدى يمكن دفع TigerBeetle. كما عرّفنا نوعين من تنافس الحسابات، يُوصفان بأس Zipfian، وينتجان حسابات «ساخنة» (hotspot).

يشغّل الاختبار الأول 5k طلب في الثانية بوضع fixed_rate.

المقياس TigerBeetle PostgreSQL القياسي (FOR UPDATE) PostgreSQL الذرّي
Fixedrate (zipfian=1.0)
وضع الاختبار fixed_rate fixed_rate fixed_rate
متوسط الإنتاجية 4,097 TPS 2,890 TPS 3,068 TPS
زمن الاستجابة p50 32.3 ms 324.7 ms 303.7 ms
زمن الاستجابة p95 508 ms 581 ms 556 ms
زمن الاستجابة p99 748 ms 960 ms 927 ms
زمن الاستجابة p999 987 ms 1,492 ms 1,473 ms
معدل الأخطاء 0% 0% 0%
التحقق من الأرصدة 3/3 3/3 3/3
Hotspot (zipfian=2.0)
وضع الاختبار fixed_rate fixed_rate fixed_rate
متوسط الإنتاجية 4,461 TPS 753 TPS 977 TPS
زمن الاستجابة p50 32.1 ms 1,306 ms 1,001 ms
زمن الاستجابة p95 358 ms 1,890 ms 1,472 ms
زمن الاستجابة p99 560 ms 2,123 ms 1,821 ms
زمن الاستجابة p999 726 ms 2,916 ms 3,138 ms
معدل الأخطاء 0% 0% 0%
التحقق من الأرصدة 3/3 3/3 3/3

مخطط الإنتاجية لجميع الأنظمة

يحقق TigerBeetle إنتاجية أعلى بنحو 33% من أفضل استراتيجية في PostgreSQL. ونرى أيضًا أنه كلما زاد الانحياز وصار عدد أكبر من الحسابات «ساخنًا»، يحافظ TigerBeetle على أدائه، بينما يتباطأ نهج قفل الصفوف في PostgreSQL تباطؤًا كبيرًا. ففي TigerBeetle تعالج نواة واحدة التحويلات تسلسليًا، فلا يوجد تنافس، بينما في PostgreSQL يجب أن تنتظر الاتصالات كلما حاول عدد منها تحديث الصف نفسه. ويقترب TigerBeetle من تشبّع المعدل المستهدف. وفي الاختبارات المرجعية التالية سنراه يبلغ المعدل المستهدف فعليًا. ونصل إلى ذلك بالسماح بمزيد من الطلبات قيد التنفيذ، بحيث يتوقف العملاء عن إسقاط طلبات كان يمكن خدمتها لولا ذلك.

مخطط زمن الاستجابة لجميع الأنظمة

يُظهر مخطط زمن الاستجابة تباينًا أشد حدة. فيظل TigerBeetle ثابتًا بغض النظر عن عدد مرات الوصول إلى الحسابات نفسها، بينما يضطر PostgreSQL إلى انتظار الأقفال قبل تحديث الصف، ما يؤدي إلى زمن استجابة أعلى عمومًا وارتفاعات حادة عرضية. لنقارن المئينات مع FOR UPDATE في PostgreSQL تحت انحياز معتدل.

مخطط مئينات زمن الاستجابة – انحياز معتدل

ولنتحقق أيضًا من الانحياز الأعلى، حيث يبدأ PostgreSQL بالتباطؤ بشكل كبير.

مخطط مئينات زمن الاستجابة – انحياز مرتفع

من الواضح أن القفل ليس الخيار الأمثل – فكلما صار عدد أكبر من الحسابات «ساخنًا»، يواصل زمن الاستجابة الارتفاع، بينما ينخفض فعليًا في TigerBeetle.

أبرز الخلاصات

  • يتفوق TigerBeetle في كل مقياس في كلا سيناريوهي الانحياز. فإنتاجيته أعلى بنسبة 40% تحت انحياز معتدل وبنحو 4.6 أضعاف تحت انحياز hotspot الشديد، وزمن استجابته أقل بكثير – بين 4 أضعاف و40 ضعفًا.
  • مع انحياز أعلى، صار TigerBeetle أسرع فعليًا (إنتاجية أعلى وزمن استجابة أقل). فيُرفض عدد أكبر من الطلبات بسرعة (بسبب عدم كفاية الرصيد) بدلًا من الانتظار على قفل. وأدّى وضعا PostgreSQL كلاهما أداءً أسوأ تحت انحياز hotspot.
  • حُفظت الصحة في جميع الحالات. فكل اختبار في كل سيناريو يحقق ثابت القيد المزدوج؛ والاختلافات في الأداء فقط.

ورغم أن TigerBeetle لا يبدو تحت ضغط، فما زلنا دون إنتاجية 5k. والسبب هو إعداد max_concurrency المذكور سابقًا: كان هناك عدد كبير جدًا من الطلبات قيد التنفيذ، فأُسقط بعضها. أما في PostgreSQL، فيبدو أن سقف الإنتاجية وزمن الاستجابة ناتجان عن القفل، وهذا ليس حال TigerBeetle. وفي ما يلي سنحاول تحديد حد TigerBeetle في هذا الإعداد تحت انحياز hotspot الشديد بمنحه مجالًا أكبر بقيمة max_concurrency أكبر.

دفع TigerBeetle إلى أقصى حدوده

ضبطنا max_concurrency على 2.5 ضعف معدل الطلبات المستهدف في الثانية. وينبغي أن يمنع ذلك العميل من إسقاط الطلبات بينما تظل قاعدة البيانات قادرة على معالجتها. تستخدم هذه الاختبارات حسابات hotspot (Zipfian = 2.0)، إذ يبدو ذلك أقرب إلى ظروف العالم الحقيقي.

المقياس TigerBeetle PostgreSQL القياسي PostgreSQL الذرّي
concurrency5k
متوسط الإنتاجية 5,060 TPS 683 TPS 878 TPS
الطلبات المُسقطة 0 3.9M 3.8M
rate10k
متوسط الإنتاجية 9,431 TPS 703 TPS 867 TPS
الطلبات المُسقطة 598K (~9%) 8.5M 8.4M
rate20k
متوسط الإنتاجية 20,257 TPS لم يُختبر لم يُختبر
الطلبات المُسقطة 0 - -
rate40k
متوسط الإنتاجية 40,388 TPS لم يُختبر لم يُختبر
الطلبات المُسقطة 0 - -
rate80k
متوسط الإنتاجية 81,171 TPS لم يُختبر لم يُختبر
الطلبات المُسقطة 0 - -
rate90k
متوسط الإنتاجية 91,165 TPS لم يُختبر لم يُختبر
الطلبات المُسقطة 0 - -
rate100k
متوسط الإنتاجية 101,497 TPS لم يُختبر لم يُختبر
الطلبات المُسقطة 0 - -
rate120k
متوسط الإنتاجية 107,112 TPS – 89% فقط من الحمل المعروض لم يُختبر لم يُختبر
الطلبات المُسقطة ~12% من الحمل المعروض - -
rate160k
متوسط الإنتاجية 107,858 TPS – 67% فقط من الحمل المعروض لم يُختبر لم يُختبر
الطلبات المُسقطة ~34% من الحمل المعروض - -

مخطط الإنتاجية المصحَّح لجميع الأنظمة

يتيح السماح بمزيد من الطلبات المتزامنة قيد التنفيذ بلوغ المعدل المستهدف. ولم يُظهر PostgreSQL تغيرًا ملحوظًا. وفي هذا الإعداد تمكنا من دفع TigerBeetle إلى ما يتجاوز 100k طلب في الثانية، ما يوضح حجم الفرق الذي يمكن أن تحدثه معمارية متخصصة. ولنتحقق أيضًا من زمن الاستجابة، لأن إعداد max_concurrency الأعلى قد يعني زمن استجابة أعلى.

مخطط زمن استجابة TigerBeetle المصحَّح
ملاحظة بخصوص أرقام rate160k تحديدًا: هي متوسط تشغيلين من أصل 3 تشغيلات مخططة. فقد أُنهيت عملية المنسّق بحد صارم يبلغ نحو 24.5 دقيقة على المهمة الخلفية التي تشغّلها. وحدث هذا في عدة محاولات، وفي كل مرة تمامًا عند بدء التحقق من الأرصدة للتشغيل الثالث – وكان التشغيلان الأولان قد انتهيا بحلول ذلك ونجحا في التحقق من الأرصدة بوضوح في كل مرة.

الأعمدة المخططة بخطوط مائلة والمعلَّمة بنجمة وقعت دون أحد حدود سلال المدرج التكراري للعميل مباشرة – 1.5 s للمعدلات 40k و80k و90k، و4 s للمعدل 120k. ولأن Prometheus يُجري الاستيفاء داخل سلة محدودة، وكانت السلال فوق تلك الحدود موجودة لكنها بقيت فارغة، فإن هذه القيم حدود عليا.

الخلاصة

في اختباراتنا المرجعية، يبدو أن TigerBeetle يفي بوعده. فتحت حركة بيانات كثيفة تبلغ 40k طلب في الثانية، تحافظ قاعدة البيانات على زمن استجابة معقول يبلغ 70 ms. وفي الوقت نفسه، تبلغ إنتاجيته أكثر من 5 أضعاف إنتاجية PostgreSQL في اختبار 5k لدينا و10 أضعاف في اختبار 10k. ويستطيع TigerBeetle حتى توفير إنتاجية أعلى بـ 100 ضعف على حساب زمن الاستجابة، ومع ذلك فعند 100k طلب في الثانية يظل زمن استجابته أقل من زمن PostgreSQL وهو يخدم 5k طلب في الثانية فقط. وقد هدفنا إلى إعادة إنشاء بيئة وحمل أكثر واقعية لاختبار قاعدتي البيانات، وما زالت الفروق واضحة: يوفر TigerBeetle زمن استجابة أقل وإنتاجية أعلى وسلوكًا أكثر ثباتًا رغم اختلاف الحمل.