شرح طلبات أصحاب البيانات (DSRs) وكيفية بناء حل قابل للتوسع لها
تقدّم المعماريات المعروضة هنا طريقة فعّالة وقابلة للتوسع لمعالجة طلبات أصحاب البيانات في نظام موزع يتكون من خدمات مصغّرة كثيرة.
طلب صاحب البيانات (Data Subject Request – DSR) هو طلب رسمي يقدّمه شخص («صاحب البيانات») إلى مؤسسة لممارسة الحقوق الممنوحة له بموجب لوائح الخصوصية المختلفة. وتمنح هذه اللوائح، ومنها اللائحة العامة لحماية البيانات (GDPR) في الاتحاد الأوروبي وقانون خصوصية المستهلك في كاليفورنيا (CCPA) في الولايات المتحدة، الأفراد حقوقاً معينة على بياناتهم الشخصية.
أنواع DSRs
أكثر أنواع DSRs شيوعاً هي:
- الحق في الاطلاع (Right to Access): طلب الاطلاع على البيانات الشخصية التي تحتفظ بها المؤسسة.
- الحق في التصحيح (Right to Rectification): طلب تصحيح البيانات الشخصية غير الدقيقة أو الناقصة.
- الحق في المحو (الحق في النسيان) (Right to Erasure): طلب حذف البيانات الشخصية في ظل شروط معينة.
- الحق في نقل البيانات (Right to Data Portability): طلب نقل البيانات الشخصية إلى مزود خدمة آخر.
- الحق في تقييد المعالجة (Right to Restrict Processing): طلب الحد من الطرق التي تُعالَج بها البيانات الشخصية.
- الحق في الاعتراض (Right to Object): طلب إيقاف معالجة البيانات الشخصية لأغراض معينة، مثل التسويق.
تحديات معالجة DSRs في الأنظمة الموزعة
في الأنظمة المكوّنة من خدمات مصغّرة كثيرة، كثيراً ما تواجه المؤسسات صعوبات في معالجة DSRs. وأبرز التحديات:
- توزّع البيانات: البيانات الشخصية منتشرة عبر خدمات مصغّرة كثيرة مختلفة.
- الاعتماديات بين الخدمات: قد يتطلب إكمال DSR أن تنفذ الخدمات عمليات بترتيب معين.
- قابلية التوسع: يجب أن يكون النظام قادراً على معالجة كثير من DSRs في وقت واحد دون اختناقات.
المعمارية
عادةً لا يكون دعم DSR همّاً رئيسياً عند تصميم معمارية الخدمات المصغّرة – فهو لا يقدّم قيمة أعمال جوهرية. بل يتحول إلى متطلب يجب تلبيته حالما يصبح النظام جاهزاً لمعالجة بيانات المستخدمين.
في حالتنا، كانت معمارية الخدمات المصغّرة ناضجة بالفعل حين اضطررنا إلى إضافة دعم DSR. وتعتمد المعمارية المقترحة على AWS Lambda لمنطق المعالجة، وعلى Kinesis Streams للتواصل، وعلى الخدمات المصغّرة لتنفيذ عمليات بيانات محددة، ما يمنح نظاماً قابلاً للتوسع ومعيارياً وقابلاً للتدقيق لمعالجة DSRs.
المكونات الرئيسية
- API Gateway:
- يعمل كنقطة الدخول التي تستقبل طلبات DSR.
- يمكنك استخدامه لكشف نقطة نهاية HTTP لدالة lambda لديك، كما هو موضح في التوثيق.
- Orchestrator Lambda:
- تتحقق من الطلب وتحوّله إلى مهمة يمكن لمنفّذي المهام استهلاكها.
- Kinesis Stream لنشر المهام:
- يعمل كطابور للمهام التي تنتجها Orchestrator Lambda.
- يوفّر تسليماً موثوقاً وقابلاً للتوسع للمهام إلى Task Executor Lambdas.
- Task Executor Lambdas:
- تتولى عدة Task Executor Lambdas، كل واحدة منها، مجموعة مختلفة من الخدمات المصغّرة بحسب نوع المهمة أو مجال الاهتمام، مثل: خدمات المستخدمين والتجارة والمحتوى وغيرها.
- تقرأ كل Task Executor Lambda المهام من Kinesis Stream وتستدعي الخدمات المصغّرة المسندة إليها بالترتيب الصحيح، مراعيةً الاعتماديات.
- الخدمات المصغّرة (Microservices):
- تتولى أجزاء محددة من DSR، مثل استرجاع البيانات أو حذفها أو تحديثها.
- تبثّ كل خدمة مصغّرة أحداثاً تصف تغيّرات الحالة، ويمكن استخدامها لتتبع تقدم DSR.
- Kinesis Events Streams:
- كانت جميع خدماتنا تبثّ أصلاً أحداث تغيّر البيانات (على غرار CDC)، ما أتاح لنا استخدام تلك الأحداث لتتبع تقدم DSR
- تُستخدم لتتبع حالة المهام ولدعم التواصل غير المتزامن بين المكونات.
- Completion Lambda:
- ترشّح الأحداث التي تبثها الخدمات المصغّرة لتتبع حالة مهام DSR.
- تجمع النتائج وترسل الاستجابة النهائية.
- Notifier (SNS/SES):
- يُبلغ مقدّم الطلب بحالة DSR أو اكتماله.
- يصلح أي آلية إشعار أخرى أيضاً، لكن هذه أسهل طريقة لدعم المراسلة من تطبيق إلى شخص.
- قاعدة البيانات/التخزين:
- يمكن اختيارياً أن تحتفظ بسجلات التدقيق وتتتبع تقدم DSRs.
مخطط المعمارية
قد يبدو المخطط أدناه معقداً، لكنه يعكس ببساطة مدى صعوبة تنفيذ حل DSR لنظام مكوّن من عشرات الخدمات المصغّرة. فهو يعيد استخدام معمارية التواصل القائمة، التي تنشر الأحداث عبر تدفقات Kinesis. ويمكن وصفه بأنه معمارية عمودية، يتدفق فيها التنفيذ من الأعلى إلى الأسفل.

وصف سير العمل
- بدء الطلب:
- يقبل API Gateway طلب DSR (مثل طلب إزالة بيانات مستخدم معين).
- يُمرَّر الطلب إلى Orchestrator Lambda، التي تتحقق منه وتنشئ مهاماً للمنفّذين المناسبين.
- بثّ المهام:
- تنشر Orchestrator Lambda المهام كأحداث في Kinesis Stream.
- التنفيذ المتوازي بواسطة عدة منفّذين:
- تستهلك عدة Task Executor Lambdas الأحداث من Kinesis Stream. وتتولى كل Task Executor Lambda مجموعة معينة من الخدمات المصغّرة.
- داخل كل Task Executor Lambda، تُنفَّذ المهام الواحدة تلو الأخرى عندما تعتمد الخدمات المصغّرة بعضها على بعض.
- عندما تفشل أي خدمة مصغّرة في معالجة الطلب، تبدأ المهمة بأكملها من جديد من البداية، ما يعني أن على كل خدمة مصغّرة أن تدعم خاصية idempotency (عدم تغيّر النتيجة عند التكرار)
- تتبع الحالة:
- تنشر كل خدمة مصغّرة حدث تغيّر بيانات مرة أخرى إلى Kinesis Stream. وهذا جزء من السلوك المعتاد للخدمة ولا علاقة له بمعالجة DSR.
- تراقب Completion Lambda التدفق وتجمع النتائج، مع أن انتقاء الأحداث المناسبة قد يكون صعباً. أحد الخيارات إضافة حقل مخصص يذكر سبب الحذف، بحيث تعالج Lambda الأحداث ذات الصلة فقط.
- الاستجابة النهائية:
- عندما تنتهي كل المهام، تحدّث Completion Lambda الحالة في قاعدة البيانات وترسل إشعاراً عبر SNS/SES.
- يتلقى مقدّم الطلب الاستجابة النهائية عبر API Gateway.
نهج بديل
ثمة نهج آخر ممكن، مشابه لما سبق، خصوصاً عندما لا تتضمن معمارية الخدمات المصغّرة لديك تدفقات Kinesis إضافية لنشر الأحداث. في هذه الحالة يمكن لـ Executor lambdas أن تنشر نتائج كل مجموعة من الخدمات المصغّرة إلى تدفق Kinesis مخصص. ويمكن تسمية ذلك معمارية أفقية.

سير العمل مماثل تقريباً لما سبق، مع فارق أن تقدم التنفيذ يُتتبَّع عبر تدفق Kinesis مخصص واحد بدلاً من جمع البيانات من تدفقات كثيرة.
تتبع تقدم DSR
المبادئ الأساسية
يُعد تتبع تقدم طلبات أصحاب البيانات (DSRs) ضرورياً للحفاظ على الرؤية الشاملة والالتزام بالمواعيد النهائية وفق متطلبات الامتثال وإبقاء مقدّمي الطلبات على اطلاع بالحالة. يجب أن تبثّ كل خطوة من عملية DSR تحديثاً للحالة يصف تقدمها، يُخزَّن في مكان مركزي قابل للاستعلام.
مكونات تتبع التقدم
- Kinesis Streams لتحديثات الحالة:
- تنشر كل خدمة مصغّرة تحديثات الحالة (مثل
in-progressوcompletedوfailed) إلى Kinesis Stream مخصص. - تحمل التحديثات بيانات وصفية مثل معرّف DSR واسم المهمة والطابع الزمني والحالة الحالية.
- تنشر كل خدمة مصغّرة تحديثات الحالة (مثل
- Completion Lambda للتجميع:
- تراقب تدفق الحالة وتجمع حالات DSR.
- تتتبع المهام المعلّقة والمكتملة والفاشلة.
- تكتب التقدم في قاعدة البيانات المركزية في الوقت الفعلي.
- قاعدة بيانات مركزية (DynamoDB/RDS):
- تحتفظ بتقدم كل DSR وحالته الراهنة.
- مثال على المخطط:
- DSR ID: المعرّف الفريد لـ DSR.
- Tasks: قائمة بكل مهمة مع حالتها.
- Overall Status:
PendingأوIn-ProgressأوCompleted. - Last Updated: الطابع الزمني لآخر تحديث.
- تتيح الاستعلام عن عملية DSR وتدقيقها.
- خدمة الإشعارات (SNS/SES):
- عند تفعيلها، تُبلغ مقدّمي الطلبات، مثلاً:
- عند بدء معالجة DSR.
- عند حدوث تأخيرات أو مشكلات.
- عند اكتماله.
- عند تفعيلها، تُبلغ مقدّمي الطلبات، مثلاً:
- لوحة المعلومات (Dashboard) (اختيارية):
- واجهة ويب أو وحدة تحكم تعرض للمسؤولين تقدم كل DSR نشط.
- تقدّم ميزات البحث والتصفية.
سير العمل لتتبع التقدم
- تبثّ الخدمات المصغّرة تحديثات الحالة:
- تعالج كل خدمة مصغّرة مهمتها وتنشر تحديث حالة إلى Kinesis Data Stream عند اكتمالها أو فشلها أو بلوغها مرحلة وسيطة.
- يغذّي Data Stream الدالة Completion Lambda:
- تقرأ Completion Lambda التحديثات من Data Stream وتكتبها في قاعدة البيانات المركزية.
- وتقرر هل اكتملت كل المهام أم يجب تصعيد الأخطاء.
- تحديثات فورية في قاعدة البيانات:
-
تتلقى قاعدة البيانات المركزية التقدم على مستوى المهام لـ DSR.
-
مثال على سجل:
{ "DSR_ID": "12345", "Tasks": [ {"TaskName": "Delete Data from Service A", "Status": "Completed"}, {"TaskName": "Delete Data from Service B", "Status": "In-Progress"} ], "OverallStatus": "In-Progress", "LastUpdated": "2024-12-23T10:15:30Z" }
-
- الإشعارات ولوحة المعلومات:
- تُطلَق الإشعارات عند استيفاء شروط معينة (مثل اكتمال DSR أو تأخره).
- يتابع المسؤولون تقدم DSR على لوحة المعلومات ويتدخلون عند الحاجة.
أفضل الممارسات لتتبع التقدم
- بيانات وصفية متسقة: استخدم صيغة موحدة لتحديثات الحالة ليبقى التتبع متجانساً.
- منطق إعادة المحاولة: أضف آليات إعادة محاولة للمهام الفاشلة وسجّل الأخطاء لأغراض التدقيق.
- سجلات التدقيق: احتفظ بسجل لكل تحديث حالة لأغراض الامتثال وتصحيح الأخطاء.
- المهلات والتنبيهات: حدّد مهلات للمهام وأطلق تنبيهات عند فوات المواعيد النهائية.
- الخصوصية والأمن: تأكد من حماية جميع بيانات التتبع وامتثالها للوائح الخصوصية.
مزايا هذه الآلية
- رؤية فورية: يستطيع المسؤولون ومقدّمو الطلبات على السواء التحقق من تقدم DSR متى شاؤوا.
- معالجة الأخطاء: يجعل التتبع المركزي رصد المشكلات وإصلاحها أسهل.
- ضمان الامتثال: يساعد على الالتزام بالمواعيد النهائية وينتج مساراً واضحاً للتدقيق لأغراض الجهات التنظيمية.
- قابلية التوسع: يستطيع النظام معالجة كثير من DSRs في وقت واحد دون اختناقات.
مزايا المعمارية
- قابلية التوسع:
- بفضل AWS Lambda، يتوسع النظام من تلقاء نفسه لمعالجة كثير من DSRs.
- المعيارية:
- تتولى كل خدمة مصغّرة مهام محددة، لذا يسهل صيانة النظام وتوسيعه.
- إدارة الاعتماديات:
- تضمن Task Executor Lambdas تنفيذ المهام بالترتيب الصحيح، حتى عندما تعتمد الخدمات بعضها على بعض.
- قابلية التدقيق:
- يمنح التسجيل وتتبع الحالة مساراً واضحاً للتدقيق، ما يدعم الامتثال للوائح الخصوصية.
- التواصل غير المتزامن:
- تتيح Kinesis Streams للمكونات التواصل بشكل غير متزامن، ما يقلل خطر الاختناقات.
الخاتمة
تقدّم المعماريات المعروضة هنا طريقة فعّالة وقابلة للتوسع لمعالجة طلبات أصحاب البيانات في نظام موزع يتكون من خدمات مصغّرة كثيرة. ويدعم البناء على خدمات AWS مثل Lambda وKinesis Streams الامتثال للوائح الخصوصية مع الحفاظ على أداء وموثوقية عاليين. كما يحسّن تتبع التقدم في الوقت الفعلي الرؤية الشاملة ويساعد المؤسسات على الالتزام بمواعيد الجهات التنظيمية بموثوقية.