Data Subject Requests (DSR)-ների բացատրությունը և դրանց համար մասշտաբավորվող լուծման կառուցումը
Այստեղ ներկայացված ճարտարապետությունները արդյունավետ, մասշտաբավորվող ձև են առաջարկում Data Subject Request-ները մշակելու համար՝ բազմաթիվ միկրոսերվիսներից կազմված բաշխված համակարգում։
Data Subject Request (DSR)-ը պաշտոնական հայց է, որը անձը («տվյալների սուբյեկտը») ներկայացնում է կազմակերպությանը՝ տարբեր գաղտնիության կանոնակարգերով իրեն տրված իրավունքները իրացնելու համար։ Այդպիսի կանոնակարգերը, ներառյալ Եվրոպական միությունում General Data Protection Regulation (GDPR)-ը և ԱՄՆ-ում California Consumer Privacy Act (CCPA)-ը, անհատներին տալիս են իրենց անձնական տվյալների նկատմամբ որոշակի իրավունքներ։
DSR-ների տեսակները
DSR-ների ամենատարածված տեսակներն են.
- Right to Access. հայց՝ տեսնելու այն անձնական տվյալները, որոնք պահում է կազմակերպությունը։
- Right to Rectification. հայց՝ ուղղելու անճշգրիտ կամ թերի անձնական տվյալները։
- Right to Erasure (Right to Be Forgotten). հայց՝ որոշակի պայմաններով անձնական տվյալները ջնջելու համար։
- Right to Data Portability. հայց՝ անձնական տվյալները տեղափոխելու մեկ այլ ծառայության մատակարարի։
- Right to Restrict Processing. հայց՝ սահմանափակելու անձնական տվյալների մշակման ձևերը։
- Right to Object. հայց՝ դադարեցնելու անձնական տվյալների մշակումը որոշակի նպատակներով, օրինակ՝ մարքեթինգի համար։
DSR-ների մշակման մարտահրավերները բաշխված համակարգերում
Բազմաթիվ միկրոսերվիսներից կազմված համակարգերում կազմակերպությունները հաճախ դժվարանում են DSR-ները մշակելիս։ Հիմնական մարտահրավերներն են.
- Տվյալների բաշխվածություն. անձնական տվյալները տարածված են բազմաթիվ տարբեր միկրոսերվիսներում։
- Սերվիսների միջև կախվածություններ. DSR-ը կատարելը կարող է պահանջել, որ սերվիսները գործողություններ կատարեն որոշակի հերթականությամբ։
- Մասշտաբավորելիություն. համակարգը պետք է կարողանա միաժամանակ մշակել շատ DSR՝ առանց խցանումների։
Ճարտարապետություն
Սովորաբար DSR-ի աջակցությունը միկրոսերվիսային ճարտարապետություն նախագծելիս հիմնական մտահոգություն չէ. այն հիմնական բիզնես արժեք չի տալիս։ Փոխարենը այն դառնում է պահանջ, որը պետք է բավարարվի, երբ համակարգը պատրաստ է մշակել օգտատերերի տվյալներ։
Մեր իրավիճակում միկրոսերվիսային ճարտարապետությունն արդեն հասուն էր, երբ ստիպված եղանք DSR-ի աջակցություն ավելացնել։ Առաջարկվող ճարտարապետությունը մշակման տրամաբանության համար հենվում է AWS Lambda-ի վրա, հաղորդակցության համար՝ Kinesis Streams-ի, իսկ տվյալների որոշակի գործողություններ կատարելու համար՝ միկրոսերվիսների վրա, ինչը DSR-ները մշակելու համար տալիս է մասշտաբավորվող, մոդուլային և աուդիտի ենթակա համակարգ։
Հիմնական բաղադրիչները
- API Gateway.
- Ծառայում է որպես մուտքի կետ, որը ստանում է DSR հայցերը։
- Կարող եք այն օգտագործել ձեր lambda-ի համար HTTP endpoint բացահայտելու համար, ինչպես նկարագրված է փաստաթղթերում։
- Orchestrator Lambda.
- Ստուգում է հայցը և այն վերածում առաջադրանքի, որը կարող են սպառել առաջադրանքների կատարողները։
- Kinesis Stream առաջադրանքների տարածման համար.
- Աշխատում է որպես հերթ Orchestrator Lambda-ի ստեղծած առաջադրանքների համար։
- Ապահովում է առաջադրանքների հուսալի, մասշտաբավորվող առաքում Task Executor Lambda-ներին։
- Task Executor Lambdas.
- Մի քանի Task Executor Lambda-ներ յուրաքանչյուրը հոգ է տանում միկրոսերվիսների տարբեր խմբի մասին՝ ըստ առաջադրանքի տեսակի կամ հետաքրքրության ոլորտի, օրինակ՝ User Services, Commerce, Content և այլն։
- Յուրաքանչյուր Task Executor Lambda կարդում է առաջադրանքները Kinesis Stream-ից և կանչում է իրեն հանձնարարված միկրոսերվիսները ճիշտ հերթականությամբ՝ հարգելով կախվածությունները։
- Միկրոսերվիսներ.
- Հոգ են տանում DSR-ի որոշակի մասերի մասին, օրինակ՝ տվյալների ստացում, ջնջում կամ թարմացում։
- Յուրաքանչյուր միկրոսերվիս արձակում է իրադարձություններ, որոնք նկարագրում են վիճակի փոփոխությունները, և որոնք կարելի է օգտագործել DSR-ի ընթացքին հետևելու համար։
- Kinesis Events Streams.
- Մեր բոլոր սերվիսներն արդեն արձակում էին տվյալների փոփոխության իրադարձություններ (շատ նման CDC-ին), ինչը թույլ տվեց այդ իրադարձություններն օգտագործել DSR-ի ընթացքին հետևելու համար
- Ծառայում են առաջադրանքի կարգավիճակին հետևելու և բաղադրիչների միջև ասինխրոն հաղորդակցությանը աջակցելու համար։
- Completion Lambda.
- Զտում է միկրոսերվիսների արձակած իրադարձությունները՝ DSR առաջադրանքների կարգավիճակին հետևելու համար։
- Միավորում է արդյունքները և ուղարկում վերջնական պատասխանը։
- Notifier (SNS/SES).
- Տեղեկացնում է հայցվորին DSR-ի կարգավիճակի կամ ավարտի մասին։
- Ցանկացած այլ ծանուցման մեխանիզմ նույնպես կաշխատի, բայց սա application-to-person հաղորդագրություններին աջակցելու ամենահեշտ ձևն է։
- Տվյալների բազա/պահեստ.
- Կարող է ըստ ցանկության պահել աուդիտի լոգեր և հետևել DSR-ների ընթացքին։
Ճարտարապետության դիագրամը
Ստորև դիագրամը կարող է բարդ թվալ, բայց այն պարզապես արտացոլում է, թե որքան դժվար է DSR լուծում իրականացնել տասնյակ միկրոսերվիսներից կազմված համակարգի համար։ Այն վերօգտագործում է առկա հաղորդակցության ճարտարապետությունը, որը իրադարձությունները տարածում է Kinesis streams-ի միջոցով։ Այն կարելի է նկարագրել որպես ուղղահայաց ճարտարապետություն, որում կատարումը հոսում է վերևից ներքև։

Աշխատանքային հոսքի նկարագրություն
- Հայցի սկզբնավորում.
- API Gateway-ը ընդունում է DSR հայցը (օրինակ՝ որոշակի օգտատիրոջ տվյալների հեռացման հայց)։
- Հայցը փոխանցվում է Orchestrator Lambda-ին, որը վալիդացնում է այն և ստեղծում առաջադրանքներ համապատասխան կատարողների համար։
- Առաջադրանքների հեռարձակում.
- Orchestrator Lambda-ն առաջադրանքները որպես իրադարձություններ հրապարակում է Kinesis Stream-ում։
- Զուգահեռ կատարում մի քանի կատարողների կողմից.
- Մի քանի Task Executor Lambda-ներ սպառում են իրադարձությունները Kinesis Stream-ից։ Յուրաքանչյուր Task Executor Lambda պատասխանատու է միկրոսերվիսների որոշակի խմբի համար։
- Յուրաքանչյուր Task Executor Lambda-ի ներսում առաջադրանքները կատարվում են հաջորդաբար, երբ միկրոսերվիսները կախված են միմյանցից։
- Երբ որևէ միկրոսերվիս չի կարողանում մշակել հայցը, ամբողջ առաջադրանքը սկսվում է նորից՝ հենց սկզբից, ինչը նշանակում է, որ յուրաքանչյուր միկրոսերվիս պետք է աջակցի idempotency-ին
- Կարգավիճակի հետևում.
- Յուրաքանչյուր միկրոսերվիս տվյալների փոփոխության իրադարձություն է հրապարակում հետ Kinesis Stream-ում։ Սա սերվիսի սովորական վարքի մաս է և կապ չունի DSR-ի մշակման հետ։
- Completion Lambda-ն հետևում է հոսքին և միավորում արդյունքները, թեև ճիշտ իրադարձությունները ընտրելը կարող է բարդ լինել։ Տարբերակներից մեկը ջնջման պատճառը նշող հատուկ դաշտ ավելացնելն է, որպեսզի Lambda-ն մշակի միայն համապատասխան իրադարձությունները։
- Վերջնական պատասխան.
- Երբ բոլոր առաջադրանքները կատարված են, Completion Lambda-ն թարմացնում է կարգավիճակը տվյալների բազայում և ուղարկում ծանուցում SNS/SES-ի միջոցով։
- Հայցվորը ստանում է վերջնական պատասխանը API Gateway-ի միջոցով։
Այլընտրանքային մոտեցում
Հնարավոր է նաև մեկ այլ մոտեցում՝ նման վերը ցուցադրվածին, հատկապես երբ ձեր միկրոսերվիսային ճարտարապետությունը իրադարձությունները տարածելու համար լրացուցիչ Kinesis streams չունի։ Այդ դեպքում Executor lambda-ները կարող են միկրոսերվիսների յուրաքանչյուր խմբի արդյունքները հրապարակել հատուկ Kinesis stream-ում։ Սա կարելի է անվանել հորիզոնական ճարտարապետություն։

Աշխատանքային հոսքը գրեթե նույնն է, ինչ նախկինում, այն տարբերությամբ, որ կատարման ընթացքին հետևում են մեկ հատուկ Kinesis stream-ի միջոցով, այլ ոչ թե շատ stream-ներից տվյալներ հավաքելով։
DSR-ի ընթացքին հետևելը
Հիմնական սկզբունքներ
Data Subject Request (DSR)-ների ընթացքին հետևելը էական է տեսանելիություն պահպանելու, համապատասխանության պահանջներին համահունչ ժամկետները պահպանելու և հայցվորներին կարգավիճակի մասին տեղեկացված պահելու համար։ DSR գործընթացի յուրաքանչյուր քայլ պետք է արձակի կարգավիճակի թարմացում, որը նկարագրում է իր ընթացքը և պահվում է կենտրոնական, հարցումների ենթակա վայրում։
Ընթացքին հետևելու բաղադրիչները
- Kinesis Streams կարգավիճակի թարմացումների համար.
- Յուրաքանչյուր միկրոսերվիս կարգավիճակի թարմացումներ (օրինակ՝
in-progress,completed,failed) հրապարակում է հատուկ Kinesis Stream-ում։ - Թարմացումները կրում են մետատվյալներ, ինչպիսիք են DSR ID-ն, առաջադրանքի անունը, ժամանակի դրոշմը և ընթացիկ կարգավիճակը։
- Յուրաքանչյուր միկրոսերվիս կարգավիճակի թարմացումներ (օրինակ՝
- Completion Lambda ագրեգացման համար.
- Հետևում է կարգավիճակի հոսքին և միավորում DSR-ի կարգավիճակները։
- Հետևում է, թե որ առաջադրանքներն են սպասման մեջ, կատարված կամ ձախողված։
- Ընթացքը գրում է կենտրոնական տվյալների բազայում իրական ժամանակում։
- Կենտրոնացված տվյալների բազա (DynamoDB/RDS).
- Պահում է յուրաքանչյուր DSR-ի ընթացքը և ընթացիկ վիճակը։
- Սխեմայի օրինակ.
- DSR ID. DSR-ի եզակի նույնացուցիչը։
- Tasks. յուրաքանչյուր առաջադրանքի ցուցակ՝ իր կարգավիճակով։
- Overall Status.
Pending,In-ProgressկամCompleted։ - Last Updated. վերջին թարմացման ժամանակի դրոշմը։
- Հնարավոր է դարձնում DSR գործընթացի հարցումները և աուդիտը։
- Ծանուցման սերվիս (SNS/SES).
- Միացված լինելու դեպքում տեղեկացնում է հայցվորներին, օրինակ.
- Երբ սկսվում է DSR-ի մշակումը։
- Երբ ուշացումներ կամ խնդիրներ են առաջանում։
- Երբ այն ավարտվում է։
- Միացված լինելու դեպքում տեղեկացնում է հայցվորներին, օրինակ.
- Dashboard (ըստ ցանկության).
- Վեբ կամ console ինտերֆեյս, որը ադմինիստրատորներին ցույց է տալիս յուրաքանչյուր ակտիվ DSR-ի ընթացքը։
- Առաջարկում է որոնման և ֆիլտրման հնարավորություններ։
Ընթացքին հետևելու աշխատանքային հոսքը
- Միկրոսերվիսներն արձակում են կարգավիճակի թարմացումներ.
- Յուրաքանչյուր միկրոսերվիս կատարում է իր առաջադրանքը և կարգավիճակի թարմացում է հրապարակում Kinesis Data Stream-ում, երբ ավարտում է, ձախողվում է կամ հասնում է միջանկյալ փուլի։
- Data Stream-ը սնում է Completion Lambda-ին.
- Completion Lambda-ն կարդում է թարմացումները Data Stream-ից և գրում դրանք Centralized Database-ում։
- Այն որոշում է՝ բոլոր առաջադրանքներն ավարտվել են, թե սխալները պետք է էսկալացվեն։
- Իրական ժամանակի թարմացումներ տվյալների բազայում.
-
Կենտրոնական տվյալների բազան ստանում է DSR-ի առաջադրանքային մակարդակի ընթացքը։
-
Օրինակ գրառում.
{ "DSR_ID": "12345", "Tasks": [ {"TaskName": "Delete Data from Service A", "Status": "Completed"}, {"TaskName": "Delete Data from Service B", "Status": "In-Progress"} ], "OverallStatus": "In-Progress", "LastUpdated": "2024-12-23T10:15:30Z" }
-
- Ծանուցումներ և dashboard.
- Ծանուցումները գործարկվում են, երբ բավարարվում են որոշակի պայմաններ (օրինակ՝ DSR-ն ավարտվում է կամ ուշանում է)։
- Ադմինիստրատորները հետևում են DSR-ի ընթացքին dashboard-ում և միջամտում են, երբ անհրաժեշտ է։
Ընթացքին հետևելու լավագույն պրակտիկաները
- Հետևողական մետատվյալներ. օգտագործեք կարգավիճակի թարմացումների ստանդարտ ձևաչափ, որպեսզի հետևումը միատեսակ մնա։
- Retry տրամաբանություն. ավելացրեք retry մեխանիզմներ ձախողված առաջադրանքների համար և լոգավորեք սխալները աուդիտի նպատակով։
- Աուդիտի լոգեր. պահեք յուրաքանչյուր կարգավիճակի թարմացման պատմությունը համապատասխանության և դեբագի համար։
- Timeout-ներ և ահազանգեր. սահմանեք առաջադրանքների համար timeout-ներ և ահազանգեր բարձրացրեք, երբ ժամկետները բաց են թողնվում։
- Գաղտնիություն և անվտանգություն. համոզվեք, որ հետևման բոլոր տվյալները պաշտպանված են և համապատասխանում են գաղտնիության կանոնակարգերին։
Մեխանիզմի առավելությունները
- Իրական ժամանակի տեսանելիություն. թե՛ ադմինիստրատորները, թե՛ հայցվորները կարող են ստուգել DSR-ի ընթացքը, երբ ցանկանան։
- Սխալների մշակում. կենտրոնացված հետևումը հեշտացնում է խնդիրները նկատելն ու ուղղելը։
- Համապատասխանության ապահովում. օգնում է պահպանել ժամկետները և ստեղծում է հստակ աուդիտի հետք կարգավորող պահանջների համար։
- Մասշտաբավորելիություն. համակարգը կարող է միաժամանակ մշակել շատ DSR՝ առանց խցանումների։
Ճարտարապետության առավելությունները
- Մասշտաբավորելիություն.
- AWS Lambda-ի շնորհիվ համակարգը ինքնուրույն մասշտաբավորվում է՝ շատ DSR մշակելու համար։
- Մոդուլայնություն.
- Յուրաքանչյուր միկրոսերվիս հոգ է տանում կոնկրետ առաջադրանքների մասին, ուստի համակարգն ավելի հեշտ է սպասարկել և ընդլայնել։
- Կախվածությունների կառավարում.
- Task Executor Lambda-ները համոզվում են, որ առաջադրանքները կատարվում են ճիշտ հերթականությամբ, նույնիսկ երբ սերվիսները կախված են միմյանցից։
- Աուդիտելիություն.
- Լոգավորումը և կարգավիճակի հետևումը տալիս են հստակ աուդիտի հետք՝ աջակցելով գաղտնիության կանոնակարգերին համապատասխանությանը։
- Ասինխրոն հաղորդակցություն.
- Kinesis Streams-ը թույլ են տալիս բաղադրիչներին հաղորդակցվել ասինխրոն, ինչը նվազեցնում է խցանումների ռիսկը։
Եզրակացություն
Այստեղ ներկայացված ճարտարապետությունները արդյունավետ, մասշտաբավորվող ձև են առաջարկում Data Subject Request-ները մշակելու համար՝ բազմաթիվ միկրոսերվիսներից կազմված բաշխված համակարգում։ AWS սերվիսների վրա, ինչպիսիք են Lambda-ն և Kinesis Streams-ը, հենվելը աջակցում է գաղտնիության կանոնակարգերին համապատասխանությանը՝ միաժամանակ բարձր պահելով արտադրողականությունն ու հուսալիությունը։ Ընթացքին իրական ժամանակում հետևելը բարելավում է տեսանելիությունը և օգնում է կազմակերպություններին հուսալիորեն պահպանել կարգավորող ժամկետները։