Գնահատել նախագիծը
← Բոլոր հրապարակումները

Data Subject Requests (DSR)-ների բացատրությունը և դրանց համար մասշտաբավորվող լուծման կառուցումը

Այստեղ ներկայացված ճարտարապետությունները արդյունավետ, մասշտաբավորվող ձև են առաջարկում Data Subject Request-ները մշակելու համար՝ բազմաթիվ միկրոսերվիսներից կազմված բաշխված համակարգում։

7 րոպե
ՄիկրոսերվիսներՃարտարապետությունԱնվտանգությունDSR

Data Subject Request (DSR)-ը պաշտոնական հայց է, որը անձը («տվյալների սուբյեկտը») ներկայացնում է կազմակերպությանը՝ տարբեր գաղտնիության կանոնակարգերով իրեն տրված իրավունքները իրացնելու համար։ Այդպիսի կանոնակարգերը, ներառյալ Եվրոպական միությունում General Data Protection Regulation (GDPR)-ը և ԱՄՆ-ում California Consumer Privacy Act (CCPA)-ը, անհատներին տալիս են իրենց անձնական տվյալների նկատմամբ որոշակի իրավունքներ։

DSR-ների տեսակները

DSR-ների ամենատարածված տեսակներն են.

  • Right to Access. հայց՝ տեսնելու այն անձնական տվյալները, որոնք պահում է կազմակերպությունը։
  • Right to Rectification. հայց՝ ուղղելու անճշգրիտ կամ թերի անձնական տվյալները։
  • Right to Erasure (Right to Be Forgotten). հայց՝ որոշակի պայմաններով անձնական տվյալները ջնջելու համար։
  • Right to Data Portability. հայց՝ անձնական տվյալները տեղափոխելու մեկ այլ ծառայության մատակարարի։
  • Right to Restrict Processing. հայց՝ սահմանափակելու անձնական տվյալների մշակման ձևերը։
  • Right to Object. հայց՝ դադարեցնելու անձնական տվյալների մշակումը որոշակի նպատակներով, օրինակ՝ մարքեթինգի համար։

DSR-ների մշակման մարտահրավերները բաշխված համակարգերում

Բազմաթիվ միկրոսերվիսներից կազմված համակարգերում կազմակերպությունները հաճախ դժվարանում են DSR-ները մշակելիս։ Հիմնական մարտահրավերներն են.

  • Տվյալների բաշխվածություն. անձնական տվյալները տարածված են բազմաթիվ տարբեր միկրոսերվիսներում։
  • Սերվիսների միջև կախվածություններ. DSR-ը կատարելը կարող է պահանջել, որ սերվիսները գործողություններ կատարեն որոշակի հերթականությամբ։
  • Մասշտաբավորելիություն. համակարգը պետք է կարողանա միաժամանակ մշակել շատ DSR՝ առանց խցանումների։

Ճարտարապետություն

Սովորաբար DSR-ի աջակցությունը միկրոսերվիսային ճարտարապետություն նախագծելիս հիմնական մտահոգություն չէ. այն հիմնական բիզնես արժեք չի տալիս։ Փոխարենը այն դառնում է պահանջ, որը պետք է բավարարվի, երբ համակարգը պատրաստ է մշակել օգտատերերի տվյալներ։

Մեր իրավիճակում միկրոսերվիսային ճարտարապետությունն արդեն հասուն էր, երբ ստիպված եղանք DSR-ի աջակցություն ավելացնել։ Առաջարկվող ճարտարապետությունը մշակման տրամաբանության համար հենվում է AWS Lambda-ի վրա, հաղորդակցության համար՝ Kinesis Streams-ի, իսկ տվյալների որոշակի գործողություններ կատարելու համար՝ միկրոսերվիսների վրա, ինչը DSR-ները մշակելու համար տալիս է մասշտաբավորվող, մոդուլային և աուդիտի ենթակա համակարգ։

Հիմնական բաղադրիչները

  • API Gateway.
    • Ծառայում է որպես մուտքի կետ, որը ստանում է DSR հայցերը։
    • Կարող եք այն օգտագործել ձեր lambda-ի համար HTTP endpoint բացահայտելու համար, ինչպես նկարագրված է փաստաթղթերում։
  • Orchestrator Lambda.
    • Ստուգում է հայցը և այն վերածում առաջադրանքի, որը կարող են սպառել առաջադրանքների կատարողները։
  • Kinesis Stream առաջադրանքների տարածման համար.
    • Աշխատում է որպես հերթ Orchestrator Lambda-ի ստեղծած առաջադրանքների համար։
    • Ապահովում է առաջադրանքների հուսալի, մասշտաբավորվող առաքում Task Executor Lambda-ներին։
  • Task Executor Lambdas.
    • Մի քանի Task Executor Lambda-ներ յուրաքանչյուրը հոգ է տանում միկրոսերվիսների տարբեր խմբի մասին՝ ըստ առաջադրանքի տեսակի կամ հետաքրքրության ոլորտի, օրինակ՝ User Services, Commerce, Content և այլն։
    • Յուրաքանչյուր Task Executor Lambda կարդում է առաջադրանքները Kinesis Stream-ից և կանչում է իրեն հանձնարարված միկրոսերվիսները ճիշտ հերթականությամբ՝ հարգելով կախվածությունները։
  • Միկրոսերվիսներ.
    • Հոգ են տանում DSR-ի որոշակի մասերի մասին, օրինակ՝ տվյալների ստացում, ջնջում կամ թարմացում։
    • Յուրաքանչյուր միկրոսերվիս արձակում է իրադարձություններ, որոնք նկարագրում են վիճակի փոփոխությունները, և որոնք կարելի է օգտագործել DSR-ի ընթացքին հետևելու համար։
  • Kinesis Events Streams.
    • Մեր բոլոր սերվիսներն արդեն արձակում էին տվյալների փոփոխության իրադարձություններ (շատ նման CDC-ին), ինչը թույլ տվեց այդ իրադարձություններն օգտագործել DSR-ի ընթացքին հետևելու համար
    • Ծառայում են առաջադրանքի կարգավիճակին հետևելու և բաղադրիչների միջև ասինխրոն հաղորդակցությանը աջակցելու համար։
  • Completion Lambda.
    • Զտում է միկրոսերվիսների արձակած իրադարձությունները՝ DSR առաջադրանքների կարգավիճակին հետևելու համար։
    • Միավորում է արդյունքները և ուղարկում վերջնական պատասխանը։
  • Notifier (SNS/SES).
    • Տեղեկացնում է հայցվորին DSR-ի կարգավիճակի կամ ավարտի մասին։
    • Ցանկացած այլ ծանուցման մեխանիզմ նույնպես կաշխատի, բայց սա application-to-person հաղորդագրություններին աջակցելու ամենահեշտ ձևն է։
  • Տվյալների բազա/պահեստ.
    • Կարող է ըստ ցանկության պահել աուդիտի լոգեր և հետևել DSR-ների ընթացքին։

Ճարտարապետության դիագրամը

Ստորև դիագրամը կարող է բարդ թվալ, բայց այն պարզապես արտացոլում է, թե որքան դժվար է DSR լուծում իրականացնել տասնյակ միկրոսերվիսներից կազմված համակարգի համար։ Այն վերօգտագործում է առկա հաղորդակցության ճարտարապետությունը, որը իրադարձությունները տարածում է Kinesis streams-ի միջոցով։ Այն կարելի է նկարագրել որպես ուղղահայաց ճարտարապետություն, որում կատարումը հոսում է վերևից ներքև։

ուղղահայաց ճարտարապետություն

Աշխատանքային հոսքի նկարագրություն

  1. Հայցի սկզբնավորում.
    • API Gateway-ը ընդունում է DSR հայցը (օրինակ՝ որոշակի օգտատիրոջ տվյալների հեռացման հայց)։
    • Հայցը փոխանցվում է Orchestrator Lambda-ին, որը վալիդացնում է այն և ստեղծում առաջադրանքներ համապատասխան կատարողների համար։
  2. Առաջադրանքների հեռարձակում.
    • Orchestrator Lambda-ն առաջադրանքները որպես իրադարձություններ հրապարակում է Kinesis Stream-ում։
  3. Զուգահեռ կատարում մի քանի կատարողների կողմից.
    • Մի քանի Task Executor Lambda-ներ սպառում են իրադարձությունները Kinesis Stream-ից։ Յուրաքանչյուր Task Executor Lambda պատասխանատու է միկրոսերվիսների որոշակի խմբի համար։
    • Յուրաքանչյուր Task Executor Lambda-ի ներսում առաջադրանքները կատարվում են հաջորդաբար, երբ միկրոսերվիսները կախված են միմյանցից։
    • Երբ որևէ միկրոսերվիս չի կարողանում մշակել հայցը, ամբողջ առաջադրանքը սկսվում է նորից՝ հենց սկզբից, ինչը նշանակում է, որ յուրաքանչյուր միկրոսերվիս պետք է աջակցի idempotency-ին
  4. Կարգավիճակի հետևում.
    • Յուրաքանչյուր միկրոսերվիս տվյալների փոփոխության իրադարձություն է հրապարակում հետ Kinesis Stream-ում։ Սա սերվիսի սովորական վարքի մաս է և կապ չունի DSR-ի մշակման հետ։
    • Completion Lambda-ն հետևում է հոսքին և միավորում արդյունքները, թեև ճիշտ իրադարձությունները ընտրելը կարող է բարդ լինել։ Տարբերակներից մեկը ջնջման պատճառը նշող հատուկ դաշտ ավելացնելն է, որպեսզի Lambda-ն մշակի միայն համապատասխան իրադարձությունները։
  5. Վերջնական պատասխան.
    • Երբ բոլոր առաջադրանքները կատարված են, Completion Lambda-ն թարմացնում է կարգավիճակը տվյալների բազայում և ուղարկում ծանուցում SNS/SES-ի միջոցով։
    • Հայցվորը ստանում է վերջնական պատասխանը API Gateway-ի միջոցով։

Այլընտրանքային մոտեցում

Հնարավոր է նաև մեկ այլ մոտեցում՝ նման վերը ցուցադրվածին, հատկապես երբ ձեր միկրոսերվիսային ճարտարապետությունը իրադարձությունները տարածելու համար լրացուցիչ Kinesis streams չունի։ Այդ դեպքում Executor lambda-ները կարող են միկրոսերվիսների յուրաքանչյուր խմբի արդյունքները հրապարակել հատուկ Kinesis stream-ում։ Սա կարելի է անվանել հորիզոնական ճարտարապետություն։

հորիզոնական ճարտարապետություն

Աշխատանքային հոսքը գրեթե նույնն է, ինչ նախկինում, այն տարբերությամբ, որ կատարման ընթացքին հետևում են մեկ հատուկ Kinesis stream-ի միջոցով, այլ ոչ թե շատ stream-ներից տվյալներ հավաքելով։

DSR-ի ընթացքին հետևելը

Հիմնական սկզբունքներ

Data Subject Request (DSR)-ների ընթացքին հետևելը էական է տեսանելիություն պահպանելու, համապատասխանության պահանջներին համահունչ ժամկետները պահպանելու և հայցվորներին կարգավիճակի մասին տեղեկացված պահելու համար։ DSR գործընթացի յուրաքանչյուր քայլ պետք է արձակի կարգավիճակի թարմացում, որը նկարագրում է իր ընթացքը և պահվում է կենտրոնական, հարցումների ենթակա վայրում։

Ընթացքին հետևելու բաղադրիչները

  • Kinesis Streams կարգավիճակի թարմացումների համար.
    • Յուրաքանչյուր միկրոսերվիս կարգավիճակի թարմացումներ (օրինակ՝ in-progress, completed, failed) հրապարակում է հատուկ Kinesis Stream-ում։
    • Թարմացումները կրում են մետատվյալներ, ինչպիսիք են DSR ID-ն, առաջադրանքի անունը, ժամանակի դրոշմը և ընթացիկ կարգավիճակը։
  • Completion Lambda ագրեգացման համար.
    • Հետևում է կարգավիճակի հոսքին և միավորում DSR-ի կարգավիճակները։
    • Հետևում է, թե որ առաջադրանքներն են սպասման մեջ, կատարված կամ ձախողված։
    • Ընթացքը գրում է կենտրոնական տվյալների բազայում իրական ժամանակում։
  • Կենտրոնացված տվյալների բազա (DynamoDB/RDS).
    • Պահում է յուրաքանչյուր DSR-ի ընթացքը և ընթացիկ վիճակը։
    • Սխեմայի օրինակ.
      • DSR ID. DSR-ի եզակի նույնացուցիչը։
      • Tasks. յուրաքանչյուր առաջադրանքի ցուցակ՝ իր կարգավիճակով։
      • Overall Status. Pending, In-Progress կամ Completed։
      • Last Updated. վերջին թարմացման ժամանակի դրոշմը։
    • Հնարավոր է դարձնում DSR գործընթացի հարցումները և աուդիտը։
  • Ծանուցման սերվիս (SNS/SES).
    • Միացված լինելու դեպքում տեղեկացնում է հայցվորներին, օրինակ.
      • Երբ սկսվում է DSR-ի մշակումը։
      • Երբ ուշացումներ կամ խնդիրներ են առաջանում։
      • Երբ այն ավարտվում է։
  • Dashboard (ըստ ցանկության).
    • Վեբ կամ console ինտերֆեյս, որը ադմինիստրատորներին ցույց է տալիս յուրաքանչյուր ակտիվ DSR-ի ընթացքը։
    • Առաջարկում է որոնման և ֆիլտրման հնարավորություններ։

Ընթացքին հետևելու աշխատանքային հոսքը

  1. Միկրոսերվիսներն արձակում են կարգավիճակի թարմացումներ.
    • Յուրաքանչյուր միկրոսերվիս կատարում է իր առաջադրանքը և կարգավիճակի թարմացում է հրապարակում Kinesis Data Stream-ում, երբ ավարտում է, ձախողվում է կամ հասնում է միջանկյալ փուլի։
  2. Data Stream-ը սնում է Completion Lambda-ին.
    • Completion Lambda-ն կարդում է թարմացումները Data Stream-ից և գրում դրանք Centralized Database-ում։
    • Այն որոշում է՝ բոլոր առաջադրանքներն ավարտվել են, թե սխալները պետք է էսկալացվեն։
  3. Իրական ժամանակի թարմացումներ տվյալների բազայում.
    • Կենտրոնական տվյալների բազան ստանում է DSR-ի առաջադրանքային մակարդակի ընթացքը։

    • Օրինակ գրառում.

      {
      "DSR_ID": "12345",
      "Tasks": [
      {"TaskName": "Delete Data from Service A", "Status": "Completed"},
      {"TaskName": "Delete Data from Service B", "Status": "In-Progress"}
      ],
      "OverallStatus": "In-Progress",
      "LastUpdated": "2024-12-23T10:15:30Z"
      }
  4. Ծանուցումներ և dashboard.
    • Ծանուցումները գործարկվում են, երբ բավարարվում են որոշակի պայմաններ (օրինակ՝ DSR-ն ավարտվում է կամ ուշանում է)։
    • Ադմինիստրատորները հետևում են DSR-ի ընթացքին dashboard-ում և միջամտում են, երբ անհրաժեշտ է։

Ընթացքին հետևելու լավագույն պրակտիկաները

  • Հետևողական մետատվյալներ. օգտագործեք կարգավիճակի թարմացումների ստանդարտ ձևաչափ, որպեսզի հետևումը միատեսակ մնա։
  • Retry տրամաբանություն. ավելացրեք retry մեխանիզմներ ձախողված առաջադրանքների համար և լոգավորեք սխալները աուդիտի նպատակով։
  • Աուդիտի լոգեր. պահեք յուրաքանչյուր կարգավիճակի թարմացման պատմությունը համապատասխանության և դեբագի համար։
  • Timeout-ներ և ահազանգեր. սահմանեք առաջադրանքների համար timeout-ներ և ահազանգեր բարձրացրեք, երբ ժամկետները բաց են թողնվում։
  • Գաղտնիություն և անվտանգություն. համոզվեք, որ հետևման բոլոր տվյալները պաշտպանված են և համապատասխանում են գաղտնիության կանոնակարգերին։

Մեխանիզմի առավելությունները

  • Իրական ժամանակի տեսանելիություն. թե՛ ադմինիստրատորները, թե՛ հայցվորները կարող են ստուգել DSR-ի ընթացքը, երբ ցանկանան։
  • Սխալների մշակում. կենտրոնացված հետևումը հեշտացնում է խնդիրները նկատելն ու ուղղելը։
  • Համապատասխանության ապահովում. օգնում է պահպանել ժամկետները և ստեղծում է հստակ աուդիտի հետք կարգավորող պահանջների համար։
  • Մասշտաբավորելիություն. համակարգը կարող է միաժամանակ մշակել շատ DSR՝ առանց խցանումների։

Ճարտարապետության առավելությունները

  • Մասշտաբավորելիություն.
    • AWS Lambda-ի շնորհիվ համակարգը ինքնուրույն մասշտաբավորվում է՝ շատ DSR մշակելու համար։
  • Մոդուլայնություն.
    • Յուրաքանչյուր միկրոսերվիս հոգ է տանում կոնկրետ առաջադրանքների մասին, ուստի համակարգն ավելի հեշտ է սպասարկել և ընդլայնել։
  • Կախվածությունների կառավարում.
    • Task Executor Lambda-ները համոզվում են, որ առաջադրանքները կատարվում են ճիշտ հերթականությամբ, նույնիսկ երբ սերվիսները կախված են միմյանցից։
  • Աուդիտելիություն.
    • Լոգավորումը և կարգավիճակի հետևումը տալիս են հստակ աուդիտի հետք՝ աջակցելով գաղտնիության կանոնակարգերին համապատասխանությանը։
  • Ասինխրոն հաղորդակցություն.
    • Kinesis Streams-ը թույլ են տալիս բաղադրիչներին հաղորդակցվել ասինխրոն, ինչը նվազեցնում է խցանումների ռիսկը։

Եզրակացություն

Այստեղ ներկայացված ճարտարապետությունները արդյունավետ, մասշտաբավորվող ձև են առաջարկում Data Subject Request-ները մշակելու համար՝ բազմաթիվ միկրոսերվիսներից կազմված բաշխված համակարգում։ AWS սերվիսների վրա, ինչպիսիք են Lambda-ն և Kinesis Streams-ը, հենվելը աջակցում է գաղտնիության կանոնակարգերին համապատասխանությանը՝ միաժամանակ բարձր պահելով արտադրողականությունն ու հուսալիությունը։ Ընթացքին իրական ժամանակում հետևելը բարելավում է տեսանելիությունը և օգնում է կազմակերպություններին հուսալիորեն պահպանել կարգավորող ժամկետները։