Գնահատել նախագիծը
← Բոլոր հրապարակումները

Մեր մոտեցումը Google Drive-ի պահուստավորմանը Workspace կազմակերպության մակարդակով

Երբևէ մտածե՞լ եք սեփական տվյալների հասանելիությունը կորցնելու վտանգի մասին։ Այդ վտանգը նվազեցնելու համար մենք կարգավորեցինք Google Drive-ի պահուստավորում, որը ընդգրկում է մեր ամբողջ դոմենը։

9 րոպե
APIGoogle DriveGoogle AppsՊահուստավորում

Այս բլոգի ընթերցողներից շատերը հավանաբար գիտեն vendor lock-in-ի մասին. երբ սերվիսներն այնքան սերտ են ինտեգրված, որ մեկը փոխարինելը գրեթե անհնար է դառնում։ Բայց երբևէ մտածե՞լ եք սեփական տվյալներին մուտքը կորցնելու վտանգի մասին։ Google-ը խոստանում է ձեր Workspace-ի տվյալները չօգտագործել գովազդի կամ մոդելների վարժեցման համար։ Այդուհանդերձ, իրավական պահանջների պատճառով Google-ը հավանաբար կսկանավորի ձեր ֆայլերը՝ մտավոր սեփականության (IP) խախտումներ կամ CSAM հայտնաբերելու համար։ Ինչպես ցանկացած ավտոմատ համակարգի դեպքում, կեղծ դրական արդյունքներն անխուսափելի են։ Եթե ձեր ընկերությունը կախված է ամպում պահվող տվյալներից, ապա օրերով (կամ նույնիսկ շաբաթներով) հասանելիությունը կորցնելը կասեցման պատճառով այն ռիսկն է, որը պարզապես չեք կարող թույլ տալ։

Մեր ընկերությունում մենք օգտվում ենք Google Workspace-ից, քանի որ այն Microsoft 365-ից ավելի սահուն և ինտուիտիվ համագործակցության փորձ է տալիս։ Մենք նույնքան ենթակա ենք մուտքը կորցնելու ռիսկին, որքան ցանկացած մեկը։ Մեկ սխալ դասակարգումը կամ ավտոմատ դրոշակը կարող է հանգեցնել մեր մուտքի չեղարկմանը։ Այդ ռիսկը նվազեցնելու համար մենք որոշեցինք ստեղծել Google Drive-ի պահուստավորում, որը ընդգրկում է մեր ողջ դոմենը։

Ի դեպ, գիտեի՞ք, որ նոր փաստաթղթեր, աղյուսակներ և հանդիպումներ կարելի է սկսել՝ հասցեի տողում գրելով docs.new, sheet.new, meet.new։ TLD-ի բավականին խելացի կիրառություն։

Ներկա վիճակը

Նախքան սեփական գործիքով անիվը վերահայտնագործելը՝ մենք ուսումնասիրեցինք արդեն գոյություն ունեցող լուծումները.

  • Google-ի Data Export – Google Workspace-ի հաճախորդները կարող են տվյալների արտահանում պահանջել Data Export գործիքի միջոցով։ Այն աշխատում է Google Takeout-ի նման և տվյալներ է արտահանում Google-ի սերվիսների լայն շրջանակից, ոչ միայն Google Drive-ից։ Երբ պահանջում եք, արտահանված տվյալները հայտնվում են Google-ի կառավարած Cloud Storage bucket-ում, որտեղից 60 օր ունեք դրանք ուր ցանկանաք պատճենելու համար։ Միակ խնդիրն այն է, որ արտահանում կարելի է պահանջել առավելագույնը 30 օրը մեկ անգամ, և դա ձեռքով գործընթաց է։ Այդուհանդերձ, դա խելամիտ մեկնարկային կետ է այն ընկերությունների համար, որոնք չեն կարող թույլ տալ սեփական պահուստավորում կառուցել։
  • rclone – rclone-ը հասուն նախագիծ է, որը թույլ է տալիս աշխատել շատ հեռավոր պահոցների հետ, այդ թվում՝ Google Drive-ի, կարծես դրանք տեղական ֆայլային համակարգեր լինեն։ Այն բավական լավ է հաղթահարում Drive-ի առանձնահատկությունները, ինչպիսիք են shortcut-ները և Google Docs-ից, Sheets-ից ու այլ գործիքներից արտահանումները։ Սակայն Google Drive-ի նման օբյեկտային պահոցը սովորական ֆայլային համակարգի պես դիտարկելը սահմաններ ունի։ Խոշոր թերությունն այն է, որ rclone-ը չի կարողանում աշխատել միևնույն անունով և նույն տեղում գտնվող մի քանի ֆայլի հետ. այն դրանք պարզապես համարում է կրկնօրինակներ։ Առավելագույնը կարող է դրանք «դեդուպլիկացնել»՝ ավելորդները ջնջելով։ Սա բխում է այն փաստից, որ Google Drive-ը աշխատում է որպես օբյեկտային պահոց՝ առանց իրական թղթապանակների կառուցվածքի. թղթապանակները միայն ինտերֆեյսում են նմանակվում, և ֆայլերը նույնականացվում են եզակի ID-ներով, ոչ թե անունով և ճանապարհով։ Մեկ այլ մեծ թերություն է, որ rclone-ը առանձին կարգավորվում է յուրաքանչյուր drive-ի համար։

Քանի որ Google-ի Export գործիքը չի կարող ավտոմատացվել, և rclone-ը կպահանջեր գրել հատուկ գործիքակազմ՝ իր կոնֆիգուրացիան ավտոմատ գեներացնելու համար, մենք որոշեցինք ստեղծել սեփական պահուստավորման լուծումը։

Ի՞նչ է պետք հատուկ պահուստավորման գործիք ստեղծելու համար

Drive-ների ցուցակը

Առաջին քայլը անձնական և ընդհանուր drive-ների լրիվ ցուցակ ստանալն էր։ Դա բավական հեշտ է, քանի որ Google-ն առաջարկում է և՛ Google Drive API, և՛ Admin SDK Directory API։ Ընդհանուր drive-ները ունեն եզակի ID-ներ, որոնք պետք է ստանալ Drive API-ից, իսկ անձնական drive-ների ID-ները համընկնում են օգտատիրոջ հիմնական էլ. փոստի հետ։ Սովորաբար այս API-ների վրա կառուցված հավելվածը նախատեսված է վերջնական օգտատերերի համար (պատկերացրեք drive-ի այլընտրանքային UI, օրինակ՝ նրբագեղ ֆայլային կառավարիչ), և թույլտվություններ ստանում եք՝ օգտատիրոջն ուղարկելով Google-ի OAuth էկրան։ Սակայն մեր պլանավորված պահուստավորման համար թույլտվությունները պետք է տրվեին նախապես և վերաբերեին ողջ դոմենին։ Google-ն սա կանխատեսել է. կարող եք կառավարել Domain Wide Delegation-ը Admin Dashboard-ից։ Այն մանրամասն փաստաթղթավորված է Google-ի աջակցության էջում, ինչպես նաև մեր հավելվածի README.md-ում։ Թույլտվությունները կոչվում են scope-եր, իսկ Client ID-ն GCP service account-ի Unique Name-ն է (21 նիշանոց թիվ, ոչ թե այն էլ. փոստը, որը սովորաբար նշվում է)։ Մեր դեպքում անհրաժեշտ էին այս scope-երը.

Ֆայլերի ցուցակի ստացումը

Google Drive-ը օբյեկտային պահոց է, և ֆայլերը նույնականացվում են իրենց ID-ներով։ Ֆայլը ներբեռնելուց առաջ պետք է նրա ID-ն։ Google-ի Drive SDK-ն ունի ֆայլերի ցուցակագրման մեթոդ, ուստի բավական է անցնել API-ի էջավորված պատասխաններով։ Կարող եք նաև ընտրել, թե որ մետատվյալների դաշտերն եք ուզում։ id-ից և name-ից բացի մենք ուզում էինք md5Cheksum, mimeType և exportLinks՝ որոշելու համար, թե ֆայլը կարելի է ներբեռնել, թե պետք է արտահանել (դրա մասին՝ ավելի ուշ), parents՝ ֆայլի ճանապարհը կառուցելու համար, shortcutDetails՝ shortcut-ների հետ աշխատելու համար, և permissions/permissionIds՝ եթե երբևէ ֆայլեր վերականգնելու կարիք լինի։

Ֆայլի թույլտվությունների աշխատանքը կախված է drive-ի տեսակից։ Անձնական drive-ների համար permissions դաշտը տալիս է ճիշտ այն, ինչ սպասում եք՝ օգտատիրոջ էլ. փոստը և հասանելիության մակարդակը։ Սակայն ընդհանուր drive-երի ֆայլերի համար permissions-ը հասանելի չէ. հասանելի է միայն permissionIds-ը։ Այնուհետև իրական թույլտվությունները, ներառյալ օգտատիրոջ էլ. փոստը և հասանելիության մակարդակը, ստանալու համար պետք է առանձին endpoint կանչել թույլտվության ID-ով։ Թեև list endpoint-ը կարելի է կանչել 1000 page_size-ով՝ ֆայլերի խմբաքանակը մեկ պատասխանում ստանալու համար, հազար (կամ ավելի) հարցում ուղարկելը (յուրաքանչյուր խմբաքանակի համար) զուտ թույլտվություններ ստանալու նպատակով մղձավանջ կլիներ։ Մենք սա լուծեցինք՝ պարզապես քեշավորելով պատասխանները և կառուցելով հայտնի permissionIds-երի բառարան

Հիշո՞ւմ եք, որ նշեցի, թե Google-ում թղթապանակները նմանակված են։ Ֆայլերը չգիտեն իրենց սեփական ճանապարհը։ Parent դաշտը միակն է, որը վերաբերում է ճանապարհին։ Քանի որ ուզում էինք, որ մեր պահուստները պահպանեն թղթապանակների կառուցվածքը, ստիպված էինք յուրաքանչյուր ֆայլի ճանապարհը ինքներս կառուցել՝ բարձրանալով նրա parent ծառով։ Սակայն ֆայլի parent-ը ID-ով փնտրելը Google API-ի վերադարձրած զանգվածում ունի O(n) ժամանակային բարդություն։ Երբ որոշ drive-երում տասնյակ հազարավոր ֆայլեր կան, ճանապարհների կառուցումը հավերժ կտևի։ Բարեբախտաբար, լուծումը պարզ է. ֆայլերի ID-ները եզակի են։ Մենք ֆայլերի զանգվածը վերածեցինք ֆայլի ID-ով բանալիավորված բազմության (set)։ Սա թույլ է տալիս ֆայլի տեղեկությունը ID-ով ստանալ O(1)-ով, ինչը զգալիորեն արագացնում է գործընթացը։

Ներբեռնումը և արտահանումը

Բինար ֆայլերի ներբեռնումը (այն ֆայլերի, որոնք ունեն md5Checksum) բավականին պարզ է. պարզապես կանչում եք get_media մեթոդը ֆայլի ID-ով և պատասխանը պահում ֆայլում։ Սակայն հիշողության օգտագործումը նվազեցնելու համար գուցե ուզեք ֆայլը ներբեռնել մասերով (chunks)։

Ոչ բինար ֆայլերն ավելի բարդ են։ Shortcut-ների համար (որոնք ճանաչվում են application/vnd.google-apps.shortcut mime տիպով) մենք որոշեցինք գրել .txt ֆայլ, որը պարունակում է սկզբնական աղբյուրի ճանապարհը, այլ ոչ թե նորից ու նորից ներբեռնել սկզբնական ֆայլը (յուրաքանչյուր shortcut-ի համար մեկ անգամ)։ Google-ի այլ մասնագիտացված հավելվածները, ինչպիսիք են Docs-ը, Sheets-ը և Presentations-ը, կարելի է արտահանել այս աղյուսակում նշված ձևաչափերով՝ export_media մեթոդով։ Գոնե տեսականորեն։ export_media-ն սահմանափակված է 10MB-ով, և մի քանի պատկեր պարունակող փաստաթուղթը հեշտությամբ կգերազանցի այն։ Մենք ստիպված էինք դիմել ֆայլի exportLinks դաշտին։ Այն սովորաբար օգտագործվում է Google Drive-ի web-ui-ում և պարզապես հղում է։ Քանի որ այս մեթոդը Google-ի SDK-ի մաս չէ, ստիպված էինք իրականացնել սեփական ավտենտիֆիկացիայի հոսքը (բարեբախտաբար, SDK-ն բացահայտում է bearer token-ը) և սեփական chunker-ը։ exportLinks-ի սահմանաչափերը փաստաթղթավորված չեն, բայց մինչ այժմ դրա հետ խնդիրների չենք հանդիպել։ Միակ վերապահումն այն է, որ այն ցանկացած պահի կարող է հանվել օգտագործումից, քանի որ Drive v3 API-ի մաս չէ։

Օ՜, սիրելի կրկնօրինակները

Քանի որ Google Drive-ը ֆայլերը նույնականացնում է եզակի ID-ներով, միայն ժամանակի հարց էր, թե երբ կհանդիպեինք նույն անունով և ճանապարհով ֆայլերի։ Սա լուրջ խնդիր էր, քանի որ մեր իրականացումը ֆայլերը ներբեռնում էր մի քանի thread-ով (և ձերը նույնպես պետք է այդպես անի)։ Այդ կառուցվածքի դեպքում մի thread-ը կարող էր սկսել գրել տեղական ֆայլի մեջ հենց այն բանից հետո, երբ մեկ այլ thread-ը նույն անունով այլ ֆայլի chunk էր գրել, ինչը հանգեցնում էր վերագրումների և վնասված տվյալների։ Մենք սա լուծեցինք O(1) որոնման ժամանակով տվյալների կառուցվածք ներմուծելով՝ բազմություն, որը գրանցում է յուրաքանչյուր արգելափակված (օգտագործվող) ճանապարհ։ Ֆայլը ներբեռնելուց առաջ ստուգում էինք, արդյոք նրա ճանապարհը արգելափակված է։ Եթե ոչ, արգելափակում էինք այն՝ երաշխավորելով անընդհատ ներբեռնում։ Եթե ճանապարհն արդեն զբաղված էր, ֆայլի անվանը ավելացնում էինք ֆայլի ID-ն և պատահական թիվ՝ բախումները կանխելու համար։

Մի կարևոր կետ. համոզվեք, որ ձեր տվյալների կառուցվածքները thread-safe են։ Հակառակ դեպքում բազմությունն ինքը կարող է վնասվել, ճիշտ ինչպես ֆայլերը։

Սեղմումը

Բոլոր ֆայլերի ներբեռնումից հետո դրանց սեղմումը պարզ էր։ Մենք համեմատեցինք սեղմման երկու ալգորիթմ՝ lz4 և pzstd։
Մոտ 700GB տվյալների համար.

  • lz4-ը (որը միշտ աշխատում է մեկ thread-ով) պահանջեց մոտ 114 րոպե և տվեց 599GB արխիվ (սեղմման գործակից՝ 1.16x)։
  • pzstd-ն (2 միջուկով) ավարտեց 88 րոպեում՝ lz4-ից 22%-ով ավելի արագ, և տվեց 587GB արխիվ (սեղմման գործակից՝ 1.19x)։

Քանի որ 700GB-ը մեր drive-երից միայն մեկն էր, իսկ մի քանի ժամ հաշվարկը ավելի էժան է, քան մեծ ծավալի տվյալներ մի քանի ամիս պահելը, մենք ընտրեցինք pzstd-ն։

Տեղակայումը և առաջին չնախատեսված խնդիրը

Քանի որ ուզում էինք տվյալները S3-ում, իմաստ ուներ հավելվածը տեղակայել AWS-ի ներսում՝ տվյալների փոխանցման համար չվճարելու նպատակով։ Մենք որոշեցինք պահուստավորման հավելվածը աշխատեցնել որպես ECS Task, որը պարբերաբար գործարկվում է CloudWatch-ով։ Քանի որ մի քանի drive-ներ մշակելիս լրիվ պահուստավորումը տևում էր մոտ 6 ժամ, Fargate-ը շատ ավելի հարմար էր, քան անընդհատ աշխատող EC2 instance-ը։

Մեր առաջին իրականացումը բոլոր տվյալները ներբեռնում էր նախապես, ուստի կոնտեյներին պետք էր առնվազն մի քանի տերաբայթ ժամանակավոր սկավառակ։ Բարեբախտաբար, 2024 թվականի հունվարից AWS-ը թույլ է տալիս ստեղծել EBS volume տեղակայման պահին (RunTask API մեթոդը կանչելիս)։ Դա կարգավորվում է volumeConfigurations պարամետրով՝ cluster և taskDefinition նման այլ կարգավորումների կողքին։

Սակայն հետո անսպասելի խոչընդոտի հանդիպեցինք. մեկ տարուց ավելի անց Terraform-ի պաշտոնական aws_scheduler_schedule resource-ը դեռ ecs_parameters դաշտում volume-ի կոնֆիգուրացիա չէր առաջարկում, թեև նախատեսված է RunTask API-ն արտացոլելու համար։

Սա մեզ դժվար վիճակում դրեց։ Կարող էինք կա՛մ հրաժարվել IaC-ից, կա՛մ ճանապարհ գտնել task definition-ի մակարդակում սահմանված առավելագույնը 200GB ephemeral_storage-ը շրջանցելու համար։ Լինելով IaC-first ընկերություն՝ Terraform-ից հրաժարվելը բացառվում էր։ Մենք շտապեցինք փոխել մեր կոդը այնպես, որ յուրաքանչյուր ֆայլ ներբեռնվելուց անմիջապես հետո վերբեռնվի S3 և ջնջվի տեղական պահոցից։ Սա կտրուկ կրճատեց ցանկացած պահի անհրաժեշտ սկավառակային տարածքը՝ հասցնելով այն միայն այդ պահին մշակվող ֆայլերի չափին։

Կոդը

Մենք բաց ենք դարձնում մեր պահուստավորման հավելվածի կոդը։ Այն գրված է Python-ով, աջակցում է drive-երի black և whitelist-ին, drive-երը մշակում է զուգահեռ և ներբեռնում է մի քանի thread-ով։ Կարող եք նաև ընտրել, արդյոք Shared-with-me ֆայլերը պետք է ներառվեն։ Այս պահին այն Google-ի մասնագիտացված հավելվածների ֆայլերը արտահանում է ստանդարտ Microsoft Office ֆայլերի, բայց համայնքի օգնությամբ շուտով կարող է աշխատել նաև այլ ձևաչափերի հետ։ Կարող եք նաև որոշել՝ ներբեռնել յուրաքանչյուր ֆայլ և հետո սեղմել դրանք, թե, ինչպես մենք ենք անում, վերբեռնել յուրաքանչյուր ֆայլ ներբեռնվելուն պես։ Բոլոր սխալները նույնպես լոգավորվում և S3 են վերբեռնվում ֆայլերի հետ միասին։

Եզրակացություն

Ամփոփելով՝ թեև Google Workspace-ը տրամադրում է հզոր և հարմար միջավայր համագործակցության համար, կարևոր տվյալներին հասանելիությունը կորցնելու հնարավորությունը իրական մտահոգություն է։ Պահուստավորման առկա տարբերակները, ինչպիսիք են Google-ի Data Export-ը և rclone-ը, ունեն թերություններ, որոնք դրանք դարձնում են անհարմար լիովին ավտոմատ, հաճախակի պահուստավորման համար։ Սեփական պահուստավորման գործիք ստեղծելով՝ մենք ձեռք բերեցինք ավելի շատ վերահսկողություն և արդյունավետություն և դարձանք ավելի դիմացկուն հնարավոր խափանումների նկատմամբ։ Մեր բաց կոդով լուծումը առաջարկում է մասշտաբավորվող և ճկուն եղանակ Google Drive-ի տվյալները պաշտպանելու համար՝ օգնելով կազմակերպություններին նվազեցնել ռիսկը և պահպանել անընդհատ հասանելիություն կենսական տեղեկատվությանը։