CT/CD սկզբունքների կիրառումը մեքենայական ուսուցման նախագծերում – ինչպե՞ս
Մեքենայական ուսուցման նախագծի տեղափոխումը Proof of Concept փուլից դեպի Continuous Training & Deployment։
Խնդիրը
Մեծ ընկերություններում հաշիվ-ապրանքագրերի (invoice) և բանկային փոխանցումների մշակումը բարդ գործընթաց է։ Բազմաթիվ կապալառուների և հաճախորդների դեպքում փոխանցումների նշանակության մեջ սխալները հեշտությամբ առաջանում են, իսկ երբեմն մեկ փոխանցումը ծածկում է մի քանի հաշիվ-ապրանքագիր կամ դրանցից մեկի միայն մի մասը։ Պարզ կանոնները նման դեպքերում չեն աշխատում, ուստի բանկային փոխանցումները հաշիվ-ապրանքագրերի հետ համապատասխանեցվում են ձեռքով՝ մարդու հսկողությամբ։
Այս մոտեցումն ունի մի շարք թերություններ, որոնցից ամենամեծն այն է, որ գործընթացը չի մասշտաբավորվում։ Ենթադրենք՝ ընկերությունը ներկայումս ունի մեկ աշխատակից, որի խնդիրը բանկային փոխանցումները հաշիվ-ապրանքագրերի հետ զուգակցելն է։ Եթե ընկերությունը ընդլայնվի՝ վերցնելով 2 անգամ ավելի ենթակապալառուներ և ձեռք բերելով 2 անգամ ավելի հաճախորդներ, ապա, եթե գործընթացն ու աշխատանքի արդյունավետությունը նույնը մնան, նրան կպահանջվի 4 անգամ ավելի աշխատակազմ։ Գործընթացի ավտոմատացումը լուծում է սա, և արհեստական բանականությունը կարող է օգնել դրանում։
Մեր ներքին ձեռնարկության ֆինանսական կառավարման համակարգի շրջանակում մենք իրականացրինք Proof of Concept նախագիծ՝ AI համակարգի համար, որը նախատեսված է այս ձեռքի գործընթացն ավտոմատացնելու համար։
Որտեղ էր գտնվում նախագիծը
Նախագիծը, որը մենք ստանձնեցինք, ավարտել էր իր Proof of Concept փուլը։
Աղբյուր՝ DALL-E
Այսինքն՝ արդեն գոյություն ուներ կոդ տվյալների վերլուծության, ուսուցման, գնահատման և մեքենայական ուսուցման մոդելի տեղակայման համար։ Այս հնարավորությունները գտնվում էին առանձին սկրիպտներում, որոնք պետք է գործարկվեին ձեռքով։ Դրան գումարած՝ ուսուցման տվյալները համակարգի վիճակի ստատիկ պատկեր էին, որը PoC-ի ուսուցման տվյալների պես պահվում էր ռեպոզիտորիայում՝ կոդի կողքին։ Ամեն անգամ, երբ նոր ուսուցման տվյալներ էին հասնում (ինչը լինում է ամսական), մոդելի թարմացումը պահանջում էր շատ ձեռքի աշխատանք՝ ուսուցման տվյալները բերել և որոշակի ձևաչափի վերածել, գործարկել ուսուցումն ու մոդելի գնահատումը, ընտրել լավագույն մոդելը և ձեռքով տեղակայել այն արտադրությունում։ Եվ նույնը՝ ամեն ամիս… Մեկ նախագծի համար դա դեռ կառավարելի է, թեև հուսահատեցնող։ Ավելի շատ նախագծերի դեպքում գործերը այսպես պահելն անհնար է դառնում։
Ինչպիսին են տվյալները
Ուսուցման տվյալները կազմված են հաշիվ-ապրանքագրերի և բանկային փոխանցումների մետատվյալներից, ինչպես նաև այն մասին տեղեկությունից, թե դրանցից յուրաքանչյուրը որ հաշիվ-ապրանքագրի հետ է կապված։ Այս կառուցվածքավորված տվյալները ձեռքով նշագրվում են ներքին համակարգում վարչարարության և ֆինանսների բաժնի կողմից, ինչը նշանակում է, որ ուսուցման օրինակները մարկիրովված են մարդկանց կողմից և բարձր որակի են։ ԵՒ՛ հաշիվ-ապրանքագրերը, և՛ փոխանցումները համակարգ են մտնում ամսական։ Տվյալները BigQuery են հասնում իրական ժամանակում, և BigQuery-ն ուսուցման գործընթացի համար կծառայի որպես ուսուցման տվյալների աղբյուր։
Սա խնդրի դասական դեպք է, երբ պարբերաբար հասնող ուսուցման տվյալները կարելի է օգտագործել մեքենայական ուսուցման մոդելն ավելի արդյունավետ դարձնելու համար՝ պահպանելով կանխատեսումների բարձր որակը և մոդելը թարմ պահելով։
Պլանավորում
Որպեսզի մոդելը ձեռքով վերաուսուցանելու կարիք չլինի, կարող ենք գործընթացն ավտոմատացնել MLOps տեխնիկաներով՝ մասնավորապես Continuous Training և Continuous Deployment (CT/CD) pipeline-ներով։ Այստեղ մենք կմտածենք այն մասին, թե ինչպես բաժանել AI մոդելի մշակման գործընթացը և ինչպես ավտոմատացնել այն։
Գործընթացի բաժանումը
Առաջին քայլը, որը պետք է աշխատի ըստ ժամանակացույցի, ուսուցման տվյալների հավաքումն է տվյալների աղբյուրներից։ Մեր օգտագործած համակարգում բանկային փոխանցումների և հաշիվ-ապրանքագրերի մետատվյալները գտնվում են BigQuery-ում։ Այսպիսով, կարող ենք գրել ֆունկցիա, որը BigQuery-ից քաշում է տվյալները, ձևափոխում է դրանք, բաժանում է ուսուցման և թեստային հավաքածուների և պահպանում է համապատասխան ամպային bucket-ում։
Հաջորդը մեքենայական ուսուցման մոդելի ուսուցումն ու գնահատումն է։ Նախորդ քայլում մենք որոշեցինք, որ ուսուցման տվյալները կգտնվեն ամպում։ Սա թույլ է տալիս ենթադրել, որ մեքենայական ուսուցման pipeline-ը տվյալները կբերի նշված ամպային bucket-ից, ապա կուսուցանի, կգնահատի և կպահի ճշգրտված մեքենայական ուսուցման մոդելը։ Ավտոմատ տեղակայումը կպահանջի մարզված մոդելների մետատվյալները պահել model registry-ում։ Սա թույլ է տալիս մոդելները համեմատել ներկայումս տեղակայվածի հետ։ Եթե նոր մարզված մոդելն ավելի լավ արդյունք է տալիս, այն պետք է փոխարինի ընթացիկին։ Այդպես մենք ցանկացած պահի օգտագործում ենք հասանելի լավագույն մոդելը։
Վերը նկարագրված ուսուցման և գնահատման գործընթացը որոշում է, արդյոք օգտագործվող մոդելը պետք է թարմացվի։ Վերջին քայլը մոդելի տեղակայումն է։ Թե ինչպես է այն աշխատում, կախված է նախագծի ենթակառուցվածքից։
Ամփոփելով՝ գործընթացն ավտոմատացնելը պահանջում է 3 գործընթաց, որոնք աշխատում են պարբերաբար.
- ուսուցման նմուշների հավաքում և պատրաստում
- մեքենայական ուսուցման մոդելի ուսուցում և գնահատում
- պայմանական տեղակայում
Ավտոմատացում
Մեքենայական ուսուցման pipeline կառուցելը, որն իրականացնում է այս 3 քայլերը, լուծում է խնդրի միայն մի մասը։ Կոդը լոկալ մեքենայի վրա գործարկելը ժամանակ է խնայում, բայց դա ավտոմատացում չէ։ Որպեսզի չհենվենք գործընթացը գործարկելը հիշելու վրա, կարող ենք օգտագործել cron (մազոխիստների տարբերակ) կամ դիմել ամպային լուծումների, որոնք լավ մասշտաբավորվում են։
Աղբյուր
Նախագծի ավելի վաղ մասերը, օրինակ՝ BigQuery-ն, աշխատում են Google Cloud-ում, ուստի այս ամպային պրովայդերին դիտարկելը ակնհայտ հաջորդ քայլն էր։
Ի՞նչ է մեզ պետք pipeline-ը Google-ի ամպում գործարկելու համար։ Cloud Storage՝ ուսուցման տվյալները և մեքենայական ուսուցման մոդելի արտեֆակտները պահելու համար։ Google Cloud Builder՝ Docker կոնտեյներներն ամպում կառուցելու և համապատասխան կոնտեյների ռեգիստրիում push անելու համար։ ML մոդելի ուսուցման համար VertexAI-ը թույլ է տալիս ընտրել հարմար սարքավորում, այդ թվում՝ GPU, որն անհրաժեշտ է ավելի բարդ AI մոդելներ ուսուցանելու համար։ BigQuery-ից տվյալներ բերելու, ուսուցման և տեղակայման համար ըստ ժամանակացույցի՝ Google Cloud Run functions։
Կարճ ասած՝ ընտրված տեխնոլոգիական ստեկը կազմված է Google-ի սերվիսներից՝ Google Cloud Storage, BigQuery, VertexAI, Cloud Run և Google Cloud Builder։
Իրականացում
Քանի որ նախագծի սիրտը՝ ուսուցման տվյալների մշակումը և մեքենայական ուսուցման մոդելի ուսուցումը, գնահատումը և տեղակայումը, արդեն կար, հիմնական աշխատանքը այն ամպային միջավայրում աշխատելու հարմարեցնելն էր։
Մեքենայական ուսուցման pipeline-ը արտադրության համար պատրաստ դարձնելու համար մենք կօգտագործենք ZenML ֆրեյմվորքը։ Այն առաջարկում է աբստրակցիայի շերտ տարբեր ամպային պրովայդերների սերվիսների և բաղադրիչների վրա, այնպես որ նախագիծը ամպերի միջև տեղափոխելը կոդի փոփոխություններ չի պահանջում։ Խորհուրդ եմ տալիս ծանոթանալ այս նախագծին։
Ամպում աշխատող pipeline-ները պահանջում են ZenML Server-ի տեղակայում։ Հարմար տարբերակ է այն տեղակայել HuggingFace Spaces-ում։ Pipeline-ներին պետք է ZenML stack, որը կազմված է այս բաղադրիչներից՝ image builder, orchestrator և artifact-store։ Կոնտեյներները կգործարկվեն GCP-ի լռելյայն orchestrator-ով՝ VertexAI Orchestrator-ով։ Ըստ ժամանակացույցի առաջադրանքներ գործարկելը պահանջում է service account-ների և orchestrator-ի ճիշտ կարգավորում ZenML-ում՝ հետևելով փաստաթղթերի հրահանգներին։ Տեղակայումը հենվում է BentoML բաղադրիչի վրա։ Որպես image builder ծառայում է լոկալ Docker-ը։
Ուսուցման տվյալների հավաքածուի կառուցումը
Այս փուլում pipeline-ին տրվում են Google Cloud Storage-ի և BigQuery-ի read/write թույլտվություններ։ Այն նույնականացվում է BigQuery-ում և գործարկում է հարցում, որը տվյալները վերադարձնում է որպես pandas DataFrame, ձևափոխում է տվյալները, բաժանում ուսուցման և թեստային հավաքածուների և պահպանում .csv ձևաչափով համապատասխան GCS bucket-ում։ Pipeline-ն աշխատում է ամսական ժամանակացույցով։ Թեստային տվյալների հավաքածուն ստեղծվում է միայն pipeline-ի առաջին գործարկման ժամանակ։ Երբ թեստային հավաքածուն գոյություն ունի, հետագա գործարկումները նոր տվյալների նմուշները պահում են որպես ուսուցման տվյալներ։
Ուսուցում, գնահատում և model registry
Մոդելի ուսուցման pipeline-ը տվյալները քաշում է նշված Google Cloud Storage bucket-ից, մոդելը ուսուցանում է ուսուցման տվյալների վրա, գնահատում է թեստային տվյալների վրա և համեմատում է model registry-ի մոդելների հետ։ Որպես model registry մենք օգտագործում ենք zenml-ի ներկառուցված Model Control Plane բաղադրիչը։ Եթե նոր մոդելն ավելի լավն է, այն գրանցվում է model-registry-ում, ստեղծվում է արխիվ, որը պարունակում է կոնտեյները կառուցելու համար անհրաժեշտ կոդը և արտեֆակտները, և պահվում է GCS-ում, և վերջապես գործարկվում է Google Cloud Builder-ի job. սա տեղակայման քայլն է, որը դիտարկվում է հաջորդ բաժնում։ Այս pipeline-ը նույնպես աշխատում է ամեն ամիս։ Այն պետք է աշխատի ուսուցման տվյալների նմուշները հավաքող pipeline-ի ավարտից հետո։
Տեղակայում
Կոնտեյները կառուցվում է Google Cloud Builder-ում։ Այն թույլ է տալիս ստեղծել և սկսել job POST հարցմամբ, որի payload-ը նկարագրում է կոնտեյների կառուցման քայլերը, կոդով և արտեֆակտներով արխիվը և թիրախային կոնտեյների ռեգիստրին, որտեղ կպահվի ստացված կոնտեյները։
Ստորև բերված է Google Cloud Builder-ին ուղարկվող payload-ի օրինակ։ source պարամետրը ցույց է տալիս արխիվը, որից կկառուցվի Docker կոնտեյները։ Այդ արխիվը պետք է ներառի Dockerfile-ը և կառուցման ընթացքում անհրաժեշտ բոլոր ֆայլերը։ steps պարամետրը թվարկում է գործընթացի քայլերը։ Այստեղ դա միայն կոնտեյների կառուցման հրամանն է։ Վերջին պարամետրը՝ images, սահմանում է այն անունը, որով կոնտեյները կպահվի նշված կոնտեյների ռեգիստրիում։
{
"source": {
"storageSource": {
"bucket": "finanse-ml-dev",
"object": "models/8f19cd96-ca7b-40bd-980e-f2ce19908a6b/model.tar.gz"
}
},
"steps": [
{
"name": "gcr.io/cloud-builders/docker",
"args": [
"build",
"-t",
"gcr.io/finanse-project/model",
"."
]
}],
"images": [
"gcr.io/finanse-project/model"
]
}
Մեր կարգավորման մեջ մոդելը աշխատում է որպես Pod արդեն կարգավորված GKE կլաստերում։ Kubernetes-ը հենվում է flux.cd-ի image automation հնարավորության վրա։ Արդյունքում տեղակայումը պարզապես նշանակում է կառուցված Docker կոնտեյները push անել համապատասխան ռեգիստրի։ Kubernetes-ը ներսից հոգ է տանում մոդելի թարմացման մասին։
Ենթակառուցվածքային պահանջների պատճառով այս քայլը կառուցում է Docker կոնտեյներ, որը բացահայտում է REST API՝ ML մոդելի վրա inference-ի համար։ Դրա համար օգտագործում ենք BentoML ֆրեյմվորքը, որը հեշտացնում է ML մոդելի inference-ի համար REST API կառուցելը։
Արդյունքներ
Ամբողջ CT/CD pipeline-ի վերջնական արդյունքը մեքենայական ուսուցման մոդելի պարբերական վերաուսուցումն է ամենավերջին ուսուցման տվյալների վրա, որին հաջորդում է մոդելի պայմանական տեղակայումը արտադրությունում։ Այս ամենը տեղի է ունենում կրկնվող, ավտոմատացված հիմունքներով՝ առանց մարդու հսկողության որևէ կարիքի։
Ինչ է հաջորդը
Նախագծի հաջորդ փուլերը կկենտրոնանան և՛ մոդելի, և՛ գործընթացի մոնիթորինգի վրա։ Ի՞նչ է սա նշանակում։ Մի պարզ բարելավում կլինի Slack ծանուցումների ավելացումը, որոնք հատուկ ալիքում թիմին կծանուցեն ուսուցման գործընթացի, մոդելի արդյունքների, առաջադրանքի կարգավիճակի և պայմանական տեղակայման մասին։ Ինչ վերաբերում է մոդելի մոնիթորինգին, ես նկատի ունեմ պարբերական առաջադրանքի ավելացում, որն օգտագործում է evidently-ը՝ տվյալների և մոդելի drift-ը հայտնաբերելու համար՝ հիմք ընդունելով այն, թե ինչպես է ուսուցման տվյալները տարբերվում համակարգ մտնող ամենավերջին տվյալներից։
Խնդիրներ, որոնց հանդիպեցինք
Մեծ արտեֆակտներ
ZenML-ը կիրառում է քեշի մեխանիզմ աշխատող pipeline-ի յուրաքանչյուր քայլի համար։ Յուրաքանչյուր քայլ հայտարարում է մուտքային և ելքային տվյալների տիպերը, որոնք պահվում են որպես արտեֆակտներ stack-ի բաղադրիչում՝ artifact-store-ում։ Նպատակն է կրճատել pipeline-ի կատարման ժամանակը և ռեսուրսների օգտագործումը, երբ քայլի մուտքային պարամետրերը չեն փոխվել։ Մեծ արտեֆակտների դեպքում (օրինակ՝ ամբողջ տվյալների հավաքածուներ) դրանց սերիալիզացիան և վերբեռնումը անթույլատրելիորեն երկար է տևում։
Մենք սա լուծեցինք՝ օպտիմալացնելով քայլից քայլ փոխանցվող տվյալների հավաքածուն։ Հիշեք, որ տվյալների հավաքածուն բավականին փոքր է և կազմված է աղյուսակային տվյալներից։ Պատկերների կամ տեսանյութերի հետ աշխատող նախագծերում դա կարող է դժվար լինել։
Ամփոփում
Այս գրառումը քայլ առ քայլ ցույց տվեց, թե ինչպես մեքենայական ուսուցման նախագիծը Proof of Concept փուլից վերածել ավտոմատացված CT/CD գործընթացի, և նկարագրեց նրա զարգացման հաջորդ փուլերը։ MLOps տեխնիկաների օգտագործումը իրական նախագծում թույլ տվեց ստուգել գործիքների օգտակարությունը և փորձարկել AI մոդելների օպերացիոնալիզացիայի շուրջ խնդիրների համար առաջարկվող մոտեցումները։
Նախագծի բիզնես տեսանկյունից, քանի որ նոր ուսուցման տվյալները համակարգում հայտնվում են պարբերաբար, արդարացված էր մեքենայական ուսուցման pipeline-ների վրա կիրառել CT/CD ճարտարապետություն, ինչը հնարավորություն է տալիս մոդելի որակը բարելավել ցիկլ առ ցիկլ։ Տվյալների և մոդելի drift-ի պարբերական հայտնաբերման պլանավորված ավելացումը հնարավորություն կտա ավելի արագ արձագանքել, երբ մուտքային տվյալների բնութագրերը փոխվեն։
Նախագծի հաջորդ փուլերը կներկայացնեմ հետագա հոդվածներում, ուստի հետևեք մեզ։