MLOps 101 – MLOps-ի սկզբունքները
Այս բլոգային գրառման մեջ կգտնեք տեխնիկական մանրամասներ և գործիքներ, որոնք օգնում են գործնականում կիրառել մեքենայական ուսուցման օպերացիաները (MLOps)։
Այս բլոգային գրառման մեջ կգտնեք տեխնիկական մանրամասներ և գործիքներ, որոնք օգնում են գործնականում կիրառել մեքենայական ուսուցման օպերացիաները (MLOps)։ Կսկսեմ MLOps-ի սկզբունքների և դրանք գործի դնելու նկարագրությամբ, հետո կանցնեմ նախագծերում MLOps-ի հասունության մակարդակներին և կավարտեմ Revolut-ի մոտեցման օրինակով։
MLOps-ի սկզբունքները
Սկսեմ MLOps-ի հիմնական սյուների բացատրությունից, որոնք ձեզ տանում են դեպի հուսալի և հասուն ML համակարգ։
1. Առաջնահերթ դարձրեք տարբերակավորումը և վերարտադրելիությունը
Մեքենայական ուսուցման նախագծի սկզբում տարբերակավորմանը և վերարտադրելիությանը սովորաբար մեծ ուշադրություն չի դարձվում։ Սակայն երբ նախագիծը հասունանում է, էական է դառնում միևնույն կարգավորումից և հիպերպարամետրերից ստանալ վերարտադրելի և դետերմինիստական արդյունքներ։
Փորձերի կոդը կարող է հաճախ փոխվել, ուստի շատ կարևոր է այդ փոփոխությունները հետևել տարբերակների կառավարման գործիքներով, ինչպիսին Git-ն է։
Ծրագրային կոդի բազայից բացի՝ կարող ենք տարբերակավորել նաև հետևյալը․
- Կոնֆիգուրացիոն ֆայլերը, որոնց վրա հենվում է կոդը։ Կոնֆիգուրացիոն ֆայլերը տարբերակների կառավարման տակ պահելու համար նայեք Git-ին։
- Տվյալները, քանի որ դրանք կարող են ժամանակի ընթացքում զարգանալ՝ նոր օրինակներ ավելանում են, մյուսները հեռացվում են, պիտակները փոխվում են։ Տվյալների բազմությունների տարբերակավորման համար արժե դիտարկել այնպիսի գործիքներ, ինչպիսիք են DVC-ն կամ Neptune-ը։
- Jupyter Notebook-ները։ Յուրաքանչյուր ML ինժեներ հենվում է դրանց վրա, և դրանք կարելի է տարբերակավորել Git-ով, թեև ReviewNB-ը նույնպես տարբերակ է, քանի որ այն ավելի հստակ ամփոփագրեր է տալիս տարբերակների միջև տարբերությունների մասին։
- Ենթակառուցվածքը։ Լուծումն ավելի շարժական դարձնելու և ենթակառուցվածքը որպես կոդ (IaaC) նկարագրելու համար նայեք այնպիսի գործիքների, ինչպիսիք են Terraform-ը կամ AWS CDK-ն։
Jupyter Notebook-ի փոփոխությունները ReviewNB-ով ցուցադրված, աղբյուրը՝ reviewnb.com
2. Մի մոռացեք մոնիթորինգի մասին
Մոնիթորինգը հաճախ դիտարկվում է որպես մեքենայական ուսուցման նախագծի վերջին քայլ։ Սակայն այն պետք է դիտարկել հենց սկզբից, նույնիսկ մինչև մոդելի արտադրություն հասնելը։ Մոնիթորինգը մի համարեք զուտ տեղակայման խնդիր, քանի որ ուսուցման փորձերը նույնպես արժե հետևել։ Յուրաքանչյուր փորձի համար կարող եք հետևել՝
- ուսուցման ընթացքում կշիռների բաշխմանը,
- սարքավորումների օգտագործմանը (CPU, GPU, RAM),
- թեստային բազմության վրա կանխատեսումների որակին,
- մետրիկների պատմությանը, ինչպիսիք են loss-ը, F1-ը, accuracy-ն և precision-ը։
Ուսուցման ընթացքում մոնիթորինգի համար արժե նայել Weights & Biases-ին, Neptune-ին կամ MLFlow-ին։
Ինֆերենսի մոնիթորինգը կարելի է բաժանել հետևյալ խմբերի․
- Ծառայության մակարդակի մոնիթորինգ – տեղակայված ծառայությունների վրա հսկողություն, օրինակ՝ օգտատերերի հարցումների մշակման տևողությունը, ռեսուրսների օգտագործումը և այլն։
- Մոդելի մակարդակի մոնիթորինգ – մուտքերի և ելքերի բաշխումների դիտարկում։ Այս տեսակի մոնիթորինգը կարող է ահազանգել, երբ տվյալների բաշխումը էապես տեղաշարժվում է, և մոդելը կարող է սկսել ավելի վատ աշխատել։ Նման ահազանգը կարող է գործարկել մոդելի վերաուսուցում։
Ինֆերենսի համար մոնիթորինգի գործիքների ընտրությունը խիստ կախված է ձեր կարգավորումից։ Երբ մոդելները աշխատում են AWS Lambda ծառայության վրա, AWS Cloudwatch-ը առաջարկում է լոգավորման հարուստ հնարավորություններ։ GCP-ում համարժեք արտադրանքներն են Google Cloud Functions-ը տեղակայման համար և Stackdriver-ը՝ լոգավորման և մոնիթորինգի համար։ Եթե փոխարենը որպես տեղակայման միջավայր օգտագործվում է Kubernetes, պետք է նայեք՝
- Prometheus՝ ծառայության կենդանի լինելը, ռեսուրսների օգտագործումը և ծառայության հիմնական պարամետրերը հետևելու համար։
- Loki՝ լոգեր ստեղծելու և ագրեգացնելու համար։
- Grafana՝ ամեն ինչ dashboard-ի վրա վիզուալիզացնելու համար։
ML համակարգերի մոնիթորինգի գործիքների ցանկով աղյուսակ
3. Թեստավորեք այն ամենը, ինչ կարող եք։
Մեքենայական ուսուցման համակարգերի թեստավորումը դեռ շատ ավելի քիչ է ձևակերպված, քան ծրագրային ապահովման թեստավորումը։ Ուրեմն ի՞նչ կարելի է թեստավորել։ Ահա ցանկը՝
- Մուտքային տվյալների քանակը և որակը։
- Մուտքային տվյալների սխեման և բաշխումը (արժեքների միջակայքեր, ակնկալվող արժեքներ և այլն)։
- Հենց pipeline-ը՝ իր ամեն քայլում ստեղծվող տվյալների հետ միասին։
- ML համակարգի բաղադրիչների (տվյալներ, pipeline-ներ) համապատասխանությունը նորմերին (օրինակ՝ GDPR, EU AI Act)։
Թեստերը ձեր համակարգը դարձնում են ավելի ամուր և անսպասելի փոփոխությունների նկատմամբ ավելի դիմացկուն թե՛ տվյալների, թե՛ ենթակառուցվածքի կողմից։ Տվյալների վալիդացիայի միջոցով կարելի է համեմատել ուսուցման և արտադրական տվյալների բաշխումներն ու վիճակագրությունը։
Pipeline-ներն ու տրանսֆորմացիաները թեստավորելիս կարող եք օգտագործել ծրագրային ապահովման սովորական թեստավորման պրակտիկաները։ Ինչ վերաբերում է ենթակառուցվածքին, IaaC-ով գրված կոդը կարելի է ծածկել unit թեստերով։ Համապատասխանության թեստերը կախված են կոնկրետ խնդրից և պետք է իրականացվեն շատ զգույշ։
4. Ավտոմատացրեք։
Այս քայլը կապված է վերը նշված բոլոր սկզբունքների հետ։ Երբ մեքենայական ուսուցման համակարգերը հասունանում են, մոդելները ավելի հաճախ են մշակվում և վերաուսուցվում։ Ի վերջո, այսպիսի հաճախականությամբ վերաուսուցումը հնարավոր է միայն այն դեպքում, երբ ամեն քայլ ավտոմատացված է։ MLOps թիմերը ձգտում են ծայրից ծայր մոդելի տեղակայման, որը մարդկային միջամտություն չի պահանջում։
Քանի որ ոլորտը դեռ զարգանում է, դուք բավական ազատություն ունեք ընտրելու այն, ինչ լավագույնս համապատասխանում է ձեր դեպքին։ Ստորև բերված ուղեցույցները դիտարկեք որպես սեփական հետազոտության մեկնարկային կետ (State of MLOps)։
MLOps-ի մակարդակները
Google-ը նշում է, որ MLOps-ը կարելի է իրականացնել երեք եղանակով՝ որպես ձեռքով գործընթաց, կիսաավտոմատ կամ լիովին օրկեստրացված։
MLOps-ի մակարդակ 0 (ձեռքով գործընթաց)
Իրենց MLOps ճանապարհը նոր սկսող ընկերությունները սովորաբար գտնվում են այս մակարդակում, որտեղ ML աշխատանքային հոսքը ձեռքով է, և որոշումները կայացնում են Data Scientist-ները։ Մոդելները վերաուսուցվում են հազվադեպ։ Այս մակարդակն ունի հետևյալ հատկանիշները՝
- Ամեն ինչ արվում է ձեռքով, Data Scientist-ները գրում են սկրիպտները և կայացնում միկրո որոշումները։
- Ուսուցումն ու օպերացիաները առանձին են, և data scientist-ները մոդելները փոխանցում են որպես արտեֆակտ։ Յուրաքանչյուր քայլ պետք է գործարկվի ձեռքով և պահանջում է մեծ մարդկային հսկողություն։
- CI/CD չկա։ Այն պետք չէ, քանի որ մոդելները հաճախ չեն փոփոխվում։
- Տեղակայումը դիտարկվում է որպես հիմնական կանխատեսման ծառայություն (օրինակ՝ REST ծառայություն Lambda AWS-ի վրա)։ Բարդ մասշտաբավորման ալգորիթմները չեն դիտարկվում, քանի որ ստատիկ տեղակայումը բավական է։
- Արդյունավետության մոնիթորինգի ալգորիթմ չկա։ Կանխատեսումները ո՛չ հետևվում են, ո՛չ լոգավորվում։
Այս մակարդակի ML համակարգերը հաճախ կոտրվում են, երբ տվյալները շարունակ փոխվում են։ CI /CD-ի և հետևման/մոնիթորինգի ալգորիթմների ներդրումը դրան դիմակայելու լավ եղանակ է։ Մոնիթորինգով և CI/CD-ով ML pipeline-ը ապահովում է արագ թեստավորում, կայուն build-եր և նոր իրականացումների անվտանգ տարածում։ Սա վերջին մակարդակն է, որտեղ մոդելները ուսուցանվում են տեղային։ Դրանից հետո յուրաքանչյուր մակարդակում (1 և 2) մոդելները ուսուցանվում են ամպում՝ որպես job, օրինակ՝ Airflow-ով կամ նմանատիպ գործիքով։
MLOps-ի մակարդակ 1 (կիսաավտոմատ)
Մակարդակ 1-ը կենտրոնանում է անընդհատ ուսուցման վրա՝ ավտոմատացված ML pipeline-ների միջոցով։ Այս կարգավորումը հարմար է այնպիսի լուծումների համար, որոնք աշխատում են անընդհատ փոփոխվող միջավայրում։
Այս մակարդակն ունի հետևյալ հատկանիշները՝
- Փորձերը օրկեստրացվում են և աշխատում ավտոմատ։
- Արտադրական մոդելները ուսուցանվում են անընդհատ՝ թարմ տվյալներով, երբ գործարկիչը (trigger) աշխատում է։
- Մշակման, փորձարարական, նախաարտադրական և արտադրական միջավայրերը չեն տարբերվում, քանի որ կիսում են նույն pipeline-ը։
- Բաղադրիչների և pipeline-ների կոդը բաժանված է մոդուլների, որպեսզի կարողանա վերօգտագործվել և կիսվել ML pipeline-ների միջև (կոնտեյներների միջոցով)։
- Մոդելները մատակարարվում են անընդհատ, քանի որ ուսուցումը, վալիդացիան և տեղակայումը բոլորը ավտոմատացված են։
MLOps-ի 1-ին մակարդակում տեղակայման կոդը և ուսուցման կոդը երկուսն էլ հրապարակվում են ամպում։
Մակարդակ 0-ում արդեն առկա բաղադրիչներից բացի՝ պետք է իրականացվեն այս լրացուցիչները՝
- Տվյալների և մոդելի վալիդացիա. քանի որ նպատակը լիովին ավտոմատացված pipeline-ն է, անհրաժեշտ է տվյալների վալիդացիայի բաղադրիչ՝ մուտքագրվող թարմ տվյալները ստուգելու համար։ Տվյալները վալիդացնելը հեշտ չէ, թեև դասակարգման խնդիրների համար բավական պարզ է։ Տեքստի գեներացիայի նման խնդիրների դեպքում այն շատ դժվար է (քանի որ labeiing-ը անհասկանալի է)։ Նոր մոդելը ուսուցանելուց հետո այն պետք է վալիդացվի, որպեսզի թերի մոդելը չտեղակայվի։
- Feature store. բաղադրիչ, որը ստանդարտացնում և պահում է feature-ները և կառավարում է դրանց հասանելիությունը ուսուցման և սպասարկման համար։
- Մետատվյալների կառավարում. ML pipeline-ի յուրաքանչյուր գործարկման մանրամասները գրանցվում են՝ և՛ սխալներն ու անոմալիաները վրիպազերծելու, և՛ վերարտադրելիությունը, գործարկումների համեմատությունները և տվյալների ծագումնաբանությունը (data lineage) աջակցելու համար։
- ML pipeline-ի գործարկիչներ. ավտոմատ վերաուսուցումը կարող է տեղի ունենալ տարբեր սցենարներում՝
ա) ըստ պահանջի,
բ) ըստ ժամանակացույցի,
գ) երբ մոդելի արդյունավետությունը վատանում է,
դ) երբ տվյալների բաշխումը փոխվում է,
ե) երբ նոր տվյալներ են հասանելի դառնում։
Մակարդակ 1 MLOps-ը լավ է աշխատում, եթե ցանկանում եք ձեր ուսուցումը ավտոմատացնել։ Սակայն այն հարմարվում է միայն փոփոխվող տվյալներին, և ուսուցման սխեմայի ցանկացած փոփոխություն նշանակում է ամբողջ pipeline-ի վերատեղակայում։
MLOps-ի մակարդակ 2
Այս մակարդակը բնորոշ է խիստ տեխնոլոգիական ընկերություններին, որոնք հաճախ փորձարկում են pipeline-ի բաղադրիչների տարբեր իրականացումներ։ Նրանք նաև հաճախ (օրական կամ ժամային) ուսուցանում են նոր մոդելներ, ակնթարթորեն թարմացնում դրանք և միանգամից վերատեղակայում սերվերային կլաստերներում։ Այս ընկերությունների համար դա անհնար կլիներ առանց ծայրից ծայր MLOps ցիկլի։
Այս մակարդակն ունի հետևյալ հատկանիշները՝
- Իտերատիվ, ավտոմատացված մշակում և փորձարկում. օրկեստրացված ML pipeline-ների շնորհիվ նոր գաղափարները հեշտ է թեստավորել և ընդունել։
- ML pipeline-ի CI. սկզբնական կոդի build-ը և բաղադրիչների թեստավորումը երկուսն էլ պարզ են։
- ML pipeline-ի CD. CI փուլի բաղադրիչներն ու արտեֆակտները հեշտ է տեղակայել։
- Ավտոմատ գործարկում. արտադրության մեջ pipeline-ը աշխատում է ավտոմատ նախասահմանված ժամանակացույցով կամ գործարկվում է ինչ-որ իրադարձության արձագանքով։
- Մոնիթորինգ. հավաքվում է մոդելի արդյունավետության վիճակագրություն։ Դրա միջոցով հատուկ մեխանիզմը կարող է գործարկել վերաուսուցում, հենց որ data drift է հայտնաբերվում։ Լոգերը նույնպես կարող են ծառայել վրիպազերծման համար։
Թե՛ տվյալների, թե՛ մոդելների վերլուծությունը մնում է ձեռքով գործընթաց, թեև գործիքներ հասանելի են։
Revolut. MLOps խարդախության հայտնաբերման համար
Տեխնոլոգիական ընկերությունների կողմից MLOps-ի կիրառումը ավելի լավ պատկերելու համար ներկայացնեմ Revolut-ի դեպքը՝ Մեծ Բրիտանիայում տեղակայված ֆինանսական տեխնոլոգիաների ընկերության։ Նրա հիմնական արտադրանքը հավելված է, որը տրամադրում է բանկային ծառայությունների շարք և օրական մշակում է միլիոնավոր գործարքներ։
Քարտային խարդախ գործարքներից առաջացող կորուստները կանխելու համար ընկերությունն օգտագործում է մեքենայական ուսուցման վրա հիմնված խարդախության կանխարգելման ալգորիթմ, որը կոչվում է Sherlock։
Աղբյուրը՝ Building a state-of-the-art card fraud detection system in 9 months_
Revolut-ը իր ծառայությունների մեծ մասը աշխատեցնում է Google Cloud-ում, որտեղ տեղակայված են բոլոր բաղադրիչները։ Տվյալների և feature-ների կառավարումը հենվում է Apache Beam-ի վրա DataFlow-ի միջոցով։ Մոդելները մշակվում են Python-ով և Catboost-ով և տեղակայվում են որպես Flask հավելված App Engine-ում։ Couchbase-ը ծառայում է որպես հիշողության մեջ պահեստ հաճախորդների և օգտատերերի պրոֆիլների համար։
Արտադրական օրկեստրացիան իրականացնում է Google Cloud Composer-ը (որն աշխատեցնում է Apache Airflow-ը)։
Revolut-ը իր համակարգը մոնիթորինգի է ենթարկում երկու գործիքի համադրմամբ։ Առաջինը Google Cloud Stackdriver-ն է, որն օգտագործվում է latency-ի, վայրկյանում մշակվող գործարքների քանակի և այլնի իրական ժամանակի վերլուծության համար։ Երկրորդը Kibana-ն է, որը հետևում է առևտրականներին, ահազանգերի և խարդախությունների քանակին և մոդելի արդյունավետությանը՝ true positive և false positive ցուցանիշներին։ Մոնիթորինգի ազդանշանները խարդախության հայտնաբերման թիմին հասնում են էլ. փոստով և SMS-ով։
Cloud ML Engine-ը հնարավորություն է տալիս հետևել մոդելի ծագումնաբանությանը։ Վերջապես, մարդկային հետադարձ կապը հավաքվում է հենց հավելվածի ներսում, որտեղ յուրաքանչյուր օգտատեր կարող է նշել՝ արդյոք գործարքը չարամիտ էր։ Քանի որ սա դասակարգման խնդիր է, նոր տվյալների բազմության տարբերակի պիտակները կարելի է հավաքել անմիջապես։
Աղբյուրը՝ Building a state-of-the-art card fraud detection system in 9 months_
Օգտակար ռեսուրսներ
Եթե ցանկանում եք ավելի խորանալ, կարող եմ առաջարկել այս ռեսուրսները՝
- ագրեգատոր էջեր՝ Awesome MLOps, State of MLOps
- դասընթացներ՝ Deeplearning.ai-ի MLOps դասընթացը, W&B-ի կարճ դասընթաց
- սերտիֆիկացումներ՝ GCP ML Engineer, AWS ML Speciality
- բլոգային գրառումներ՝ Neptune.ai-ի և Weights & Biases-ի բլոգային գրառումները