Ձեր ML PoC-ը GCP Compute Engine-ում
Այս հոդվածը բացատրում է, թե ինչպես արագ տեղակայել ձեր ML մոդելը՝ սահմանափակ օգտատերերի հասանելիությամբ և զրոյի հասնող մասշտաբավորման հնարավորությամբ։ Ձեռնարկում օգտագործվում է Google Cloud Platform-ի Compute Engine-ը։
ML նախագծերը նվագախմբելու (orchestration) համար գոյություն ունեն բազմաթիվ հիանալի գործիքներ, ինչպիսիք են KubeFlow-ը, Airflow-ը MLFlow-ի հետ համատեղ, կամ ամպային մատակարարների առաջարկները (օրինակ՝ Google Vertex AI, SageMaker և Azure AI), սակայն դրանք բոլորը նախագծված են խոշոր մասշտաբի համակարգերի համար։ Ի՞նչ անել, եթե ձեզ պետք է էժան եղանակ՝ ձեր ML դեմոն քիչ ու անկանոն տրաֆիկով սպասարկելու համար։ Այս հոդվածը բացատրում է, թե ինչպես արագ տեղակայել ձեր ML մոդելը՝ սահմանափակ օգտատերերի հասանելիությամբ և զրոյի հասնող մասշտաբավորման հնարավորությամբ։ Ձեռնարկում օգտագործվում է Google Cloud Platform-ի Compute Engine-ը։
Ինչո՞ւ Compute Engine
GCP-ն հավելվածներ հոսթ անելու մի քանի եղանակ է առաջարկում՝ ամենապարզից՝ Cloud Run-ից, մինչև Vertex AI՝ հատուկ ML մոդելներ հոսթ անելու համար ստեղծված լուծում, ու մինչև Compute Engine, որը տալիս է ինքնուրույն կառավարվող ենթակառուցվածք։ Ուրեմն ինչո՞ւ Compute Engine-ը կարող է ճիշտ ընտրություն լինել։
Cloud Run
Cloud Run-ը serverless Platform as a Service (PaaS) է։ Այն կարող է մասշտաբավորվել մինչև զրո և գրեթե կառավարման կարիք չունի։ Այն իդեալական է ծախսարդյունավետ հավելվածների համար, քանի որ աշխատում է միայն այն ժամանակ, երբ HTTP հարցում ակտիվորեն մշակվում է։ Սակայն Cloud Run-ը GPU-ի աջակցություն չունի, ինչը այն բացառում է ML նախագծերի մեծ մասի համար։
Vertex AI
Vertex AI-ը հատուկ ML մոդելների կառավարման համար ստեղծված լուծում է։ Այն պարզ է դարձնում ձեր ML մոդելների տարբերակավորումն ու սպասարկումը։ Սակայն Vertex AI Endpoints-ը չի կարող մասշտաբավորվել մինչև զրո։ Դրա համար հնարավորության հարցումը բաց է 2021 թվականից, բայց առայժմ հնարավորությունը չի տրամադրվել։
Compute Engine
Compute Engine-ը Infrastructure as a Service (IaaS) է։ Այն առաջարկում է շատ ավելի մեծ հարմարեցում, քան Cloud Run-ը, բայց նաև ավելի շատ կարգավորում է պահանջում։ Managed Instance Group (MIG) ծառայությամբ կարող ենք կարգավորել մեր VM-ների ավտոմատ մասշտաբավորումը։ Տեսականորեն ավտոմատ մասշտաբավորման հնարավորությունը պետք է թույլ տա կրճատել մինչև զրո, բայց ես չկարողացա այն աշխատեցնել։ Այդուհանդերձ, կարող ենք MIG-ի մասշտաբավորումը կառավարել ծրագրային եղանակով և մեր GPU VM-ի համար ստանալ զրոյի հասնող մասշտաբավորման վարքագիծ։
Այլընտրանքներ
Մեկ այլ տարբերակ կարող է լինել HuggingFace space-ը։ Այն աջակցում է զրոյի հասնող մասշտաբավորմանը և առաջարկում է GPU-ներ։ Սակայն HuggingFace space-երը պահանջում են, որ ձեր սկզբնական կոդը հրապարակային լինի, ինչը կարող է դրանք բացառել շատ նախագծերի համար։
Լուծման ճարտարապետություն
Լուծումը հիմնված է մշտապես միացված էժան frontend instance-ի և թանկ GPU instance-ի վրա, որը CPU instance-ը գործարկում է, երբ տրաֆիկ է հայտնվում։
Figure 1. Solution architecture.
Սա մեզ տալիս է բարձր հասանելիություն, զրոյի հասնող մասշտաբավորման հնարավորություն և GPU արագացում։ Յուրաքանչյուր instance կառավարվում է MIG-ի կողմից և գտնվում է load balancer-ի հետևում։ Անվտանգության համար Identity Aware Proxy-ն (IAP) գործում է որպես մեկ վերահսկման կետ՝ կառավարելու համար, թե ով կարող է մուտք գործել վեբ հավելվածներ։
Իրականացման մանրամասներ
Artifact registry
Frontend հավելվածը (որն աշխատում է միայն CPU VM-ի վրա) և backend մասը (որն աշխատում է GPU ունեցող VM-ի վրա) երկուսն էլ docker պատկերներ են։ Բացի այդ, frontend docker պատկերը պետք է ներառի Scaling to and from zero բաժնում նկարագրված մասշտաբավորման ֆունկցիաները։ Այդ իսկ պատճառով Service Account բաժնում նկարագրված լրացուցիչ Service Account Role-երը պարտադիր են։
Երբ docker պատկերը կառուցված է, այն պետք է թեգավորվի և push արվի artifacts registry։ Մանրամասն քայլ առ քայլ հրահանգները հասանելի են այստեղ։
Service Account
Frontend հավելվածին անհրաժեշտ է սեփական service account, որպեսզի կարողանա GPU instance-ները մասշտաբավորել զրոյից և զրոյի։ Պետք է ստեղծել custom role՝ ստորև թվարկված թույլտվություններից մի քանիսով կամ բոլորով.
Compute.autoscalers.createCompute.autoscalers.deleteCompute.autoscalers.getCompute.autoscalers.listcompute.autoscalers.update
Backend մասի համար պետք է ստեղծել custom role հետևյալ թույլտվությամբ՝
artifactregistry.repositories.downloadArtifacts։
Instance template
Յուրաքանչյուր Instance group-ին անհրաժեշտ է instance template, որից ստեղծվում է VM-ը։ Քանի որ ML PoC-ը բաղկացած է երկու instance group-ից (CPU frontend և GPU backend), պահանջվում է երկու template։
Frontend instance template
Կարգավորեք ստորև արժեքները՝
-
Machine configuration: օրինակ՝ E2։
-
Container: Container image ->
europe-west4-docker.pkg.dev/<team>/<repo>/<frontendimage_name>:<tag> -
Boot disk:
-
Identity and API access: Editor role ունեցող Service account և role՝
-
Firewall: Allow HTTP traffic
Backend instance template
Կարգավորեք ստորև արժեքները՝
-
Machine configuration: ընտրեք GPU-ն և instance-ի տիպը, օրինակ՝ N1
-
Boot disk:
-
Firewall: Allow HTTP traffic
-
Advanced options: Management -> Automation -> startup-script
# install nvidia drivers
sudo /opt/deeplearning/install-driver.sh
# setup access to the google cloud docker registry
VERSION=2.1.2
OS=linux
ARCH=amd64
curl -fsSL "https://github.com/GoogleCloudPlatform/
docker-credential-gcr/releases/download/v${VERSION}/
docker-credential-gcr_${OS}_${ARCH}-${VERSION}.tar.gz" \
| tar xz docker-credential-gcr \
&& chmod +x docker-credential-gcr && sudo mv docker-credential-gcr /usr/bin/
docker-credential-gcr configure-docker --registries=europe-west4-docker.pkg.dev
docker pull europe-west4-docker.pkg.dev/<team>/<repo>/<image>:<tag>
docker container prune command
docker run -d --gpus=all -v <src>:<dest> -p 11434:11434 --name
<imagename> europe-west4-docker.pkg.dev//<team>/<repo>/<backend_image>:<tag>
Startup script-ը տեղադրում է Nvidia drivers-ը, կարգավորում է artifact registry-ն, որպեսզի docker-ը կարողանա հասանելիություն ունենալ դրան, այնուհետև pull է անում docker պատկերը և գործարկում այն 11434 պորտի վրա։ Artifact registry-ի կարգավորումը docker credentials-ի համար պարտադիր է, քանի որ օպերացիոն համակարգը Container Optimised OS չէ. այդ OS-ի դեպքում այս քայլը կարելի է բաց թողնել։ Docker-ը Artifact Registry-ի հետ նույնականացնելու պաշտոնական ուղեցույցը հասանելի է այստեղ։
Instance Managed Group
Ստեղծեք instance group յուրաքանչյուր instance template-ի համար։
Frontend instance group
Ավելացրեք նոր health check, որն օգտագործում է ճիշտ պորտը։
Կարգավորեք պորտերի համապատասխանեցումը մուտքային հարցումների համար։
Backend instance group
Անջատեք autoscaling-ը։ GPU VM-ի մասշտաբավորումը կկառավարվի ծրագրային եղանակով։
Ավելացրեք health check GPU VM-ի համար։
Կարգավորեք պորտերի համապատասխանեցումը backend ծառայության համար։
External Load Balancer
External load balancer-ը ինտերնետից մուտքային բեռը բաշխում է frontend instance-ին։ Load balancer-ի frontend ծառայությանը պետք է տրվի ստատիկ IP հասցե և HTTPS արձանագրության համար վավեր SSL սերտիֆիկատ։ Google-ն առաջարկում է ձեռնարկ, որը բացատրում է, թե ինչպես ստեղծել սերտիֆիկատը մշակման նպատակով։ Backend մասը պետք է ուղղված լինի frontend instance group-ին։
Internal Load Balancer
Internal load balancer-ը զբաղվում է frontend հավելվածից եկող տրաֆիկով։ Endpoint արձանագրությունն է HTTP-ն։ Frontend մասը պետք է ստանա ստատիկ ներքին IP հասցե, իսկ backend մասը պետք է ուղղված լինի backend instance group-ին։ Գրի առեք frontend IP հասցեն և պորտը, քանի որ frontend instance group-ը այս հասցեն կօգտագործի backend instance group-ի հետ շփվելու համար։
Frontend մասի համար պետք է ստեղծել Proxy-only subnet։
Load balancer-ի լռելյայն timeout-ը մեծացնելը կարևոր է, հատկապես երկար աշխատող ML մոդելների համար։ 30 վայրկյան լռելյայն արժեքը հաճախ բավարար չէ մոդելի inference-ի համար։
Firewall rules
Ամբողջ կարգավորումը աշխատելու համար ձեր Virtual Private Cloud-ին (VPC) ավելացրեք այս firewall կանոնները՝
Direction:
ingress
IP addresses:
130.211.0.0/22
35.191.0.0/16
Ports:
<frontend web-app port>
<backend port>
Direction:
ingress
IP addresses:
<internal load balancer subnet IP address>
Ports:
<internal load balancer frontend port>
Identity Aware Proxy
IAP-ը պաշտպանում է Google Cloud-ում հոսթ արված հավելվածների հասանելիությունը։ Այն թույլ է տալիս սպիտակ ցուցակում ներառել այն էլ. փոստի հասցեները, որոնց թույլատրվում է օգտագործել ձեր վեբ հավելվածը։ IAP-ը կարգավորելու համար պետք է ստեղծել External Load Balancer Backend Service և կարգավորել VPC firewall կանոնները։ Google-ն առաջարկում է դրա կարգավորման պաշտոնական քայլ առ քայլ ուղեցույց։
Scaling to and from zero
VM-ների մասշտաբավորման ծրագրային իրականացումը այլ տեղերում լավ փաստագրված է, ուստի մանրամասները բաց կթողնեմ։
Մասշտաբի մեծացում պետք է պահանջվի ամեն անգամ, երբ CPU instance-ում տրաֆիկ է հայտնվում։ Դա կարելի է անել middleware-ում, պայմանով որ հարցումը health check չէ։
@app.middleware("http")
async def spawn_gpu(request: Request, call_next):
response = await call_next(request)
if "/health" not in request.url.path:
# request GPU
scale_up()
global LAST_ACTIVITY_TIME
LAST_ACTIVITY_TIME = time.time()
Մասշտաբի փոքրացումը կարող է գործարկվել անգործությամբ։ Երբ սերվերը GPU_TURN_OFF_TIME-ից երկար տրաֆիկ չի ունեցել, GPU instance-ը կարելի է փոքրացնել։
class GpuActivityMonitor(Thread):
def __init__(self):
Thread.__init__(self)
self.daemon = True
self.start()
def run(self):
while main_thread().is_alive():
if time.time() - LAST_ACTIVITY_TIME > GPU_TURN_OFF_TIME:
log.info('scaling down GPU due to inactivity')
try:
scale_down()
except Exception as e:
log.error(f'Error scaling down GPU: {e}')
time.sleep(10)
Թե՛ մեծացումը, թե՛ փոքրացումը պետք է իրականացվեն որպես thread գործողություններ, և ցանկացած ուղղությամբ մասշտաբավորելուց առաջ պետք է ստուգենք, թե արդյոք այլ thread-եր աշխատում են։ Մոտ 0.5 ԳԲ docker պատկերի դեպքում GPU instance-ի մեծացումը զրոյից տևում է մոտ 3,5 րոպե։
Google VM-ի վրա կարող ենք հենվել լռելյայն credentials-ի վրա, քանի որ VM-ն արդեն նույնականացված է։ Սակայն եթե instance-ը աշխատում է Google Cloud-ից դուրս, նախ պետք է նույնականացվենք՝ օգտագործելով service account key կամ workload identity federation։
Ամփոփում
Այս հոդվածը ընդգրկեց ձեր ML PoC-ի էժան տարբերակի տեղակայումն ու հոսթինգը։ Խոշոր production համակարգերի համար խորհուրդ եմ տալիս ML orchestration գործիքներ, ինչպիսիք են KubeFlow-ը, AirFlow + MLFlow-ը, ZenML-ը, կամ ամպային մատակարարների առաջարկներ, ինչպիսիք են Vertex AI-ը, SageMaker-ը և Azure AI-ը։ Ազատ զգացեք հարցերով կապվել ինձ հետ. սիրով կօգնեմ։