Գնահատել նախագիծը
← Բոլոր հրապարակումները

Ձեր ML PoC-ը GCP Compute Engine-ում

Այս հոդվածը բացատրում է, թե ինչպես արագ տեղակայել ձեր ML մոդելը՝ սահմանափակ օգտատերերի հասանելիությամբ և զրոյի հասնող մասշտաբավորման հնարավորությամբ։ Ձեռնարկում օգտագործվում է Google Cloud Platform-ի Compute Engine-ը։

7 րոպե
Մեքենայական ուսուցումCompute Engine

ML նախագծերը նվագախմբելու (orchestration) համար գոյություն ունեն բազմաթիվ հիանալի գործիքներ, ինչպիսիք են KubeFlow-ը, Airflow-ը MLFlow-ի հետ համատեղ, կամ ամպային մատակարարների առաջարկները (օրինակ՝ Google Vertex AI, SageMaker և Azure AI), սակայն դրանք բոլորը նախագծված են խոշոր մասշտաբի համակարգերի համար։ Ի՞նչ անել, եթե ձեզ պետք է էժան եղանակ՝ ձեր ML դեմոն քիչ ու անկանոն տրաֆիկով սպասարկելու համար։ Այս հոդվածը բացատրում է, թե ինչպես արագ տեղակայել ձեր ML մոդելը՝ սահմանափակ օգտատերերի հասանելիությամբ և զրոյի հասնող մասշտաբավորման հնարավորությամբ։ Ձեռնարկում օգտագործվում է Google Cloud Platform-ի Compute Engine-ը։

Ինչո՞ւ Compute Engine

GCP-ն հավելվածներ հոսթ անելու մի քանի եղանակ է առաջարկում՝ ամենապարզից՝ Cloud Run-ից, մինչև Vertex AI՝ հատուկ ML մոդելներ հոսթ անելու համար ստեղծված լուծում, ու մինչև Compute Engine, որը տալիս է ինքնուրույն կառավարվող ենթակառուցվածք։ Ուրեմն ինչո՞ւ Compute Engine-ը կարող է ճիշտ ընտրություն լինել։

Cloud Run

Cloud Run-ը serverless Platform as a Service (PaaS) է։ Այն կարող է մասշտաբավորվել մինչև զրո և գրեթե կառավարման կարիք չունի։ Այն իդեալական է ծախսարդյունավետ հավելվածների համար, քանի որ աշխատում է միայն այն ժամանակ, երբ HTTP հարցում ակտիվորեն մշակվում է։ Սակայն Cloud Run-ը GPU-ի աջակցություն չունի, ինչը այն բացառում է ML նախագծերի մեծ մասի համար։

Vertex AI

Vertex AI-ը հատուկ ML մոդելների կառավարման համար ստեղծված լուծում է։ Այն պարզ է դարձնում ձեր ML մոդելների տարբերակավորումն ու սպասարկումը։ Սակայն Vertex AI Endpoints-ը չի կարող մասշտաբավորվել մինչև զրո։ Դրա համար հնարավորության հարցումը բաց է 2021 թվականից, բայց առայժմ հնարավորությունը չի տրամադրվել։

Compute Engine

Compute Engine-ը Infrastructure as a Service (IaaS) է։ Այն առաջարկում է շատ ավելի մեծ հարմարեցում, քան Cloud Run-ը, բայց նաև ավելի շատ կարգավորում է պահանջում։ Managed Instance Group (MIG) ծառայությամբ կարող ենք կարգավորել մեր VM-ների ավտոմատ մասշտաբավորումը։ Տեսականորեն ավտոմատ մասշտաբավորման հնարավորությունը պետք է թույլ տա կրճատել մինչև զրո, բայց ես չկարողացա այն աշխատեցնել։ Այդուհանդերձ, կարող ենք MIG-ի մասշտաբավորումը կառավարել ծրագրային եղանակով և մեր GPU VM-ի համար ստանալ զրոյի հասնող մասշտաբավորման վարքագիծ։

Այլընտրանքներ

Մեկ այլ տարբերակ կարող է լինել HuggingFace space-ը։ Այն աջակցում է զրոյի հասնող մասշտաբավորմանը և առաջարկում է GPU-ներ։ Սակայն HuggingFace space-երը պահանջում են, որ ձեր սկզբնական կոդը հրապարակային լինի, ինչը կարող է դրանք բացառել շատ նախագծերի համար։

Լուծման ճարտարապետություն

Լուծումը հիմնված է մշտապես միացված էժան frontend instance-ի և թանկ GPU instance-ի վրա, որը CPU instance-ը գործարկում է, երբ տրաֆիկ է հայտնվում։

Figure 1. Solution architecture.

Սա մեզ տալիս է բարձր հասանելիություն, զրոյի հասնող մասշտաբավորման հնարավորություն և GPU արագացում։ Յուրաքանչյուր instance կառավարվում է MIG-ի կողմից և գտնվում է load balancer-ի հետևում։ Անվտանգության համար Identity Aware Proxy-ն (IAP) գործում է որպես մեկ վերահսկման կետ՝ կառավարելու համար, թե ով կարող է մուտք գործել վեբ հավելվածներ։

Իրականացման մանրամասներ

Artifact registry

Frontend հավելվածը (որն աշխատում է միայն CPU VM-ի վրա) և backend մասը (որն աշխատում է GPU ունեցող VM-ի վրա) երկուսն էլ docker պատկերներ են։ Բացի այդ, frontend docker պատկերը պետք է ներառի Scaling to and from zero բաժնում նկարագրված մասշտաբավորման ֆունկցիաները։ Այդ իսկ պատճառով Service Account բաժնում նկարագրված լրացուցիչ Service Account Role-երը պարտադիր են։

Երբ docker պատկերը կառուցված է, այն պետք է թեգավորվի և push արվի artifacts registry։ Մանրամասն քայլ առ քայլ հրահանգները հասանելի են այստեղ։

Service Account

Frontend հավելվածին անհրաժեշտ է սեփական service account, որպեսզի կարողանա GPU instance-ները մասշտաբավորել զրոյից և զրոյի։ Պետք է ստեղծել custom role՝ ստորև թվարկված թույլտվություններից մի քանիսով կամ բոլորով.

  • Compute.autoscalers.create
  • Compute.autoscalers.delete
  • Compute.autoscalers.get
  • Compute.autoscalers.list
  • compute.autoscalers.update

Backend մասի համար պետք է ստեղծել custom role հետևյալ թույլտվությամբ՝

artifactregistry.repositories.downloadArtifacts։

Instance template

Յուրաքանչյուր Instance group-ին անհրաժեշտ է instance template, որից ստեղծվում է VM-ը։ Քանի որ ML PoC-ը բաղկացած է երկու instance group-ից (CPU frontend և GPU backend), պահանջվում է երկու template։

Frontend instance template
Կարգավորեք ստորև արժեքները՝

  • Machine configuration: օրինակ՝ E2։

  • Container: Container image -> europe-west4-docker.pkg.dev/<team>/<repo>/<frontendimage_name>:<tag>

  • Boot disk:

  • Identity and API access: Editor role ունեցող Service account և role՝

  • Firewall: Allow HTTP traffic

Backend instance template
Կարգավորեք ստորև արժեքները՝

  • Machine configuration: ընտրեք GPU-ն և instance-ի տիպը, օրինակ՝ N1

  • Boot disk:

  • Firewall: Allow HTTP traffic

  • Advanced options: Management -> Automation -> startup-script

# install nvidia drivers
sudo /opt/deeplearning/install-driver.sh
# setup access to the google cloud docker registry
VERSION=2.1.2
OS=linux
ARCH=amd64
curl -fsSL "https://github.com/GoogleCloudPlatform/
docker-credential-gcr/releases/download/v${VERSION}/
docker-credential-gcr_${OS}_${ARCH}-${VERSION}.tar.gz" \
| tar xz docker-credential-gcr \
&& chmod +x docker-credential-gcr && sudo mv docker-credential-gcr /usr/bin/
docker-credential-gcr configure-docker --registries=europe-west4-docker.pkg.dev
docker pull europe-west4-docker.pkg.dev/<team>/<repo>/<image>:<tag>
docker container prune command

docker run -d --gpus=all -v <src>:<dest> -p 11434:11434 --name 
<imagename> europe-west4-docker.pkg.dev//<team>/<repo>/<backend_image>:<tag>

Startup script-ը տեղադրում է Nvidia drivers-ը, կարգավորում է artifact registry-ն, որպեսզի docker-ը կարողանա հասանելիություն ունենալ դրան, այնուհետև pull է անում docker պատկերը և գործարկում այն 11434 պորտի վրա։ Artifact registry-ի կարգավորումը docker credentials-ի համար պարտադիր է, քանի որ օպերացիոն համակարգը Container Optimised OS չէ. այդ OS-ի դեպքում այս քայլը կարելի է բաց թողնել։ Docker-ը Artifact Registry-ի հետ նույնականացնելու պաշտոնական ուղեցույցը հասանելի է այստեղ։

Instance Managed Group

Ստեղծեք instance group յուրաքանչյուր instance template-ի համար։

Frontend instance group
Ավելացրեք նոր health check, որն օգտագործում է ճիշտ պորտը։

Կարգավորեք պորտերի համապատասխանեցումը մուտքային հարցումների համար։

Backend instance group
Անջատեք autoscaling-ը։ GPU VM-ի մասշտաբավորումը կկառավարվի ծրագրային եղանակով։

Ավելացրեք health check GPU VM-ի համար։

Կարգավորեք պորտերի համապատասխանեցումը backend ծառայության համար։

External Load Balancer

External load balancer-ը ինտերնետից մուտքային բեռը բաշխում է frontend instance-ին։ Load balancer-ի frontend ծառայությանը պետք է տրվի ստատիկ IP հասցե և HTTPS արձանագրության համար վավեր SSL սերտիֆիկատ։ Google-ն առաջարկում է ձեռնարկ, որը բացատրում է, թե ինչպես ստեղծել սերտիֆիկատը մշակման նպատակով։ Backend մասը պետք է ուղղված լինի frontend instance group-ին։

Internal Load Balancer

Internal load balancer-ը զբաղվում է frontend հավելվածից եկող տրաֆիկով։ Endpoint արձանագրությունն է HTTP-ն։ Frontend մասը պետք է ստանա ստատիկ ներքին IP հասցե, իսկ backend մասը պետք է ուղղված լինի backend instance group-ին։ Գրի առեք frontend IP հասցեն և պորտը, քանի որ frontend instance group-ը այս հասցեն կօգտագործի backend instance group-ի հետ շփվելու համար։

Frontend մասի համար պետք է ստեղծել Proxy-only subnet։

Load balancer-ի լռելյայն timeout-ը մեծացնելը կարևոր է, հատկապես երկար աշխատող ML մոդելների համար։ 30 վայրկյան լռելյայն արժեքը հաճախ բավարար չէ մոդելի inference-ի համար։

Firewall rules

Ամբողջ կարգավորումը աշխատելու համար ձեր Virtual Private Cloud-ին (VPC) ավելացրեք այս firewall կանոնները՝

Direction:
ingress

IP addresses:
130.211.0.0/22
35.191.0.0/16

Ports:
<frontend web-app port>
<backend port>

Direction:
ingress

IP addresses:
<internal load balancer subnet IP address>

Ports:
<internal load balancer frontend port>

Identity Aware Proxy

IAP-ը պաշտպանում է Google Cloud-ում հոսթ արված հավելվածների հասանելիությունը։ Այն թույլ է տալիս սպիտակ ցուցակում ներառել այն էլ. փոստի հասցեները, որոնց թույլատրվում է օգտագործել ձեր վեբ հավելվածը։ IAP-ը կարգավորելու համար պետք է ստեղծել External Load Balancer Backend Service և կարգավորել VPC firewall կանոնները։ Google-ն առաջարկում է դրա կարգավորման պաշտոնական քայլ առ քայլ ուղեցույց։

Scaling to and from zero

VM-ների մասշտաբավորման ծրագրային իրականացումը այլ տեղերում լավ փաստագրված է, ուստի մանրամասները բաց կթողնեմ։

Մասշտաբի մեծացում պետք է պահանջվի ամեն անգամ, երբ CPU instance-ում տրաֆիկ է հայտնվում։ Դա կարելի է անել middleware-ում, պայմանով որ հարցումը health check չէ։

@app.middleware("http")
async def spawn_gpu(request: Request, call_next):
    response = await call_next(request)
    if "/health" not in request.url.path:
        # request GPU
        scale_up()
        global LAST_ACTIVITY_TIME
        LAST_ACTIVITY_TIME = time.time()

Մասշտաբի փոքրացումը կարող է գործարկվել անգործությամբ։ Երբ սերվերը GPU_TURN_OFF_TIME-ից երկար տրաֆիկ չի ունեցել, GPU instance-ը կարելի է փոքրացնել։

class GpuActivityMonitor(Thread):
    def __init__(self):
        Thread.__init__(self)
        self.daemon = True
        self.start()

    def run(self):
        while main_thread().is_alive():
            if time.time() - LAST_ACTIVITY_TIME > GPU_TURN_OFF_TIME:
                log.info('scaling down GPU due to inactivity')
                try:
                    scale_down()
                except Exception as e:
                    log.error(f'Error scaling down GPU: {e}')
            time.sleep(10)

Թե՛ մեծացումը, թե՛ փոքրացումը պետք է իրականացվեն որպես thread գործողություններ, և ցանկացած ուղղությամբ մասշտաբավորելուց առաջ պետք է ստուգենք, թե արդյոք այլ thread-եր աշխատում են։ Մոտ 0.5 ԳԲ docker պատկերի դեպքում GPU instance-ի մեծացումը զրոյից տևում է մոտ 3,5 րոպե։

Google VM-ի վրա կարող ենք հենվել լռելյայն credentials-ի վրա, քանի որ VM-ն արդեն նույնականացված է։ Սակայն եթե instance-ը աշխատում է Google Cloud-ից դուրս, նախ պետք է նույնականացվենք՝ օգտագործելով service account key կամ workload identity federation։

Ամփոփում

Այս հոդվածը ընդգրկեց ձեր ML PoC-ի էժան տարբերակի տեղակայումն ու հոսթինգը։ Խոշոր production համակարգերի համար խորհուրդ եմ տալիս ML orchestration գործիքներ, ինչպիսիք են KubeFlow-ը, AirFlow + MLFlow-ը, ZenML-ը, կամ ամպային մատակարարների առաջարկներ, ինչպիսիք են Vertex AI-ը, SageMaker-ը և Azure AI-ը։ Ազատ զգացեք հարցերով կապվել ինձ հետ. սիրով կօգնեմ։