Գնահատել նախագիծը
← Բոլոր հրապարակումները

Triton Inference Server. Առաջին տպավորություններ

Triton-ը արագ և ռեսուրսներ խնայող գործիք է մոդելներ տեղակայելու համար, և արժե սովորել, թե ինչպես այն լավ կարգավորել։

7 րոպե
Մեքենայական ուսուցումTritonTensorRT

Triton-ի հետ որոշ ժամանակ փորձարկումներ անելուց հետո ուզում եմ այս գրառման մեջ կիսվել իմ առաջին տպավորություններով, անցնել նրա հիմնական հնարավորություններին և բացատրել, թե երբ և ինչպես է արժե այն օգտագործել։ Հաջորդ գրառման մեջ կլինեն խորհուրդներ և հնարքներ, cheat sheet և կոդի օրինակ՝ computer vision մոդելների տարբեր կոնֆիգուրացիաների benchmark-ի համար։ Սկսենք։

Ի՞նչ է սա

Triton-ը մեքենայական ուսուցման inference-ի արագ runtime է, որը գտնվում է ML տեղակայման բազմաթիվ գործիքների հիմքում, այդ թվում՝ Seldon Core, KServe, MLFlow և BentoML։ Նրա ուժը C++ իրականացումից ստացվող արտադրողականությունն է, ինչպես նաև հնարավորությունների լայն շարքը, որը այն դարձնում է բավական ճկուն գրեթե ցանկացած սցենարի համար։ Այն աշխատում է բազմաթիվ ֆրեյմվորքների հետ՝ NVIDIA TensorRT, TensorFlow, PyTorch, OpenVINO և ONNX, ինչպես նաև սեփական C++ և Python backend-ների հետ։ Այն ինտեգրվում է Kubernetes-ի հետ և առանց լրացուցիչ կարգավորումների տրամադրում է սերվիսի մոնիտորինգի մետրիկաներ, ինչը հարմար է դարձնում այն production-ում աշխատեցնելու համար։

Աղբյուր. https://docs.nvidia.com

‍

Triton-ը մատակարարվում է JetPack SDK-ի կազմում, որն աշխատում է edge AI-ի համար նախատեսված NVIDIA Jetson համակարգիչների վրա։ Նրա C API-ը թույլ է տալիս իրական ժամանակում inference իրականացնել առանց ցանցային ծախսերի։

Triton-ը օգնում է նաև, երբ անհրաժեշտ է տեղակայել մեծ լեզվական մոդելներ։ Այս թեմայի մասին ավելին կարող եք գտնել այս բլոգում։

Առաջին քայլեր

Պաշտոնական ռեպոզիտորիան առաջարկում է մի շարք ձեռնարկներ։ Նկատի ունեցեք, որ դրանք պարունակում են մի քանի փոքր սխալներ կամ պարզապես կարիք ունեն ճշգրտման։ Ես բացել եմ PR՝ ուղղումներով։ Այդ ուղղումներով կոդը ճիշտ է աշխատում և տալիս է Triton-ի հիմնական հասկացություններին ծանոթանալու պարզ ճանապարհ՝ նրա ճարտարապետությունը, մոդելների զուգահեռ կատարումը, մոդելների ռեպոզիտորիայի կառուցվածքը, մոդելի կոնֆիգուրացիայի ֆայլը և օպտիմալացման տեխնիկաները։

Triton-ի սեփական գործիքները՝ perf_analyzer-ը և model_analyzer-ը, օգնում են ավտոմատ կերպով գտնել տեղակայման լավագույն պարամետրերը կոնկրետ սարքավորման համար։ Սա շատ օգտակար է, երբ մոդելները դրվում են production սերվերի վրա։

Ցավոք, Triton-ի հետ աշխատելը հեշտ չէ։ Մոդելի կոնֆիգուրացիան ունի բազմաթիվ բացառություններ, որոշ տարբերակներ չեն կարող օգտագործվել միասին և այլն։ Երբ փորձում ես այդպիսի կոնֆիգուրացիայով գործարկել սերվերը, այն ձախողվում է անհասկանալի սխալի հաղորդագրություններով։ Հաջորդ բաժիններում նկարագրում եմ այն բացառությունները, որոնց հանդիպել եմ, և այն կանոնները, որոնց հետևել եմ Triton-ի հետ փորձարկելիս։

Մոդելի կոնֆիգուրացիա

Ահա նվազագույն կոնֆիգուրացիոն ֆայլ այն մոդելի համար, որն ունի 2 մուտքային և 1 ելքային tensor։ Մի քանի դաշտ պարտադիր են՝ name, որը պետք է լինի նույնը, ինչ մոդելի թղթապանակի անունը Triton-ին փոխանցվող model-repository-ում. platform, որը նշում է մոդելի runtime-ի տեսակը. և input ու output, որոնք նկարագրում են մոդել մտնող տվյալները։

Հասանելի պլատֆորմներն են onnxruntime_onnx, tensorrt_plan, pytorch_libtorch, tensorflow_savedmodel և tensorflow_graphdef։ Մոդելի ֆայլերը պետք է ունենան ընտրված պլատֆորմին համապատասխան ընդլայնումներ՝ .onnx, .plan, .pt և այլն։

Աջակցվող տվյալների տիպերը թվարկված են փաստաթղթավորման մեջ։ dims դաշտը նշում է tensor-ի չափողականությունները։ Օրինակ, ImageNet պատկերներ մշակող մոդելը մուտքի համար կօգտագործի dims: [3, 224, 224], իսկ ելքի համար՝ dims: [1000]։

Հիշեք. batch-երով inference հնարավոր է դառնում, երբ սահմանում եք max_batch_size արժեք, բայց պետք է համոզվեք, որ արտահանված մոդելը իրոք կարող է մշակել այդպիսի մուտք։ TensorRT մոդելը պետք է արտահանվի այնպես, որ սահմանված լինեն իր ընդունած նվազագույն և առավելագույն batch չափի shape-երը։ Այս խնդրին ավելի մանրամասն կանդրադառնամ Triton-ի մասին իմ հաջորդ գրառման մեջ, ուստի հետևեք։

Instance groups

Այս հնարավորությունը թույլ է տալիս բարձրացնել մոդելի մի քանի instance-ներ, որպեսզի inference-ը կատարվի զուգահեռ, ինչը, եթե ամեն ինչ լավ ընթանա, մեծացնում է թողունակությունը և նվազեցնում հապաղումը՝ ավելի շատ ռեսուրսներ օգտագործելու գնով։

Մոդելների զուգահեռ կատարում

Ինչպես նշված է փաստաթղթավորման մեջ, Triton-ի ճարտարապետությունը թույլ է տալիս մի քանի մոդելի կամ մեկ մոդելի մի քանի instance-ների զուգահեռ աշխատել մեկ համակարգի վրա։ Յուրաքանչյուր մուտքային հարցում տեղադրվում է հերթում և պլանավորվում կատարման համար։ Կախված instance gpus կարգավորումից, որը որոշում է, թե մոդելի քանի instance է աշխատում զուգահեռ, հարցումները կարող են մշակվել միաժամանակ ինչպես GPU-ի, այնպես էլ CPU-ի վրա։

Dynamic batching

Մոդելի թողունակությունը մեծացնելու եղանակներից մեկը տվյալները ավելի մեծ batch-երի խմբավորելն է և inference-ը ամբողջ batch-ի վրա կատարելը՝ փոխանակ շատ փոքր մուտքերի վրա։ Triton-ի dynamic batching հնարավորությունը հենց դա է անում։ Այն ունի մի քանի կարգավորում՝ նախընտրելի batch չափ և հերթում առավելագույն ուշացում։ Առաջինը ինքնին պարզ է. երկրորդը սահմանում է, թե որքան ժամանակ են հավաքվում մուտքային հարցումները՝ dynamic batch կազմելու համար։

Triton-ի փաստաթղթավորման համաձայն՝ հարցումները լռելյայն կարող են dynamic batching-ի ենթարկվել միայն այն դեպքում, երբ այդ հարցումներում բոլոր մուտքերն ունեն նույն shape-ը. որպեսզի dynamic batching-ը օգտագործվի, երբ մուտքերի shape-երը հաճախ տարբերվում են, հաճախորդը պետք է իր հարցումների մուտքային tensor-ները լրացնի (pad) մինչև ընդհանուր shape։ Դինամիկ shape-երով մուտքեր ունեցող մոդելների համար Triton-ը առաջարկում է ragged batching հնարավորություն։ Դրա մասին ավելին կարող եք գտնել այստեղ։

Առաջնահերթություններ

Triton-ը թույլ է տալիս կարգավորել տարբեր առաջնահերթության մակարդակներով մի քանի հերթ։ Լռելյայն կա ընդամենը մեկ հերթ։ Առաջնահերթությունները կարգավորվում են յուրաքանչյուր տեղակայված մոդելի համար՝ նրա կոնֆիգուրացիոն ֆայլում։

Քեշ

Պատասխանների քեշի միացումը կարող է օգնել ռեսուրսներն ավելի արդյունավետ օգտագործել։ Այն միացվում է յուրաքանչյուր մոդելի համար կոնֆիգուրացիոն ֆայլում, սակայն Triton-ը պետք է գործարկվի նաև –cache-config local,size=SIZE դրոշներով։ Այս հնարավորության մասին լրացուցիչ մանրամասներ կան փաստաթղթավորման մեջ։

Մոդելի warmup

Տեղակայումից հետո որոշ մոդելներ կարող են ունենալ cold start, այսինքն՝ առաջին մի քանի հարցումները, որոնք նրանք մշակում են, նկատելիորեն ավելի երկար են տևում։ Սրանից խուսափելու համար Triton-ը կարող է inference-ի փորձնական գործարկում կատարել մինչև մոդելները նշվեն որպես READY։

Մոդելների ռեպոզիտորիա

Օգտագործեք հետևյալ հրամանը՝ Triton սերվերը տրված մոդելների ռեպոզիտորիայով գործարկելու համար.

Լոկալ մոդելների ռեպոզիտորիայի ճանապարհի փոխարեն կարող եք նշել նաև ամպային պահոց, օրինակ՝ S3, Google Cloud Storage և Azure Storage։

Մոդելների ռեպոզիտորիայի թղթապանակը պետք է ունենա հետևյալ կառուցվածքը.

Triton-ը կարող է սպասարկել տեղակայված մոդելի մի քանի տարբերակ։

Մետրիկաներ

Triton-ը առանց լրացուցիչ կարգավորումների տրամադրում է Prometheus մետրիկաներ՝ GPU-ի և հարցումների վիճակագրությամբ։

Business Logic Scripting

Մոդելի inference-ն ավելի արագ դարձնելու համար կարող եք օգտվել business logic scripting-ի (BLS) հնարավորությունից, որը Python/C++/Java-ով գրված նախնական և հետմշակման քայլերը առանձնացնում է մոդելի հիմնական inference-ից։ Այդ դեպքում հիմնական մոդելը կարելի է օպտիմալացնել, օրինակ՝ արտահանելով այն TensorRT՝ համապատասխան կոնֆիգուրացիայով։ Ամբողջական pipeline-ը կարելի է կառուցել Triton-ի ensemble մոդելով, որը նկարագրում է գործողությունների հաջորդականություն՝ իրենց մուտքային և ելքային պարամետրերով։ Որոշ իրավիճակներում սա բարելավում է տեղակայված մոդելների օգտագործումը, քանի որ հիմնական մոդելները կարող են կիսվել տարբեր ensemble մոդելների միջև։

Արժե՞ օգտագործել

Triton-ը տեղ ունի production միջավայրերում, որտեղ կարելի է օգտվել նրա բոլոր հնարավորություններից։ Նրա իրական ուժեղ կողմերը հարցումների՝ թռիչքի ընթացքում batch-երի խմբավորումն է և մոդելների հորիզոնական մասշտաբավորումը՝ բազմաթիվ instance-ներով։ Այս հնարավորությունները արդարացվում են միայն հարցումների բավական մեծ բեռի դեպքում։ Եթե համեմատեք իր բնական ֆրեյմվորքում (օրինակ՝ PyTorch) աշխատող մոդելը նույն մոդելի հետ Triton-ում, ապա ցածր երթևեկության դեպքում Triton-ը կարող է ավելի դանդաղ դուրս գալ հերթավորման, batch-երի կազմման և այլ մշակման ծախսերի պատճառով։ Սակայն հարցումների մեծ բեռի դեպքում, երբ գործի են անցնում dynamic batching-ը և մոդելների քանակի մասշտաբավորումը, Triton-ը ավելի արդյունավետ կլինի։

Եթե Triton-ը այդքան լավն է, պետք է արդյոք այն օգտագործել ամենուր։ Եթե թողունակության մի քանի տոկոս կորցնելը ձեզ չի վախեցնում, Triton-ը հուսալի ընտրություն է։ Դրանով տեղակայելը թույլ է տալիս ձեր լուծումը սահուն կերպով տեղափոխել production՝ շատ քիչ կոնֆիգուրացիոն փոփոխություններով։

Ինչպես օգտագործել

Triton-ը ներառում է երկու հզոր գործիք՝ մոդելի կոնֆիգուրացիան կոնկրետ սարքավորման և ծրագրային միջավայրին հարմարեցնելու համար՝ perfanalyzer* և _model_analyzer*։ Լավագույն կոնֆիգուրացիան կարող է տարբերվել մեքենայից մեքենա, ուստի կոնֆիգուրացիան միշտ պետք է հարմարեցնել թիրախային production սերվերի վրա։

Սկսեք ձեր մոդելները ONNX և TensorRT ֆորմատներով արտահանելուց՝ տարբեր օպտիմալացումներով, ինչպիսիք են dynamic batch-երը, կիսաճշտությունը (half-precision) և քվանտացումը։ Այնուհետև գործարկեք model_analyzer-ը՝ պարամետրերի սահմանված որոնման տարածությամբ։ Սա կարող է բավական երկար տևել, ուստի վերցրեք մի բաժակ սուրճ կամ գնացեք ճաշելու։ Երբ ավարտվի, կարող եք ստանալ ամփոփ հաշվետվություն, որը համեմատում է կոնֆիգուրացիաները։ Վերջում ընտրում եք լավագույն կոնֆիգուրացիան, կիրառում այն և գործարկում production Triton սերվիսը։

Ամփոփում

Բարձր արտադրողականության և ռեսուրսների արդյունավետ օգտագործման շնորհիվ Triton-ը production-ին պատրաստ գործիք է մոդելներ տեղակայելու համար։ Նրա շուրջ գործիքները, ինչպես perf_analyzer-ը և model-analyzer-ը, հնարավորություն են տալիս արագ փորձարկել տարբեր կոնֆիգուրացիաներ և ընտրել տեղակայման համար լավագույնը։ Սկզբում այն հեշտ չի յուրացվում, բայց երբ հասկանում ես նրա հասկացությունները և բնորոշ թակարդները, այն դառնում է գործնական գործիք մեքենայական ուսուցման և DevOps ինժեներների համար։ Տեղակայման այլ գործիքներ օգտագործում են Triton-ը որպես իրենց հիմքում ընկած runtime՝ ավելի մեծ MLOps pipeline-ների շրջանակում, ինչը հետագայում պարզեցնում է տեղակայումը։ Ահա թե ինչու արժե իմանալ, թե ինչպես վարվել Triton-ի կոնֆիգուրացիայի հետ։ Հաջորդ գրառման մեջ կկիսվեմ խորհուրդներով և հնարքներով և կներկայացնեմ կոդի օրինակներ, ուստի հետևեք։