Գնահատել նախագիծը
← Բոլոր հրապարակումները

Computer Vision XAI գրադարաններ. ամբողջական ուղեցույց

Այս հոդվածում քննարկում ենք համակարգչային տեսողության համար ստեղծված ամենատարածված գրադարանները և նշում դրանց ուժեղ ու թույլ կողմերը։

9 րոպե
Մեքենայական ուսուցումՀամակարգչային տեսողությունXAI

Ներածություն

Մինչև մեքենայական ուսուցման մոդելը կիրառելը՝ ավելի ու ավելի հաճախ պահանջվում է բացատրելի արհեստական ինտելեկտի (explainable AI) տեխնիկաներով ստուգել, որ այն ճիշտ է աշխատում։ Նախագծի այս մասը ծածկող կոդը գրելը բարդ է և շատ ժամանակ է խլում։ Բարեբախտաբար մեքենայական ուսուցման ինժեներների համար գոյություն ունեն բաց կոդով մի շարք գրադարաններ, որոնք ստեղծվել են հիմնականում ուսուցանված մոդելները տարբեր ալգորիթմներով բացատրելու համար։

Այս հոդվածում քննարկում ենք համակարգչային տեսողության համար ստեղծված ամենատարածված գրադարանները և նշում դրանց ուժեղ ու թույլ կողմերը։

Մեթոդաբանություն

Գրադարանները ընտրել եմ 4 չափանիշով։ Նախ՝ գրադարանը պետք է գրված լիներ Python-ի համար. դա մեքենայական ուսուցման մեջ ամենատարածված լեզուն է, և հենց դրա համար են ստեղծված ինժեներների ու հետազոտողների մեծ համայնքի օգտագործած նեյրոնային ցանցերի ուսուցման գրադարանները։ Հետո՝ այն պետք է առնչվեր համակարգչային տեսողության խնդիրներին։ Երրորդ՝ դիտարկել եմ GitHub-ի աստղերի քանակով չափվող ամենահայտնի գրադարանները։ Վերջին չափանիշն այն էր, որ պահոցը ակտիվորեն պահպանվի. գրելու պահին դրա վերջին կոմիտը չպետք է 1 տարուց հին լիներ։ Միակ բացառությունը M3d-CAM գրադարանն է, որի վերջին կոմիտը գրեթե 2 տարվա վաղեմություն ունի։

Դիտարկված պահոցները՝ GitHub-ի ★-երի ամենաշատից մինչև ամենաքիչ քանակի կարգով.

  1. pytoch-grad-cam
  2. captum
  3. pytorch-cnn-visualizations
  4. torch-cam
  5. innvestigate
  6. tf-explain
  7. OmniXAI
  8. xplique
  9. M3d-Cam

Վերցրեք մի բաժակ սուրճ, որովհետև այս հոդվածը բավական երկար է։ Հաճելի ընթերցում։

Եթե ուզում եք գրադարանների արագ համեմատություն, նայեք հաջորդ բաժնի աղյուսակներին, որտեղ ամփոփված են դրանց հնարավորությունները։

Համեմատություն

Պահոցների առանձնահատկություններ

Ալգորիթմներ

Մետրիկներ

pytorch-grad-cam 6.7k

Աղբյուր. նախագծի GitHub պահոցը

Այս պահոցը կենտրոնացած է հիմնականում PyTorch-ի համակարգչային տեսողության մոդելների համար գրադիենտային դասերի ակտիվացիայի քարտեզների (CAM) ալգորիթմների վրա։ Այն տրամադրում է 11 տարբեր ալգորիթմ և փորձարկվել է տարբեր ճարտարապետությունների վրա՝ CNN-եր և Vision Transformer-ներ։ Հեղինակները նշում են, որ այն հարմար է համակարգչային տեսողության բազմաթիվ խնդիրների համար, ինչպիսիք են դասակարգումը, օբյեկտների հայտնաբերումը, սեմանտիկ սեգմենտացիան և շատ ուրիշները։ Հաճելի առանձնահատկություն է ատրիբուտների ջերմային քարտեզների հարթեցումը, որը օգտատիրոջը տալիս է ավելի հարթ պատկեր։ Եվս մեկ պլյուս՝ պահոցը ներառում է մոդելի նկատմամբ վստահության մետրիկներ։Algorithms

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի և առանձին շերտի համար, ինչպես նաև deep feature factorization մեթոդը։ Պահոցը ներառում է նաև XAI մեթոդների մետրիկներ։

Վիզուալիզացիա

Վիզուալիզացիայի համար մշակողները կենտրոնացել են ջերմային քարտեզը սկզբնական պատկերի վրա դնելու վրա։ Կգտնեք նաև սեմանտիկ սեգմենտացիայի և օբյեկտների հայտնաբերման խնդիրների համար ատրիբուտների ջերմային քարտեզների վիզուալիզացիայի օրինակներ։

Փաստաթղթավորում

Գրադարանը բավական մանրակրկիտ փաստաթղթավորում ունի՝ լի օրինակներով և ձեռնարկներով։ Այն ցույց է տալիս ալգորիթմների ելքերի նմուշներ՝ տալով ընդհանուր պատկերացում, թե ինչ արդյունքներ սպասել։ Օրինակներ կան նաև փաստաթղթերում։ Սակայն բացակայում է ստանդարտ API-ի նկարագրությունը, որտեղ օգտատերը կարողանար տեսնել մեթոդի պարամետրերը։

Captum 3.7k★

աղբյուր.

Գրադարանի ստեղծողները իրենց նախագիծը նկարագրում են այսպես. «Captum is a PyTorch library for interpreting and understanding models»։ Այս մեկ նախադասությունն արտահայտում է գրադարանի նպատակը։ Այն իրականացնում է մի շարք ալգորիթմներ խնդրից անկախ ձևով, այսինքն՝ դրանք կարելի է կիրառել NLP-ի, համակարգչային տեսողության և այլ խնդիրների համար։

Ալգորիթմներ

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի, առանձին շերտի և առանձին նեյրոնի համար։ Այն նաև տրամադրում է perturbation և noise tunnel մեթոդներ մոդելի ատրիբուտները հաշվելու համար։

Վիզուալիզացիա

Գրադարանի հեղինակները նկարագրում են «Captum insights» վիջեթը՝ մոդելի բացատրությունների ինտերակտիվ վիզուալիզացիայի համար։ Ցավոք, փաթեթը տեղադրելուց հետո չկարողացա աշխատեցնել նրանց օրինակը՝ ո՛չ pypi-ի միջոցով, ո՛չ կլոնավորված պահոցի setup.py սկրիպտով։

Վիզուալիզացիայի համար մշակողները ընտրել են ատրիբուտները ցույց տալ սկզբնական պատկերի կողքին, այլ ոչ թե ջերմային քարտեզը նրա վրա դնել։

Փաստաթղթավորում

Հեղինակները ապահովել են հստակ փաստաթղթավորում՝ օգտագործման օրինակներով։ Առաջին ներդիրը մանրամասն նկարագրում է յուրաքանչյուր ալգորիթմ և ներառում դրանք համեմատող ամփոփում։ Ձեռնարկներ ներդիրը առաջարկում է բավական ընդարձակ օրինակների շարք, որոնք ցույց են տալիս գրադարանը տարբեր ոլորտներում (CV, NLP) և խնդիրներում (պատկերների դասակարգում և սեմանտիկ սեգմենտացիա)։ Օրինակները ընդգրկում են ատրիբուտների վրա հիմնված բացատրության մեթոդները, ինչպես նաև այնպիսի տեխնիկաներ, ինչպիսիք են adversarial հարձակումները, ազդեցիկ օրինակները և հասկացությունների վրա հիմնված բացատրությունները։ Գրադարանը լրացուցիչ տրամադրում է մի քանի մետրիկ և մեթոդ մոդելի կայունությունը ստուգելու համար։ Հասանելի է նաև API-ի տեղեկատու։

pytorch-cnn-visualizations 3.7k★

Աղբյուր. նախագծի GitHub պահոցը

Այս պահոցը CNN ցանցերի համար տարբեր բացատրելիության ալգորիթմներ ցուցադրող օրինակների հավաքածու է։ Նկատի ունեցեք՝ այն գրադարան չէ։ Սեփական նախագծում օգտագործելու համար պետք է ինքներդ գրեք համապատասխան ֆունկցիաներ և դասեր՝ հիմնվելով տրված կոդի վրա, որոնք կկատարեն նմանատիպ գործողություններ։ Մեկ այլ խնդիր է բավական հնացած կախվածությունները՝ torch 0.4.1 տարբերակը և այլն։

Ինտերֆեյս

API չկա՝ միայն օրինակ սկրիպտների հավաքածու։

Ալգորիթմներ

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի և առանձին շերտի համար։ Դրանից բացի պահոցը ներառում է հատկանիշների վիզուալիզացիայի ալգորիթմներ։

Վիզուալիզացիա

Օրինակ սկրիպտները իրենց արտեֆակտները պահպանում են որպես ատրիբուտների պատկերներ կամ որպես սկզբնական պատկերի վրա դրված ջերմային քարտեզներ։

Փաստաթղթավորում

Փաստաթղթավորում չկա։

torch-cam 1.2k★

Աղբյուր. նախագծի GitHub պահոցը

Սա ևս մեկ գրադարան է, որը կենտրոնացած է համակարգչային տեսողության CAM մեթոդների վրա։ Այն պարզ է օգտագործման մեջ և իրականացնում է 9 տարբեր ալգորիթմ։

Ալգորիթմներ

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի և առանձին շերտի համար։

Վիզուալիզացիա

Մոդելի ատրիբուտները վիզուալիզացնելու համար հասանելի է մեկ մեթոդ. ֆունկցիա, որը ցույց է տալիս ատրիբուտների ջերմային քարտեզը սկզբնական պատկերի վրա դրված։

Փաստաթղթավորում

Պահոցի փաստաթղթավորումը հրապարակված է Github Pages-ի միջոցով։ Այն պարունակում է տեղադրման հրահանգներ, բացատրության ալգորիթմների գործարկման կոդի նմուշներ, ձեռնարկներ և API-ի նկարագրություն։

innvestigate 1.1k★

Աղբյուր. նախագծի GitHub պահոցը

Այս գրադարանի նպատակն է հեշտացնել մեքենայական ուսուցման մոդելների վերլուծությունը Keras/TensorFlow2-ի համար։

Ալգորիթմներ

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի համար, որոնք կիրառելի են միայն պատկերների դասակարգման խնդիրներում։ Բացի այստեղ նկարագրված գրեթե բոլոր գրադարաններում հանդիպող ալգորիթմներից, այն տրամադրում է LRP ալգորիթմի մի քանի տարբերակ։

Վիզուալիզացիա

Մոդելի ատրիբուտները վիզուալիզացնելու համար հասանելի են մի քանի մեթոդ, այդ թվում՝ ջերմային քարտեզ։

Փաստաթղթավորում

Այս պահոցի համար հրապարակված է միայն API-ի տեղեկատուն, բայց examples դիրեկտորիան պարունակում է մի շարք ձեռնարկներ։

tf-explain 964★

աղբյուր

Այս գրադարանը իրականացնում է TensorFlow 2-ի մեկնաբանելիության մեթոդները՝ որպես ուսուցիչի (trainer) callback, ընդ որում հասանելի է բացատրելիության 7 ալգորիթմ։ Դրա փաստաթղթերն առաջարկում են բացատրիչների օգտագործման հարմար օրինակներ՝ հաշվարկված ատրիբուտների պատկերի տեսքով ցուցադրված արդյունքի հետ միասին։ Այն մյուսներից տարբերում է ուսուցման գործընթացի հետ ինտեգրումը և բացատրության ալգորիթմների արտեֆակտները ուսուցման մոնիթորինգի գործիքում պահելու հնարավորությունը՝ այստեղ TensorBoard-ում։ Սա կարող է շատ օգտակար լինել ցանցի ուսուցման ընթացքում խնդիրներ ախտորոշելիս։

Ինտերֆեյս

Այստեղ ևս գրադարանը բոլոր բացատրության ալգորիթմների և մետրիկների համար տրամադրում է պարզ, միասնական և պարամետրիզացվող ինտերֆեյս։

Կա նաև երկրորդ ինտերֆեյս՝ ուսուցման գործընթացի հետ ինտեգրվելու համար։ Բացատրության ալգորիթմ իրականացնող յուրաքանչյուր դաս ուսուցչի համար ծառայում է որպես callback (այն ժառանգում է tensorflow.keras.callbacks.Callback-ից)։

Ալգորիթմներ

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի համար, որոնք կիրառելի են միայն պատկերների դասակարգման խնդիրներում։

Վիզուալիզացիա

Մոդելի ատրիբուտները կարելի է վիզուալիզացնել երկու եղանակով՝ որպես ատրիբուտների պատկեր կամ որպես սկզբնական պատկերի վրա դրված ատրիբուտների ջերմային քարտեզ։

Փաստաթղթավորում

Դրա փաստաթղթավորումը հրապարակված է ReadtheDocs-ում և ներառում է օգտագործման հիմնական օրինակներ և հիմնական API-ի նկարագրություն, բայց ցավոք պարունակում է սխալներ, իսկ API-ի տեղեկատուի բաժինը դատարկ է։

OmniXAI 517★

աղբյուր

Այս գրադարանը առաջարկում է XAI ալգորիթմներ՝ PyTorch-ով և TensorFlow-ով ստեղծված մեքենայական ուսուցման մոդելները բացատրելու համար։ Այն աջակցում է աղյուսակային տվյալներ, տեքստ, պատկերներ և ժամանակային շարք՝ դասակարգման և ռեգրեսիայի խնդիրներում։

Ինտերֆեյս

Այստեղ API-ն ավելի բարդ է։ Գրադարանն առաջարկում է մի շարք wrapper դասեր տարբեր տվյալների տեսակների համար, ինչպիսիք են աղյուսակային տվյալները, տեքստը, պատկերները և այլն։ Տվյալների տվյալ տեսակի համար յուրաքանչյուր բացատրիչ դաս ընդունում է բազմաթիվ պարամետրեր՝ բացատրիչների անունների ցանկ, խնդրի տեսակ, նախամշակման ֆունկցիա և այլ պարամետրեր։

Ալգորիթմներ

Պահոցը ներառում է բացատրության ալգորիթմներ բազմաթիվ տվյալների տեսակների համար, բայց այս հոդվածը ընդգրկում է միայն համակարգչային տեսողության ալգորիթմները։ Այս ոլորտում կա 8 տարբեր ալգորիթմ։

Վիզուալիզացիա

Պահոցը տրամադրում է Dash հավելված բացատրությունների ինտերակտիվ վիզուալիզացիայի համար։ Հեղինակները վիզուալիզացիաները կառուցել են plotly փաթեթի վրա։ Ատրիբուտները կարելի է ցույց տալ կամ որպես առանձին պատկեր, կամ որպես սկզբնական պատկերի վրա դրված շերտ։

Փաստաթղթավորում

Պահոցի փաստաթղթավորումը հրապարակված է ReadtheDocs-ի միջոցով։ Այն ծանոթացնում է գրադարանի դիզայնին, ճարտարապետությանը և տեղադրման գործընթացին, ներառում է օրինակներ և API-ի տեղեկատու։

Xplique 348★

աղբյուր

Սա ընտրություն է TensorFlow ֆրեյմվորքի վրա կառուցված նախագծերի համար։ Գրադարանի հեղինակները իրենց նպատակը լավ են ձևակերպել. «Xplique (…) is a Python toolkit devoted to explainability, at present built on Tensorflow. The aim of this library is to gather the state of the art in Explainable AI so you can better understand your complex neural network models»։ Բացի հատկանիշների ատրիբուտներից և հասկացությունների վրա հիմնված բացատրություններից՝ գրադարանը կարող է նաև վիզուալիզացնել մոդելի սովորած հատկանիշները։

Ալգորիթմներ

Գրադարանն առաջարկում է ատրիբուտների մեթոդներ ամբողջ մոդելի և առանձին շերտի համար։ Այն նաև տրամադրում է մետրիկներ, որոնք ցույց են տալիս, թե որքանով կարելի է վստահել մոդելի որոշումները բացատրող մեթոդներին։

Վիզուալիզացիա

Վիզուալիզացիայի համար մշակողները կենտրոնացել են ջերմային քարտեզը սկզբնական պատկերի վրա դնելու վրա։

Փաստաթղթավորում

Հեղինակները ապահովել են հստակ փաստաթղթավորում և գրադարանի օգտագործման բազմաթիվ օրինակներ։ Մշակողները հավատարիմ են մնացել API-ի ավելի մանրամասն նկարագրությանը, որը բացատրում է, թե ինչպես են աշխատում առանձին ալգորիթմներն ու մետրիկները։

Google Colaboratory-ում ինտերակտիվ օրինակների բավական ընդարձակ շարքը արժանի է գովասանքի։ Կեցցե՛ք։ 👏 Դրանք ցույց են տալիս, թե ինչպես օգտագործել գրադարանը ատրիբուտները, հատկանիշները և հասկացությունները վիզուալիզացնելու ու մետրիկները հաշվելու համար։ Դրանից բացի յուրաքանչյուր մետրիկ և մեթոդ ունի սեփական օրինակը, որտեղ ստեղծողները բացատրում են ալգորիթմը, API-ն ու հասանելի պարամետրերը, պատասխանում հաճախակի տրվող հարցերին և պատմում, թե ինչպես է յուրաքանչյուր պարամետր ազդում ալգորիթմի վարքի վրա։ Սա ալգորիթմը ճիշտ կիրառելու մասին գիտելիքի խտացված ամբողջություն է։

M3d-Cam 216★

աղբյուր

Այս PyTorch գրադարանը հնարավորություն է տալիս բացատրել մոդելի որոշումները 3D/ 2D բժշկական պատկերների համար՝ ինչպես դասակարգման, այնպես էլ սեգմենտացիայի խնդիրներում։

Ալգորիթմներ

Գրադարանը տրամադրում է 4 ալգորիթմ՝ guided backpropagation, GradCAM, Guided GradCAM և GradCAM++։

Վիզուալիզացիա

Մոդելի ատրիբուտները կարելի է վիզուալիզացնել երկու եղանակով՝ որպես ատրիբուտների պատկեր կամ որպես սկզբնական պատկերի վրա դրված ատրիբուտների ջերմային քարտեզ։

Փաստաթղթավորում

Պահոցի փաստաթղթավորումը հրապարակված է, բայց բաղկացած է միայն API-ի տեղեկատուից։ README-ն տանում է դեպի Google Colab-ի մի քանի ձեռնարկ։

Ամփոփում

Այստեղ դիտարկված գրադարանները զգալիորեն տարբերվում են։ Որոշները ընդհանուր նշանակության են, իսկ մյուսները կենտրոնացած են մեկ տեսակի խնդրի, ալգորիթմի կամ տվյալների որոշակի տեսակի վրա։ Այս պահին չկա ունիվերսալ գրադարան, որն առաջարկի բոլոր ալգորիթմներն ու մետրիկները միանգամից։ Գրադարան ընտրելիս պետք է որոշել, թե որ հնարավորություններն են իրոք պետք ձեր ընթացիկ նախագծին։Սա ցույց է տալիս, որ կա տեղ նոր գրադարանների համար, որոնք կլրացնեն այս բացը։ Ակնհայտ է, որ նոր գրադարաններին դեռ կա ինչ լրացնելու։

Միայն մի քանի գրադարան է առաջարկում մետրիկներ, որոնք ցույց են տալիս, թե որքանով կարելի է վստահել բացատրության ալգորիթմներին։ Բացակայում է փորձերի թրեքերների հետ ինտեգրումը, որը թույլ կտար օգտատերերին հետևել ցանցի ուսուցմանը։ Դրանից բացի գրեթե բոլոր գրադարանները սահմանափակված են պատկերների դասակարգման հիմնական դեպքով։ Սեգմենտացիայի աջակցությունը բացակայում է, իսկ օբյեկտների հայտնաբերման աջակցությունը շատ սահմանափակ է։