Դեմքի ճանաչումը արհեստական բանականության նոր դարաշրջանում
Այս հոդվածում քննարկվում է դեմքի ճանաչումը՝ նրա հետաքրքիր և հակասական կիրառությունները, ինչպես նաև հնարավոր խնդիրները, որոնց հետ այս ոլորտի մասնագետները գործ ունեն ամեն օր։
Այս հոդվածում դիտարկվում է դեմքի ճանաչումը՝ որտեղ է այն կիրառվում, ինչից է բաղկացած, ինչ խնդիրների է բախվում այս ոլորտը և դրանք լուծելու մի քանի ուղի։
Ի՞նչ է դեմքի ճանաչումը
Դեմքի ճանաչումը Computer Vision-ի խնդիր է, որում մարդկանց նույնականացնում են դեմքի առանձնահատկություններով։ Բիոմետրիան առաջարկում է նաև այլ մեթոդներ, օրինակ՝ մատնահետքերը և ծիածանաթաղանթի սկանավորումը, որոնք այդքան սիրում են ցույց տալ լրտեսական ֆիլմերում։ Դեմքի ճանաչման մեծ առավելությունն այն է, որ որպես բիոմետրիկ մեթոդ այն ավելի քիչ ինվազիվ է, քան այդ երկուսից որևէ մեկը։
Սակայն դեմքի ճանաչման համակարգերը կարող են ավելի ցածր որակ ապահովել։ Այդուհանդերձ, վերջին տարիներին Deep Learning-ի առաջընթացը թույլ է տվել տեխնոլոգիային հասնել շատ ավելի լայն լսարանի, օրինակ՝ aceId-ը Apple-ի կամ Android սմարթֆոններում։
Դեմքի ճանաչումը և AI Act-ը
ԵՄ AI Act-ում նախանշված պլանների համաձայն՝
- իրական ժամանակում աշխատող դեմքի ճանաչման համակարգերը կարգելվեն,
- դեմքի ճանաչման համակարգերի հետադարձ օգտագործումը կթույլատրվի միայն ծանր հանցագործությունների հետապնդման համար և միայն դատական թույլտվությամբ,
- մարդկանց ըստ բիոմետրիկ տվյալների (սեռ, տարիք, race և այլն) դասակարգող համակարգերը կարգելվեն,
- սոցիալական ցանցերից կամ CCTV տեսախցիկներից դեմքի ճանաչման տվյալների հավաքածուներ կառուցելը (ինչը խախտում է մասնավոր կյանքի իրավունքը) կարգելվի։
Կիրառություններ
Տեսնենք՝ որտեղ են դեմքի ճանաչման համակարգերը հայտնվում մեր շրջապատում։ Դրանց օգտագործումը երբեմն վիճելի է, և մարդիկ համաձայն չեն, թե որքանով է այն էթիկական։
Իրավապահ մարմիններ
Իրավապահների կողմից դեմքի ճանաչման օգտագործումը հաճախ է քննարկվում։ Ֆիլմերում քննիչները CCTV նյութերի վրա գործարկում են ալգորիթմներ, արդյունքները համեմատում են իրենց «տվյալների բազայի» հետ և ստանում «համընկնում»։
Նման օգտագործումը հաճախ է վիճարկվում. որոշ վայրեր (օրինակ՝ Սան Ֆրանցիսկոն 2019 թվականին) արգելել են այն, մինչդեռ մյուսները (օրինակ՝ Ավստրալիան) ողջունել են, հատկապես Covid-19 համավարակից հետո։
Ինչպես նշվեց վերևում, ԵՄ AI Act-ը նույնպես մտադիր է սահմանափակել դեմքի ճանաչման համակարգերի օգտագործման ձևերը։
Օգտատիրոջ նույնականացում
Օգտատիրոջ նույնականացումը դեմքի ճանաչման համակարգերի մեկ այլ տարածված կիրառություն է։ Դրանց կարող եք հանդիպել օդանավակայան մտնելիս, ավելի խիստ մուտքի կանոններով հետազոտական հաստատություն մտնելու փորձի ժամանակ կամ առցանց դասընթացի մեջ մուտք գործելիս։
Օդանավակայաններում դրանք արագացրել են անձնագրային ստուգումը և գործընթացից հեռացրել մարդկային սխալները։
Հաշվի վերիֆիկացիա
Հաշվի վերիֆիկացիան ևս մեկ կիրառություն է, սովորաբար երբ պետք է հաստատել ձեր ինքնությունը բանկում, ներդրումային հարթակում կամ սոցիալական ցանցում։ Այս քայլը հայտնի է նաև որպես KYC («Know your Customer»)։ Հաշիվների վերիֆիկացիան նվազեցնում է բանկային խարդախությունը, այսինքն՝ երբ ինչ-որ մեկը փորձում է ձեր անունով վարկ վերցնել։ Սոցիալական ցանցերում խարդախությունը նույնպես կարող է լուրջ լինել, քանի որ ազդեցիկ հաշիվների անունից հանդես եկող մարդիկ կարող են ազդել բորսաների կամ քաղաքական արշավների վրա։
Հավանաբար անցել եք այս գործընթացով՝ Revolut-ում, Bunq-ում կամ այլ առցանց բանկում հաշիվ բացելիս։ Ներդրումային հարթակները, ինչպես Degiro-ն կամ Coinbase-ը, հենվում են համանման ծառայությունների վրա։ Սոցիալական ցանցերը, ինչպես Twitter-ը, Facebook-ը և Tinder-ը, նույնպես վերիֆիկացնում են հաշիվները օգտատերերի onboarding-ի ժամանակ։ Գործընթացը սովորաբար նման տեսք ունի. սովորաբար ձեր դեմքը ուղիղ ցույց եք տալիս տեսախցիկին, ապա շրջվում եք ձախ և աջ։ Դրա մի մասը liveness թեստն է, որում պետք է կատարեք որոշակի շարժումներ՝ ցույց տալու, որ իրական մարդ եք, այլ ոչ թե գեներացված դեմքի տեսանյութ կամ պարզապես լուսանկար։
Ներկայություն
Դեմքի ճանաչման համակարգերը օգտագործվում են նաև դասերի ներկայությունը հետևելու համար, հատկապես այժմ, երբ տարածված են դարձել առցանց դասերը, որտեղ տեսախցիկները պարտադիր են։ Այս համատեքստում դեմքի ճանաչման համակարգը կարող է նույնականացնել ուսանողներին քննասրահ մտնելիս՝ նվազեցնելով խարդախության կամ մեկի փոխարեն քննություն հանձնելու հավանականությունը։ Այն կարող է նաև ծառայել որպես ավտոմատ եղանակ՝ գրանցելու, թե ով է ներկա եղել տվյալ դասին և ով՝ բացակայել։
Կրկին՝ նման համակարգերի օգտագործումը վիճելի է. Շվեդիայում տարրական դպրոցը տուգանվել է տասնյակ հազարավոր դոլարով դասարանում տեսախցիկներ օգտագործելու համար՝ առանց աշակերտների իմացության և համաձայնության։
Դեմքի ճանաչման խնդիրները
Դիտարկելով հնարավոր կիրառությունները՝ տեսնենք այն խնդիրները, որոնց կարող են բախվել դեմքի ճանաչման համակարգերը։
Առաջին խումբը համակարգային փակումներն են (occlusion, տես օրինակները ստորև գրաֆիկում)։ Դրանք առաջանում են, երբ ինչ-որ բան ծածկում է դեմքի մի մասը (ակնոցներ, մազեր, դեմքի մազածածկույթ՝ բեղեր կամ մորուք, սպիներ, կամ հագուստ՝ օրինակ գլխարկ)։
Համակարգային փակման օրինակներ
Խնդիրների երկրորդ խումբը ժամանակավոր փակումն է (այսինքն՝ դիրքի փոփոխություններ, դեմքը ծածկող առարկա կամ մարմնի մաս, կամ շրջակա միջավայրի փակումներ, օրինակ՝ լույսից առաջացած ստվերներ)։ Այս փակումների օրինակները ցույց են տրված ստորև։
Ժամանակավոր փակման օրինակներ
Քանի որ դեմքի ճանաչման համակարգերը հենվում են դեմքի մանր մանրամասների վրա՝ մեկին ճիշտ նույնականացնելու կամ վերիֆիկացնելու համար, դրանք զգայուն են ցածր որակի պատկերների և վատ լուսավորության նկատմամբ։
Վերջապես կան խնդիրներ, որոնք պայմանավորված են որոշ խմբերի թերներկայացվածությամբ։ Երկար ժամանակ դեմքի ճանաչման տվյալների հավաքածուներում գերակշռում էին միջին տարիքի եվրոպեոիդ տղամարդիկ, ուստի համակարգերը ավելի վատ էին աշխատում այլ race-երի համար, և վատ՝ կանանց, սևամորթների և ասիացիների, ինչպես նաև տարեցների դեպքում։ Սա նվազեցնելու համար տվյալների հավաքածուները ընդլայնվեցին, և այդ խմբերի համար արդյունքը զգալիորեն բարելավվել է, սակայն այդ ասպեկտները դեռ ուշադրության արժանի են տվյալների հավաքածու կառուցելիս։ Սա լավ համապատասխանում է նրան, ինչ AI Act-ը պահանջում է տվյալների հավաքածուներից։
Դեմքի ճանաչման ճյուղերը
Այժմ կարող ենք նկարագրել դեմքի ճանաչման տարբեր ճյուղերը։ Առաջին տարբերությունը լուծվող խնդրի տեսակն է։ Երբ հարցը «Սա այդ մա՞րդն է» է, խոսում ենք դեմքի վերիֆիկացիայի մասին։ Դեմքի վերիֆիկացիան սովորաբար օգտագործվում է մուտքը սահմանափակելու կամ մեկի ինքնությունը հաստատելու համար (օրինակ՝ օդանավակայանում մեր դեմքը համեմատվում է անձնագրի դեմքի հետ, և համակարգը ստուգում է՝ արդյոք մենք անձնագրի լուսանկարում պատկերված մարդն ենք)։
Երբ, ընդհակառակը, հարցը «Ո՞վ է այդ մարդը» է, այս ճյուղը կոչվում է դեմքի նույնականացում (identification)։ Օրինակ է դեմքի ճանաչման համակարգը, որը ենթադրում է, որ ձեր Facebook լուսանկարներում պատկերված մարդը իրականում Հարի Փոթերն է։
Հաջորդ բաժանումը կախված է նրանից՝ ուզում ենք սառեցնել ինքնությունների տվյալների բազան և համեմատել միայն դրա ներսում (subject dependent), թե կառուցել ունիվերսալ համակարգ, որը աշխատում է արկղից դուրս նույնիսկ այն դեմքերի համար, որոնց մոդելը երբեք չի հանդիպել (subject independent)։
Սա ավելի պարզ պատկերացնելու համար պատկերացրեք Հոգվորթսի մուտքը վերահսկող համակարգ։ Մոդելը կառուցվել է, երբ Հարին և Ռոնը առաջին կուրսեցիներ էին, և երկուսին էլ պետք է թողնել ներս։ Մոդելը ստեղծելուց մեկ տարի անց Հարին և Ռոնը դեռ թողնվում են ներս։ Խնդիրը ի հայտ է գալիս Ռոնի կրտսեր քրոջ՝ Ջինի Ուեսլիի դեպքում։ Subject-dependent մոդելով նրան կմերժեն, քանի որ նրա լուսանկարը վերապատրաստման ժամանակ տվյալների բազայում չի եղել։ Subject-independent մոդելով նրան ներս կթողնեն, քանի դեռ նրա լուսանկարը առկա տվյալների բազայում է։ Եվ հետո կան հանցագործներ, ինչպես Լորդ Վոլդեմորը. նրան որպես աշակերտ մուտք էր տրվել, բայց կուզենայինք այն խլել, հենց որ նա դարձավ Կախարդական աշխարհի ամենաշատ հետախուզվող մարդը։
Զարմանալի չէ, որ subject-independent մոդելները շատ ավելի լայն են օգտագործվում, քանի որ տվյալների բազաները և մուտքի իրավունքները ժամանակի ընթացքում փոխվում են, և մոդելը ամեն անգամ վերապատրաստելը անիրագործելի է։
Դեմքի ճանաչման pipeline-ը
Այժմ անցնենք, թե ինչպես է աշխատում դեմքի ճանաչման pipeline-ը։ Նախ՝ կա տեսախցիկի մուտքը՝ պատկերի կամ տեսանյութի տեսքով։ Հետո կատարում ենք դեմքի հայտնաբերում կամ հետևում (կախված մուտքից) և ստանում ենք թեկնածու դեմքի շուրջ bounding box։ Այնուհետև համահարթեցնում ենք պատկերը, որպեսզի այն պարունակի միայն ընտրված դեմքը, մնացածը դեն նետելով, քանի որ դա կարող է աղմուկ ավելացնել։ Այդ փուլում ունենք մեկ դեմք պատկերող մաքուր պատկեր։ Այնուհետև այդ դեմքից առանձնացնում ենք հատկանիշներ և համեմատում դրանք տվյալների բազայում պահվող դեմքերի հետ։ Եթե մուտք եկող դեմքը բավարար չափով նման է տվյալների բազայի որևէ դեմքի, հայտնում ենք համընկնման մասին, հակառակ դեպքում համընկնում չի գտնվում։
Դեմքի մշակում
Մեկից շատ դեմքի մշակման օրինակներ Deep Face Recognition: A Survey-ից
Շատից մեկ դեմքի մշակման օրինակ Deep Face Recognition: A Survey-ից
«Մեկից շատ» և «շատից մեկ» անվանումով աուգմենտացիաները համակարգը ավելի ամուր դարձնելու եղանակներից են։ Նրանց նպատակը համակարգային և ժամանակավոր փակումներին հակազդելն է, որպեսզի դեմքի բոլոր հիմնական հատկանիշները ներկայացված և մոդելավորված լինեն։ «Մեկից շատ» ալգորիթմը մեկ պատկերից գեներացնում է բազմաթիվ դեմքի պատկերներ։ Արդյունքում մոդելը կարող է յուրաքանչյուր պատկերից ստանալ ամբողջ մասնագիտացված տեղեկատվությունը, և կարող ենք նաև սնուցել այն շատ ավելի շատ դեմքերով՝ առանց ավելացնելու։
«Շատից մեկ» մեթոդները մի քանի տարբեր անկյուններից երևացող դեմքերից կառուցում են մեկ գերդեմք։ Ինչպես նշվեց վերևում, այս մոտեցումը համակարգը փակումների նկատմամբ էլ ավելի ամուր է դարձնում, քան «մեկից շատ» աուգմենտացիան։
Բիոմետրիայի դասական մոտեցումը
Տեսնենք՝ ինչպես էր բիոմետրիան ավանդաբար օգտագործվում առանձին մարդկանց ճանաչելու համար՝ նրանց դեմքի առանձնահատկություններով։
Դեմքի բիոմետրիայի տիպային օրինակներ՝
- Աչքերը բաժանող հեռավորությունը։
- Ճակատից մինչև կզակ հեռավորությունը։
- Քիթը և բերանը բաժանող հեռավորությունը։
- Ակնակապիճների խորությունը։
- Այտոսկրերի ձևը։
- Շուրթերի, ականջների և կզակի ուրվագիծը։
Դեմքի ուղենիշների օրինակ՝ ներկայացված Հարի Փոթերի վրա
Ինչպես արդեն գիտեք, դեմքի ճանաչման ժամանակ առաջացող խնդիրները դասական մեթոդները դարձնում են անճշգրիտ, քանի որ այս բնութագրիչներից մի քանիսը կարող են ժամանակի ընթացքում փոխվել։
Մեքենայական ուսուցման լուծումներ
Տվյալների հավաքածուներ
Հավաքվել են դեմքի ճանաչման բազմաթիվ տվյալների հավաքածուներ, յուրաքանչյուրը՝ տարբեր նպատակով։ Կնկարագրեմ երեք ամենահայտնիները՝ VGGFace, MSCeleb-1M և Megaface։
VGGFace
Այս տվյալների հավաքածուն պարունակում է տարբեր դիրքերով և տարբեր տարիքի դեմքեր՝ շեշտը դնելով դեմքի ճանաչման համակարգերը փոփոխվող պայմանների նկատմամբ ամուր դարձնելու վրա։ Այն պարունակում է 9 հազար յուրահատուկ ինքնության 3.3M լուսանկար։
MSCeleb-1M
Այս տվյալների հավաքածուն ներառում է մոտ 4 միլիոն օրինակ՝ մոտ 87 հազար յուրահատուկ id-ների համար։ MSCelb-1M-ի լրացում որպես՝ հեղինակները թողարկեցին հատուկ AsianCeleb տվյալների հավաքածուն՝ գրեթե 94 հազար յուրահատուկ ինքնությամբ և 3 միլիոն օրինակով։ Սկզբնական տարբերակը տառապում էր բավական աղմկոտ պիտակներից և տվյալների հավաքածուի կողմնակալություններից։ Ուստի հեղինակները մաքրեցին պիտակները, հանեցին ցածր որակի օրինակները և վերահավասարակշռեցին հավաքածուները՝ ավելի մեծ ուշադրություն դարձնելով race-ի, սեռի և տարիքի ավելի լավ հավասարակշռությանը։
Megaface
Սա, հավանաբար, հասանելի դեմքի ճանաչման ամենամեծ տվյալների հավաքածուներից է՝ պարունակելով 670 հազար յուրահատուկ ինքնության ավելի քան 4.7 միլիոն պատկեր։ Այն անդրադառնում է այլ խնդրի. ինչպես նույնականացնել դեմքերը մեծ թվով ինքնությունների մեջ, երբ յուրաքանչյուր ինքնություն ունի ընդամենը մի քանի պատկեր։
Մոտեցումներ
Դեմքի ճանաչման մոտեցումները տարիների ընթացքում։
Ամբողջական (holistic) մոտեցումներ
Մեքենայական ուսուցման մոտեցումների մեջ կարող ենք հետևել նրանց ի հայտ գալու հերթականությանը։ Առաջինները ամբողջական մոտեցումներն էին, որոնք յուրաքանչյուր հասանելի պիքսելը դիտարկում էին որպես հատկանիշ և դասակարգում էին՝ օգտագործելով այդ բոլոր հատկանիշները։
1991 թվականին ներկայացված Eigenfaces-ը կիրառում է Principal Component Analysis՝ դեմքը ավելի քիչ հատկանիշներով նկարագրելու համար։ Անվան առաջին մասը արտացոլում է այն փաստը, որ PCA-ն հենվում է սեփական վեկտորների և սեփական արժեքների վրա, որոնք հաշվարկվում են trainset-ի բոլոր դեմքերի վրա, այնպես որ մոտավորապես «ցանկացած նոր դեմք կարելի է արտահայտել որպես train set-ի դեմքերի գծային կոմբինացիա»։
Fisherface-ը հաջորդեց Eigenfaces-ին՝ PCA-ն փոխարինելով Linear Discriminant Analysis-ով։ LDA-ն չափողականության նվազեցման տեխնիկա է, որն ընտրվել է դասերը տարանջատելի պահելու համար, ի տարբերություն PCA-ի, որի մեխանիզմը անտեսում է պիտակները։
Տեղային ձեռքով մշակված հատկանիշների վրա հիմնված մոտեցումներ
Մեկ այլ ճյուղ հենվում է տեղային ձեռքով մշակված հատկանիշների վրա, ինչպիսիք են Gabor ֆիլտրերը, որոնք կատարում են տարածական pooling կամ հաշվում են հիստոգրամներ։ Այնուհետև այս մասնագիտացված հատկանիշների վրա կարելի է կիրառել դասակարգիչ՝ որոշելու համար, թե արդյոք օգտատերը այն մարդն է, ում տեսքով հանդես է գալիս։
Gabor ֆիլտրերը հաճախ օգտագործվող տեխնիկա են տեքստուրայի վերլուծության համար. գործնականում դրանք Գաուսյան կորիզի ֆունկցիա են, որը մոդուլացվում է սինուսոիդային ազդանշանով։
Deep learning մոտեցումներ
DeepFace-ի ճարտարապետությունը բնօրինակ հոդվածից
DeepFace-ը (թողարկվել է 2014 թվականին) առաջին deep learning մոտեցումներից էր։ Այն կիրառում է դեմքի 3D համահարթեցում (հիմնված 67 fiducial կետերի վրա), դեմքը դարձնում է ճակատային (դասական Computer Vision մեթոդով) և ապա կատարում է դեմքի ճանաչում 152x152 RGB պատկերների վրա՝ 8 շերտանի ցանցով (կազմված convolutional, տեղային կապված և լիովին կապված շերտերից). ճարտարապետության վրա մեծ ազդեցություն է թողել AlexNet-ը։
DeepID-ը (թողարկվել է 2015 թվականին) ոգեշնչում է վերցրել VGGNet-ից և GoogleNet-ից՝ համադրելով շերտավորված convolution-ները inception շերտերի հետ։ Այն հենվում է contrastive loss-ի վրա, որը նվազեցնում է դրական զույգերի (համընկնող դեմքեր) համար ստացվող հատկանիշների հեռավորությունը և մեծացնում է բացասական զույգերի (չհամընկնող դեմքեր) հեռավորությունը։
FaceNet-ը (թողարկվել է 2015 թվականին) նույնպես աշխատում է հիպերտարածությունում (էվկլիդեսյան տարածություն) և հիմնվում է GoogleNet-ի վրա։ Այն օգտագործում է triplet loss, որը միշտ վերցնում է երեք օրինակ միասին (anchor, դրական և բացասական) և միաժամանակ փոքրացնում է հեռավորությունը դրական օրինակից և մեծացնում հեռավորությունը բացասականից։
Կորուստների համեմատություն՝ Triple loss, Tuplet loss և ArcFace loss
Ավելի նոր մոտեցումը՝ ArcFace-ը (թողարկվել է 2018 թվականին), կառուցված ResNet-100 backbone-ի վրա, հենվում է հատուկ նախագծված loss-ի վրա։ Մինչդեռ triplet loss-ը առավելագույնի էր հասցնում առանձին օրինակների միջև հեռավորությունները, ArcFace loss-ը կիրառում է ավելի բարդ չափումներ և աշխատում է դրական և բացասական պոպուլյացիաների կենտրոնների հետ։ Loss-ի այս ավելի նուրբ հաշվարկները կարծես մոդելներն ավելի ամուր են դարձնում աղմկոտ և դժվար դեմքերի նկատմամբ։
Ներկայիս SOTA արդյունքները հիմնվում են վերը նկարագրված մոտեցումների վրա՝ բոլոր հասանելի հիպերպարամետրերի ճշգրտմամբ։
Եզրակացություններ
Այս հոդվածում քննարկվեց դեմքի ճանաչումը, նրա հետաքրքիր և վիճելի կիրառությունները (հատկապես հաշվի առնելով այժմ մշակվող կանոնակարգերը) և հնարավոր խնդիրները, որոնց հետ այս ոլորտի մասնագետները գործ ունեն ամեն օր։ Անցանք նաև դեմքի ճանաչման ճյուղերի մեծ մասով (ներառյալ այն, թե ինչպես է դեմքի նույնականացումը՝ «Ո՞վ է լուսանկարում», տարբերվում դեմքի վերիֆիկացիայից՝ «Դուք իսկապե՞ս նա եք, ում տեղ ներկայացնում եք ձեզ»), թե ինչպիսին էին դասական և մեքենայական ուսուցման մոտեցումները, ինչ խելացի հնարքների վրա էին հենվում և որտեղ են գտնվում այսօր։ Հուսով եմ՝ այս ակնարկը ձեզ դեմքի ճանաչման ավելի լավ պատկերացում է տվել։