Գնահատել նախագիծը
← Բոլոր հրապարակումները

Հինգ կետ, որոնք աչքի ընկան ինձ ECCV 2024-ում

Հինգ եզրահանգում, որոնք ես ամենահետաքրքիրն ու անսպասելին գտա՝ ինչպես հետազոտական, այնպես էլ կիրառական տեսանկյունից։

6 րոպե
Մեքենայական ուսուցումԿոնֆերանսComputer Vision

Անցյալ շաբաթ հիանալի ժամանակ անցկացրի ECCV 2024-ում, որն առաջարկում էր հետաքրքիր վորքշոփներ կիրառական computer vision-ի մասին, բանավոր ներկայացումներ, որտեղ computer vision-ի փորձագետները կիսվում էին իրենց նորագույն հետազոտություններով, և ոգեշնչող հիմնական ելույթներ ոլորտի հսկաներից։

Այս կարճ գրառման մեջ անդրադառնում եմ հինգ եզրահանգման, որոնք ես ամենահետաքրքիրն ու անսպասելին գտա՝ ինչպես հետազոտական, այնպես էլ կիրառական տեսանկյունից։

Ինչ է ECCV-ն

European Conference in Computer Vision-ը (ECCV) Computer Vision-ի ամենախոշոր և ամենահեղինակավոր կոնֆերանսներից է (CVPR-ի, ICCV-ի և NeurIPS-ի հետ մեկտեղ) և մեզ տվել է այնպիսի հայտնի հոդվածներ, ինչպիսիք են NERF-ը և Group Normalization-ը։ Կոնֆերանսը տևում է ընդհանուր առմամբ 6 օր՝ 2 օր վորքշոփներ, ապա 4 օր հիմնական իրադարձություն։ Հաշվի առնելով թրեքերի, հոդվածների և վորքշոփների քանակը (12 թրեք, 2387 հոդված և 51 վորքշոփ)՝ հնարավոր չէ ամեն ինչին նայել և պատշաճ կերպով ըմբռնել, քանի որ թեմաները ձգվում են Video Generation-ից և 3D Depth Estimation-ից մինչև արտադրության մեջ արատների կամ գյուղատնտեսության մեջ հիվանդությունների ավտոմատ հայտնաբերման հավելվածներ։ Ես ամեն ինչ արեցի՝ հետևելու ինձ ամենաշատը հետաքրքրող թեմաներին։

Կոնֆերանսի գլխավոր կետերը

Ստորև փորձում եմ առանձնացնել կոնֆերանսի ամենահետաքրքիր եզրահանգումները մի քանի ոլորտներից՝ ավատարներից մինչև GenAI, Explainable AI և գյուղատնտեսություն։

Ստեղծեք ձեր սեփական ավատարը Synthesia-ով

Իրենց հիմնական ելույթի ժամանակ երկու առաջատար հետազոտող (Vittorio Ferrari և Lourdes Agapito) անդրադարձան այն մասին, թե ինչպես է ոլորտը զարգացել վերջին 6 տարիներին՝ ընդգրկելով մի շարք բեկումներ և դրանց հետևում կանգնած հետազոտությունները։ Ընկերությունը կիսվում է իր սովորածով գրախոսվող հոդվածներում այնպիսի կոնֆերանսներում, ինչպիսին ECCV-ն է, ինչպես նաև ավելի լայն լսարանի համար նախատեսված ելույթներում, օրինակ՝ David Beckham-ի մասնակցությամբ հայտնի «Malaria Must Die» գովազդում։

Ես արդեն գիտեի այս ոլորտի առաջընթացի մի մասի մասին. ավատարների մեծ մասը կամ ցածր որակի էին (երբ անհատականացված էին), կամ ցուցաբերում էին լուրջ արտեֆակտներ (սովորաբար շուրթերի շուրջ), կամ պարզապես շատ գրավիչ չէին։

Վերջին 2 տարիների ընթացքում նրանք շտկել են այս խնդիրներից շատերը (ավատարներն այժմ ավելի գրավիչ են և ավելի բարձր որակի, փորձարարական ձեռքի ժեստերի հնարավորություններով)։ Թվում է՝ դա 2023-ի վիճակն էր, մինչդեռ վերջին 2 տարիների ընթացքում ոլորտը զգալիորեն առաջ է գնացել՝ շուրթերի ավելի ճշգրիտ համաժամեցմամբ 150+ լեզուներով, ավելի գրավիչ ձայներով և նույնիսկ ձեռքի ժեստերով)։

Շուտով Synthesia-ն նաև նախատեսում է ավելացնել օբյեկտների հետ փոխազդեցություններ՝ ավատարներն էլ ավելի գրավիչ դարձնելու համար. սակայն օբյեկտների բնական բռնումը հայտնի խնդիր է, որտեղ computer vision-ը հանդիպում է ռոբոտաշինությանը։

Արդար, թափանցիկ և հաշվետու AI

Bias preservation checklist from

Կողմնակալության պահպանման ստուգացանկը՝ վերցված Bias Preservation in Machine Learning: The Legality of Fairness Metrics Under EU Non-Discrimination Law-ից

Մեկ այլ հետաքրքիր հիմնական ելույթ՝ «Fair, transparent and accountable AI: What is legally required, what is ethically desired, and what is technically feasible» վերնագրով, ներկայացրեց Օքսֆորդի համալսարանի պրոֆ. Sandra Wachter-ը։ Այն հատկապես հետաքրքիր էր, քանի որ քննադատաբար էր նայում EU AI act-ին և ընթացիկ իրավական համակարգին՝ մատնանշելով խոշոր բացեր և անորոշ ձևակերպումներ (տե՛ս բանախոսի առնչվող զեկույցը՝ Limitations and loopholes of EU AI act) և հստակ ուղեցույցների բացակայությունը։ Այն, ինչ ես նախկինում չգիտեի, այն է, որ այժմ մշակվում են ավելի ոլորտային ուղեցույցներ՝ EU AI act-ը լրացնելու համար։

Դասախոսությունն անդրադարձավ նաև այն մասին, թե ինչպես են դասակարգվում կողմնակալությունները և ինչ հետևանքներ ունեն դրանք (օրինակ՝ Facebook-ը նախկինում թույլ էր տալիս գովազդատուներին օգտատերերին բացառել ըստ ռասայի)։ Մի ցայտուն կողմնակալություն եկել էր Նիդերլանդներից, որտեղ որոշ ռասաների դիմորդները և որոշ թաղամասերի դիմորդները սահմանափակ մուտք ունեին հիփոթեքներին։ Դա մասամբ պայմանավորված էր նրանով, որ վարկային սկորինգի համակարգերը որոշ տարածքներ նշում էին որպես բարձր ռիսկի, իսկ մյուսները՝ որպես ցածր ռիսկի։

Վերջում պրոֆ. Sandra Watcher-ը ներկայացրեց դրա դեմ դեղամիջոց, որը կոչվում է Conditional Demographic Disparity -CDD, և որը ավելացվել է AWS էկոհամակարգին Amazon Clarify-ում՝ կողմնակալության և մեկնաբանելիության գործիքում։

Մոդելակենտրոն և տվյալակենտրոն Explainable AI

Ինչպես են ակտիվանում CLIP ճարտարապետության տարբեր head-երը, աղբյուր՝ Interpreting the Second-Order Effects of Neurons in CLIP

«Explainable Computer Vision» վորքշոփը ևս մեկ գլխավոր կետ էր՝ BAIR-ի երկմասանի դասախոսությամբ, որը ներկայացնում էր Explainable AI-ի երկու տարբեր մոտեցում։ Առաջին մասը եկավ Yossi Gandelsman-ից, ով նկարագրեց իր աշխատանքը CLIP-ում առանձին attention մոդուլների ներդրումը հասկանալու ուղղությամբ (CLIP-ը հիմք է հանդիսանում այսօրվա computer vision GenAI հավելվածների մեծ մասի համար)։ Դա բեկումնային էր, քանի որ նրա հետազոտությունը բացահայտեց, թե որ attention head-երն են պատասխանատու այնպիսի հատկանիշների համար, ինչպիսիք են.

  • Աշխարհագրական դիրքը
  • Գույները
  • Տեքստուրաները
  • Կենդանին
  • Եվ շատ ուրիշներ։

Դասախոսության երկրորդ մասը կենտրոնացած էր տվյալների տեսանկյան վրա (զուգահեռներ անցկացնելով EigenFaces-ի հետ, որը կառուցված է այն գաղափարի վրա, որ աշխարհի յուրաքանչյուր դեմք կարելի է արտահայտել մոտ 100 դեմքերի կշռված համակցությամբ)։ Այստեղ պրոֆ. Alexei A. Efros-ը պնդեց, որ տարբեր ալգորիթմների վարքը բացատրելու վրա կենտրոնանալու փոխարեն պետք է անցնել մոդելակենտրոն մոտեցումից («մոդելի որ մասն է կայացրել այս որոշումը») տվյալակենտրոնին («ինչ տվյալներ են հանգեցրել դրան»)։ Նրա հետազոտությունը ենթադրում է, որ սա հնարավոր է փոքր, վերահսկվող տվյալների հավաքածուների վրա, խրախուսող հեռանկարներով ավելի մեծ և ավելի բազմազան տվյալների հավաքածուների համար (օրինակ՝ ImageNet կամ LAION-4b)։

Clay ֆիլտրեր և անսպասելի հսկայական AWS հաշվի սանձում

Bending Spoons-ի վիրուսային Clay ֆիլտրը, աղբյուր՝ recodechinaai.substack.com

Այս զեկույցը եկավ Bending Spoon-ից՝ հովանավորներից մեկից, որը նկարագրեց իր ֆիլտրերի գեներացման արտադրանքի նկատմամբ հետաքրքրության հաջորդական ալիքները։ Եվրոպայում նրանք հայտնի են այն հավելվածով, որը սովորական լուսանկարները վերածում է կորպորատիվ նկարների LinkedIn-ի համար։ Ասիայում նրանց հանրաճանաչ է դարձրել Clay ֆիլտրի հնարավորությունը։

Նրանք բացատրեցին, թե ինչպես Stable Diffusion-ի առաջընթացը թույլ տվեց կառուցել գրավիչ ֆիլտրեր (օրինակ՝ Corporate Headshots) և թե որ երկրներն ու հարթակներն են ամենաշատ հետաքրքրություն ցուցաբերել (ասիական երկրները՝ առաջատար)։

Հայպի (hype) վերջին և ամենամեծ ալիքը (clay ֆիլտրի գեներացման շուրջ) այնքան մեծ էր, որ մեկ օրում նրանք կուտակեցին 300k$ հաշիվ միայն այդ օրվա համար։ Նրանք ստիպված էին արագ գործել և արագ կրճատել իրենց ամպային օգտագործումը՝ պահպանելով ։ Նրանց լուծումն իրականում բավականին պարզ էր. նրանք ընդունեցին և գեներացրեցին ավելի փոքր պատկերներ, անցան ավելի փոքր և ավելի էժան GPU-ների, և վերջապես զգալիորեն կրճատեցին վարժեցման ժամանակը)։

Սա նրանց ծախսերը իջեցրեց 10 անգամ, ինչը ցույց է տալիս, որ փոքր ճշգրտումները կարող են մեծ տարբերություն ստեղծել։

Առաջընթաց գյուղատնտեսության և ֆենոտիպավորման մեջ

Տերևային հիվանդությունների սեգմենտացիայի դիմակներ։ Աղբյուր՝ A new Large Dataset and a Transfer Learning Methodology for Plant Phenotyping in Vertical Farms

Քանի որ գյուղատնտեսությունն իմ մեծ հետաքրքրություններից է, ես հաճախեցի «Computer Vision in Plant Phenotyping and Agriculture» (CVPPA) վորքշոփի ելույթներին։

Այս վորքշոփում ինձ ամենից շատ աչքի ընկած ելույթը կատարեց DeepPlants-ից դոկտոր Fiora Pirri-ն, ով ներկայացրեց հիվանդությունների հայտնաբերման տվյալների հավաքածու ստեղծող նախագիծ, որը հրապարակված է HuggingFace-ում։ Ամենամեծ անակնկալն այն էր, թե որքան բարդ է pipeline-ը (առնվազն 5 տարբեր ճարտարապետություն և 2-3 մոդալություն՝ RGB, խորություն և այլն)։ Տվյալների հավաքածուն կարող է օգնել առաջ մղել հիվանդությունների վաղ հայտնաբերումը (բջջային հեռախոսի տեսախցիկի տեսանյութերից) անապահով երկրներում և նվազեցնել հիվանդությունների պատճառած վնասը։ Հետաքրքիր էր նաև լսել Computer Vision-ի առաջընթացի վրա հիմնվող տարբեր գաղափարների մասին (օրինակ՝ Stable Diffusion-ի օգտագործումը կոնկրետ հիվանդությունների նմուշներ գեներացնելու համար՝ դրանց դասակարգումը լավացնելու նպատակով)։

Եզրակացություններ

Այս կարճ գրառման մեջ ես անդրադարձա state of the art-ին հինգ տարբեր ոլորտներում՝ ավատարներից, կիրառական ոլորտներում առաջընթացից, ինչպիսին գյուղատնտեսությունն է, մինչև մոդելների և տվյալների ըմբռնումն ու ձեր տվյալներում կողմնակալության հայտնաբերումը։

ECCV-ն հիանալի հնարավորություն էր տեսնելու, թե որտեղ է ներկայումս SOTA-ն, ինչպես է մեկ ոլորտի առաջընթացը ազդում մյուսների վրա (օրինակ՝ գյուղատնտեսություն կամ բժշկական արդյունաբերություն), և գործնականում զգալու ոլորտի նորագույն մակարդակը։