Գնահատել նախագիծը
← Բոլոր հրապարակումները

Տրանսպորտի տեսակի ճանաչման ծրագրի կառուցումը սկզբից մինչև վերջ. հաջողության պատմություն

Այս հաջողության պատմությունը ցույց է տալիս, թե ինչպես են արդարանում մոտիվացիան, գիտելիքները և նվիրվածությունը։ Գոյություն ունեն անթիվ նախագծեր, որոնցից յուրաքանչյուրն ունի իր խնդիրները, որոնք պահանջում են հնարամիտ մոտեցումներ և տեխնոլոգիաներ։

8 րոպե
Մեքենայական ուսուցումԴեպքի ուսումնասիրություն

Ներածություն

Այս հաջողության պատմությունը ցույց է տալիս, թե ինչպես են արդարանում մոտիվացիան, գիտելիքները և նվիրվածությունը։ Գոյություն ունեն անթիվ նախագծեր, որոնցից յուրաքանչյուրն ունի իր խնդիրները, որոնք պահանջում են հնարամիտ մոտեցումներ և տեխնոլոգիաներ։ Նաև տարբեր հմտությունների շատ հավաքածուներ կարող են օգնել գործը սպասվող ժամկետում ավարտին հասցնել։ Մենք ունենք ծրագրային ինժեներիայի մեծ փորձ, լավ ենք կիսվում գիտելիքով թիմի ներսում, և, անկեղծ ասած, մեզ զարմացնելու համար սովորաբար շատ բան է պետք։

Սակայն ժամանակ առ ժամանակ մեր սեղանին իսկապես ոչ սովորական խնդիր է հայտնվում։ Դուք հավանաբար գիտեք այդ զգացողությունը. անցնում եք նախագծի սկզբնական ենթադրությունների միջով, խոսում եք հաճախորդի հետ, և հենց այդ պահին գիտակցում եք, որ արկած է սկսվելու։

Ոչինչ այնպես չի տանում նախագիծը հաջողության, ինչպես մոտիվացված թիմը, և ոչինչ այնպես չի սնում մոտիվացիան, ինչպես հուզիչ, դժվար ինժեներական խնդիրը։ Այս նախագիծը մեզ տվեց այդ ամենը և ավելին։

Այս գրառման մեջ նկարագրվում է, թե ինչպես մենք մեքենայական ուսուցմամբ աշխատող տրանսպորտի տեսակի ճանաչման բարդ լուծման գաղափարից հասանք հուսալի proof-of-concept-ի (PoC), ապա սկսեցինք պատրաստվել minimum viable product-ի (MVP)։

Սուրճ պատրաստեք ձեզ։ Այս պատմությունը կարճ չէ 🙂

Խնդիր

Ցանկացած լավ IT նախագիծ սկսվում է հստակ սահմանված խնդրից։ Նախագծի ամբողջ ճարտարապետությունը կառուցվում է դրա շուրջ, բայց այն նաև շարժման մեջ է դնում թիմին և պահում նրան մոտիվացված ու կենտրոնացած։ Խնդիրը և նրա հետևանքները հասկանալը կարող է լինել նախագծի ամենակարևոր մասը։

Մեր հաճախորդը այս հարցում արդարացրեց ակնկալիքները։ Նրանք մեզ մոտ եկան բջջային հեռախոսի տվյալներից տրանսպորտի տեսակները ճանաչելու մարտահրավերով։ Մենք պետք է կառուցեինք ամբողջական լուծում, որն օգտագործում է մարդու գործունեության ճանաչումը՝ խուսափված CO2 արտանետումները հաշվարկելու համար։

Հաճախորդի հիմնական նպատակը մարդկանց պարգևատրելն է կայուն ձևով ճամփորդելու համար։ Հաճախորդի հավելվածը ավտոմատ կերպով հայտնաբերում է տրանսպորտի տեսակը, հաշվարկում է, թե որքան CO2 է խուսափվել՝ համեմատած ներքին այրման շարժիչով մեքենայի հետ, և դրա հիման վրա պարգևատրում է օգտատերերին. արժանի գաղափար և իմաստալից արտադրանք։

Տեխնիկապես խնդիրը դժվար է։ Այն նշանակում է մշակել բջջային սենսորների տվյալների անընդհատ հոսք և պահանջում է շատ ճշգրիտ մեքենայական ուսուցման մոդելներ։ Դրան գումարած՝ տարածական կոնտեքստը հասկանալը էական է, քանի որ օգտատերերը շարժվում են քաղաքներում։ Սա խնդիրը դնում է այնտեղ, որտեղ գիտությունը հանդիպում է ինժեներիային, ինչը այն դարձնում է մեր ընկերության համար կատարյալ ընտրություն։

Թիմ

Ինչպես մի իմաստուն ժամանակին ասել է, նախքան ճանապարհ ընկնելը պետք է հավաքել քո խումբը։ Մեր մեքենայական ուսուցման թիմը կազմված է մեքենայական ուսուցման մասնագետ ինժեներներից։ Լուծման սրտում խորը նեյրոնային ցանց է, բայց այն չի կարող աշխատել ինքնուրույն։ Պետք է կառուցել բջջային հավելված՝ թե՛ սենսորների տվյալներին հասանելիություն ունենալու, թե՛ օգտատիրոջ հետ հաղորդակցվելու համար։ Քանի որ մի քանի միկրոսերվիսներ սպառում են մոդելի inference-ի արդյունքները և համագործակցում են CO2 խուսափման արտանետման միավորը հաշվարկելու համար, համակարգին անհրաժեշտ է նաև պլատֆորմ, որը կարող է օրկեստրացնել նրա մյուս բաղադրիչները։

Այդ պատճառով մենք ուժերը միավորեցինք այլ ընկերությունների հետ. ծրագրային ընկերություն՝ գերազանց Scala ծրագրավորողներով, որոնք փորձ ունեն big data և blockchain լուծումներում, և գործընկեր ընկերություն, որը մասնագիտացած է շենքերի կառավարման և օգտատերերի հետ շփվող հավելվածների կառուցման մեջ։

Այսպես սկսվեց նախագիծը. ինժեներական թիմով, որը կազմված էր Machine Learning ինժեներներից, Scala ծրագրավորողներից, iOS ծրագրավորողներից, DevOps ինժեներներից, Quality Assurance ինժեներներից և Geographic Information System մասնագետներից։ Ինքնին հասկանալի է, որ սա հետաքրքրաշարժ համադրություն էր։ Զուգահեռաբար թիմի մյուս անդամները համակարգում էին մեր աշխատանքը՝ հանդես գալով որպես Product Owner-ներ / Manager-ներ, նախագծում էին User experience / Interface-ը և անցկացնում էին Blockchain աշխատաժողովներ։ Երեք ընկերությունների աշխատանքի համակարգումը կարգավորելը տևեց մոտ երկու շաբաթ։

Վճռորոշ է, որ հաճախորդի թիմը մասնակցում էր ինժեներական աշխատանքին հենց առաջին օրից։ Նրանք միշտ ձեռքի տակ էին՝ պատասխանելու անթիվ հարցերին, որոնք մենք ամեն օր նետում էինք նրանց։ Հաճախորդի և ինժեներների համագործակցությունը ստացվեց էական։ Հաճախորդի թիմին. շնորհակալություն ձեր վերաբերմունքի և աջակցության համար։

Պլանավորում՝ նախքան կոդավորելը

Մենք ունեինք մեծ ազատություն և կարող էինք լուծման ճարտարապետությունը նախագծել զրոյից։ Մենք ցանկանում էինք շուտ սկսել կոդավորել, բայց դրանից առաջ պետք էր համոզվել, որ հասկանում ենք, թե ինչ է ակնկալում հաճախորդը, որպեսզի լավ պլանավորենք։ Առաջադրանքի վերջնաժամկետը ֆիքսված էր։ Մենք ուզում էինք, որ հաճախորդը հնարավորինս շուտ կարողանա ցուցադրել իր լուծումը և իր գաղափարը կիսել աշխարհի հետ։

Մեր նպատակն էր ցանկացած պահի կարողանալ հետևել PoC-ի առաջընթացին և փուլերին։ Մենք ուզում էինք, որ հաճախորդը վերահսկողություն պահպանի իր նախագծում կատարվողի վրա, թեև մշակումը արագ էր ընթանում։ Սա նաև շատ կարևոր էր մեքենայական ուսուցման տեսանկյունից, քանի որ այն պահանջում է մեծ քանակությամբ բարձրորակ տվյալներ, որոնք պետք է ճիշտ հավաքվեն և մշակվեն։ Մեզ համար սա նշանակում էր ամբողջ պլատֆորմի առաջին տարբերակը մատակարարել աշխատանքը սկսելուց երկու ամսվա ընթացքում։ Ժամկետները ճիշտ հաշվարկելը առանցքային էր՝ դաշտային հետազոտության (տվյալների հավաքագրման) սահմանափակումներին համապատասխանելու համար։

Որպեսզի համոզվենք, որ յուրաքանչյուր մաս պատրաստ կլինի ժամանակին, որոշեցինք հաճախորդի հետ անցկացնել աշխատաժողովների շարք։ Միասին պատրաստեցինք ամբողջ համակարգի մանրամասն ուրվագիծ, որը ներառում էր մեքենայական ուսուցումը, ամպային պլատֆորմների պահանջները, բջջային հավելվածը և, վերջապես, blockchain-ը։

Աշխատաժողովների առաջին փուլը ստեղծեց transport mode detection-ի (TMD) հետազոտական փաստաթուղթը, որը շարադրում էր ճկուն մեքենայական ուսուցման լուծում կառուցելու համար պահանջվող քայլերը։ Սա իր հերթին հանգեցրեց պլատֆորմի ճարտարապետության և բջջային հավելվածի հետազոտական (annotation) ռեժիմի նախագծմանը։

Հետազոտական ռեժիմը միացված է

Մեքենայական ուսուցման նախագծերը պահանջում են հսկայական քանակությամբ տվյալներ, և ոչ թե ցանկացած տվյալ։ Մոդելի ճշգրտությունը ուղղակիորեն կախված է հավաքված տվյալների որակից։ Նոր տեսակի նախագծերում խնդրին անհրաժեշտ տվյալների բազմությունը գրեթե երբեք գոյություն չունի, ուստի այն պետք է կառուցել։

Չի կարելի պարզապես դուրս գալ դաշտ և վերցնել տվյալները։ Նախ պետք էր սահմանել կանոնների մի շարք, որոնց պետք է հետևել դրանք հավաքելիս։ Այս քայլը խնամքով կատարելն ապահովում է ամբողջ նախագծին որպես գիտական հետազոտության մոտենալը։ Այս մոտեցումը երբևէ չի ձախողել մեզ, քանի որ այն կատարյալ համապատասխանում է մեքենայական ուսուցման նախագծերին։

Կանոնները ստացան բջջային հավելվածի և annotation ձեռնարկի տեսք։ Այնուհետև մենք հավաքեցինք կամավորների թիմ, որոնք պատրաստ էին օգնել մեզ տվյալներ հավաքել։ Յուրաքանչյուր մասնակից ստացավ iPhone և Apple Watch՝ տնից աշխատանք ճանապարհորդելիս չափումներ գրանցելու համար։

Հետազոտության ընթացքում մենք հավաքեցինք ավելի քան 150 միլիոն գրառում, որոնք նկարագրում են, թե ինչպես են մարդիկ շարժվում։
քարտեզ

Հետազոտության ընթացքում հավաքված տվյալների օրինակ՝ հետազոտական շրջաններից մեկում։

Արժե շեշտել, որ այն ժամանակ, երբ թիմի առաջին անդամը դուրս եկավ տվյալներ հավաքելու, մենք արդեն ունեինք աշխատող ամպային պլատֆորմ, որը մշակում էր բջջային հեռախոսից եկող տվյալները և պատրաստում դրանք մեքենայական ուսուցման համար։ Սա նախագծի երկրորդ ամսվա վերջին էր։ Նախագծի տեմպը ուշագրավ էր։

Հետադարձ կապով առաջնորդվող մշակում

Համակարգը երբեք կյանքի չէր կոչվի առանց մեր միջև մշտական հաղորդակցության։ Լավ մտածված ճարտարապետությունը օգնում է սահմանել այն շրջանակը, որում աշխատում է ինժեներական թիմը։ Այդուհանդերձ, հաջողությունը կախված է նրանից, թե որքան արդյունավետ ենք կարողանում տեղեկատվություն փոխանակել բջջային հավելվածի, ամպային պլատֆորմի կամ մեքենայական ուսուցման վրա աշխատանքի մասին։ Slack-ը և Google Meet-ը այստեղ մեծ օգնություն էին։

Նշե՞լ եմ, որ թիմը հեռավար էր, և բոլորը աշխատում էին տնից։

Ամփոփելով ամեն ինչ

Մշակման վեց ամիս անց համակարգի PoC-ն պատրաստ էր օգտատիրոջ ընդունման թեստերի (UAT)։ Ամպային պլատֆորմը ավարտված էր և կարող էր մշակել բջջային հավելվածից եկող հարցումները։ Մեքենայական ուսուցմամբ տրանսպորտի տեսակի ճանաչման սերվիսը պատրաստ էր և կարող էր inference կատարել հավաքված սենսորային տվյալների վրա։

Մեքենայական ուսուցմամբ աշխատող լուծումը փորձարկելու ավելի լավ ձև չկա, քան այն օգտագործել իրական պայմաններում։ Այնպես որ մեր հետազոտական թիմը՝ QA-ի և մեր հաճախորդների աջակցությամբ, ճանապարհ ընկավ։ Մենք անցանք տարբեր սցենարներով՝ քայլելուց մինչև հասարակական տրանսպորտով երթևեկություն, և գրի առանք բազմաթիվ նշումներ համակարգը ճշգրտելու համար։

Արդյունքը գերազանցեց մեր սպասելիքները։ Պլատֆորմի յուրաքանչյուր մաս իրար հետ համընկավ, և լուծումը աշխատում է։

Մեր հաճախորդը ակտիվ է և մասնակցում է Եվրոպայում և ԱՄՆ-ում անցկացվող բազմաթիվ կոնֆերանսների։ Նաև պատրաստվում են լայնածավալ փորձարկումներ, իսկ բետա տարբերակը բաց է գրանցման համար։

Մեր աշխատանքը գագաթնակետին հասավ հաճախորդի համար պատրաստված ընդարձակ հաշվետվությամբ, որում մենք մանրամասն փաստաթղթավորեցինք պլատֆորմի յուրաքանչյուր մասը։ Այսպիսի քայլը կարևոր է նախագծի մասին գիտելիքը պահպանելու համար։ Այն հնարավորություն է տալիս արագ սկսել հաջորդ փուլերը և անհրաժեշտության դեպքում մեծացնել թիմը։ Հուսալի փաստաթղթավորումը կարևոր է նաև freedom to operate (FTO) ստուգման գործընթացի կամ նույնիսկ արտոնագիր ստանալու համար։

Ամփոփում

Դա հիանալի արկած էր։ Մոտ վեց ամսվա ընթացքում մենք նախագծեցինք և կառուցեցինք առաջադեմ proof-of-concept։ Լուծումը կարող է ստեղծել և օգտագործել deep learning մոդել, որը ճանաչում է տրանսպորտի տեսակները։ Հաճախորդին ցանկալի ֆունկցիոնալությունը տալու համար մենք միավորեցինք բազմաթիվ հմտություններ՝ մեքենայական ուսուցում, backend մշակում, բջջային մշակում, blockchain, GIS և գիտական հետազոտություն։

Այս հաջողությունը հնարավոր չէր լինի առանց թիմի անդամների լայն փորձի և մեր հաճախորդների վստահության։

Նախագծի ամենադժվար մասը բոլոր առաջադրանքները ժամանակին համադրելն էր՝ մեքենայական ուսուցման մոդելների նախագծումն ու մարզումը վաղ սկսելու համար։ Մենք ուզում էինք հնարավորինս շատ ժամանակ թողնել նեյրոնային ցանցերի տարբեր ճարտարապետությունների և տվյալների մշակման մեթոդների փորձարկման համար։ Սա թիմի բոլոր անդամներից պահանջեց մեծ կարգապահություն, ինչպես նաև հասկացում, որ ամպային պլատֆորմի կամ բջջային հավելվածի վրա յուրաքանչյուր աշխատանք ուղղակի ազդեցություն ունի մեքենայական ուսուցման արդյունքների վրա։

Ուրեմն ի՞նչ է սպասվում հետո։

Մենք այժմ ուղղվում ենք դեպի MVP։ Ժամանակն է պլանավորել առաջիկա առաջադրանքները և մեքենան ավելի արագ աշխատեցնել։ Շուտով ավելի շատ նորություններ։ Յուրաքանչյուր ճանապարհորդություն կարևոր է 🌿