Concordance index-ի ըմբռնումը
Այս հոդվածը բացատրում է Concordance index-ը, որը հայտնի է նաև որպես C-index։
Ինչի՞ համար է C-index-ը
Կենսաբժշկական մեքենայական ուսուցումը հաճախ մեզ առաջ է կանգնեցնում գոյատևման վերլուծության խնդրի առաջ, որի նպատակը կանխատեսելն է, թե երբ կպատահի որևէ իրադարձություն, օրինակ՝ հիվանդության կրկնությունը։ Թեև այն լայնորեն օգտագործվում է բժշկության մեջ, գոյատևման վերլուծությունը կիրառվում է նաև մեքենաների խափանումների մոնիթորինգի կամ ապահովագրական ոլորտում։ Կանխատեսող ալգորիթմները կարելի է գնահատել L1 կամ L2 հեռավորությամբ, բայց դա միշտ չէ, որ ամենահարմար չափանիշն է։
Պատկերացրեք, որ միայն որոշ հիվանդների մոտ է հիվանդությունը կրկնվում, իսկ մյուսների մոտ դա կարող է տեղի ունենալ ավելի ուշ – գնահատման պահին նրանց մոտ դա չէր եղել, և մենք չենք կարող ասել՝ երբևէ կպատահի՞ արդյոք։ Նման դեպքում իրական ժամանակները (ground truth) գոյություն ունեն միայն կենսաքիմիական կրկնություն ունեցող հիվանդների համար, բայց առանց դրա հիվանդներն էլ ինչ-որ բան են ասում մեր ալգորիթմի որակի մասին։ Այս իրավիճակում սովորաբար կիրառվող չափանիշը Concordance index-ն է, որը կոչվում է նաև C-index։ Այն հաշվի է առնում բոլոր դեպքերը՝ և՛ դրական, և՛ բացասական, դրանց վերաբերվելով որպես censored դեպքերի։
Այս հոդվածում դիտարկվող հիմնական concordance index-ը Harrell-ի concordance index-ն է, որը առաջին անգամ ներկայացրել է Frank Harell-ը 1982 թվականին «Evaluating the Yield of Medical Tests» աշխատանքում։ Դա c-index-ի ամենաինտուիտիվ տարբերակն է, սակայն Harrell-ի concordance index-ը ցույց է տրվել, որ չափազանց լավատեսական է, երբ censored տվյալների բաժինը մեծանում է, և սահմանափակ օգուտ ունի, երբ մեզ հիմնականում հետաքրքրում է որոշակի ժամանակային պատուհան, օրինակ՝ միայն 4 տարվա ընթացքում արդյունքները։ Առաջին խնդիրը կարելի է լուծել, օրինակ, right-censored գոյատևման concordance index-ով, իսկ երկրորդը՝ AUC ROC-ը ժամանակից կախված Area under the ROC-ով ընդլայնելով։
C-index-ի հիմքում ընկած գաղափարը
Concordance index-ը կարող եք դիտել որպես չափանիշ այն մասին, թե որքան լավ են հիվանդները դասավորված իրադարձության տեղի ունենալու ժամանակի համաձայն։ Այն քանակականացնում է կանխատեսողի՝ սուբյեկտներին դասակարգելու կարողությունը՝ գնահատելով տվյալների բազայի բոլոր համեմատելի զույգերի որ մասն է ճիշտ դասավորված։ Դրական դեպքը համարվում է ճիշտ դասավորված, եթե ուսումնասիրվող դեպքից ավելի երկար ապրող ամեն մի դեպք (դրական կամ բացասական), դիտարկված մեկ առ մեկ, իրոք կանխատեսվել է որպես դրանից ավելի երկար ապրող։ C-index-ը հաշվելիս դեպքերը ստուգվում են զույգերով, և արդյունքը պայմանին բավարարող զույգերի հարաբերությունն է բոլոր զույգերին։
C-index-ը տատանվում է 0,5-ից, որը համապատասխանում է լիովին պատահական ալգորիթմի, մինչև 1,0, որը նշանակում է կատարյալ կանխատեսումներ։ Նկատեք, որ չափանիշը չի գնահատում, թե որքան ճշգրիտ է կանխատեսված ժամանակը, այլ՝ արդյոք հիվանդները ճիշտ են դասավորվել։ Այն նաև ուղղակիորեն չի գնահատում, թե որքան լավ են հիվանդները բաժանվել հիվանդության կրկնություն ունեցողների և չունեցողների։ Սակայն դա մասամբ հաշվի է առնում, քանի որ բացասական դեպքերն ավելի երկար են ապրում, քան դրականները։ Բացի այդ, C-index-ը հաղթահարում է բացասական դեպքերը շրջապատող անորոշությունը։
Բացասական դեպքը կարող է պարզվել, որ կեղծ բացասական է, քանի որ հիվանդությունը կարող է կրկնվել ավելի ուշ, թեև գնահատման պահին դա չէր եղել։ C-index-ը դասավորում է դեպքերը ըստ վերջին հսկողության ժամանակի և censor է անում բացասական դեպքերը։ Արդյունքում զույգերի համեմատության մեջ առաջին համեմատելի տարրը միշտ դրական դեպք է, և դրական դեպքը կարող է համեմատվել միայն ավելի երկար հսկողության ժամանակ ունեցող բացասական դեպքերի հետ (ավելի կարճ հսկողության ժամանակ ունեցող բացասական դեպքերը բաց են թողնվում) և իրադարձությանը հասնելու ավելի երկար ժամանակ ունեցող այլ դրական դեպքերի հետ։
Նկար 1. Դասավորեք հիվանդներին ground truth ժամանակով աճման կարգով և անցեք աճման ուղղությամբ։ Համեմատեք յուրաքանչյուր դեպք դրանից հետո եկող դեպքերի հետ՝ բաց թողնելով բացասական դեպքերը։ Համաձայնեցված զույգերի (ճիշտ կարգով կանխատեսվածների) համար ավելացրեք համարիչը։ Հայտարար օգտագործեք բոլոր համեմատված զույգերի քանակը։
Օրինակ
Ալգորիթմը միշտ ավելի հեշտ է ըմբռնել օրինակով։
{
"results": [
{
"case_id": "case_0",
"case_id_gt_time": 1.35,
"case_id_gt_event": 0,
"case_id_prediction_years_to_recurrence": 1.48
},
{
"case_id": "case_1",
"case_id_gt_time": 11.89,
"case_id_gt_event": 1,
"case_id_prediction_years_to_recurrence": 3.52
},
{
"case_id": "case_2",
"case_id_gt_time": 19.17,
"case_id_gt_event": 0,
"case_id_prediction_years_to_recurrence": 5.52
}
],
"aggregates": {
"c_index": 1.0
}
}
Վարժեցված ալգորիթմը տվել է վերևում ցույց տրված արդյունքները։ Կան երկու բացասական դեպք (case_0 և case_2) և մեկ դրական (case_1)։ Բացասական դեպքերի համար տրված է վերջին բացասական ստուգման ժամանակը (1.35y և 19.17y), իսկ դրական դեպքի համար՝ կրկնությանը հասնելու ժամանակը (11.89y)։ Ալգորիթմը կիրառվել է յուրաքանչյուր դեպքի վրա, և հաղորդվում է case_id_prediction_years_to_recurrence-ը։ Կրկնությանը հասնելու տարիներն իրական նշանակություն չունեն բացասական դեպքերի համար, բայց ճիշտ կանխատեսված համարվելու համար դրանք պետք է գերազանցեն դրական դեպքի կրկնությանը հասնելու ժամանակը։
Այս արդյունքներին նայելով՝ կարող ենք նկատել c-index գնահատականի հակաինտուիտիվ մի բան։ Այն հավասար է 1.0-ի (լավագույն հնարավոր արժեքը), թեև բացասական case_0-ի համար կանխատեսվել է ավելի կարճ case_id_prediction_years_to_recurrence, քան դրական case_1-ի համար։ Սակայն սա խելամիտ է, քանի որ case_0-ը դեռ կարող է դրական դառնալ մինչև case_1-ի gt_time-ին հասնելը։ Քանի որ դա հայտնի չէ, մենք չենք կարող տուգանել ալգորիթմին այն բանի համար, որ չի կանխատեսել, թե case_0-ը կապրի case_1-ից երկար։
Ալգորիթմը քայլ առ քայլ՝
- Դասավորեք բոլոր դեպքերը ground truth ժամանակով աճման կարգով՝ [
case_0,case_1,case_2]։ - Անցեք դասավորված դեպքերի միջով՝ սկսած առաջին տարրից, բաց թողնելով բացասական տարրերը (censored դեպքերը)։ Քանի որ ցանկի առաջին տարրը բացասական է, անմիջապես անցնում ենք երկրորդին։
- Միշտ համեմատեք տարրերը՝ շարժվելով ցանկի աճման ուղղությամբ։ Հաջորդ տարրը
case_1-ն է, ուստիcase_1-ը համեմատում ենք մնացած տարրերի հետ։ Ցանկում 3 դեպք լինելու դեպքում մնացածը միայնcase_2-ն է։ Ստուգում ենք՝case_1-ն ունի՞case_2-ից ավելի կարճ կանխատեսված ժամանակ։ Ունի, ուստի ավելացնում ենք համարիչ += 1։ Ավելի երկար ցանկի դեպքում կշարունակեինք համեմատելcase_1-ըcase_3-ի,case_4-ի, … և այսպես շարունակ՝ պայմանին բավարարող յուրաքանչյուր զույգի համար համարիչին մեկ ավելացնելով։ Քանի որ այլ տարրեր չկան, դուրս ենք գալիս ցիկլից։ - Վերջում համարիչը բաժանվում է գնահատված զույգերի ընդհանուր քանակին։ Այս օրինակում համարիչը և հայտարարը երկուսն էլ հավասար են 1-ի (կա ընդամենը մեկ համեմատելի զույգ, և այն բավարարում է պայմանին), ուստի c-index-ը հավասար է 1-ի։
Տեսողական օրինակ 1. Concordance index-ի հաշվարկի պատկերում։
Իրականացում
C-index-ը հեշտ է կիրառել sksurv գրադարանի տրամադրած ֆունկցիայի շնորհիվ։
from sksurv.metrics import concordance_index_censored
(
cindex,
concordant_pairs,
discordant_pairs,
tied_risk,
tied_time,
) = concordance_index_censored(
event_indicator=groundtruth_events,
event_time=groundtruth_times,
estimate=predicted_event_probabilities,
)
Ակնհայտ է, որ Harrell-ի concordance index-ը ընդհանրացվում է երկուական դասակարգման վրա, որտեղ իրադարձության տեղի ունենալու հավանականությունը հակադարձ կապի մեջ է մինչև դրա տեղի ունենալը անցնող ժամանակի հետ։ Օրինակ՝ եթե մեր ռիսկի մոդելը որևէ բանի պետք է, ապա հիվանդությունը ավելի շուտ զարգացրած հիվանդները պետք է ավելի բարձր ռիսկի գնահատական ստանան։ Այլ կերպ ասած, երկու հիվանդներից այն, որ ունի ավելի բարձր ռիսկի գնահատական, պետք է ավելի շուտ հիվանդանա։
Եզրակացություններ
C-index-ը հնարավորություն է տալիս գնահատել գոյատևումը կանխատեսող ալգորիթմները։ Նրա հիմնական առավելությունը censored տվյալների հետ գործ ունենալու կարողությունն է – օրինակ՝ այն հիվանդների, ում հիվանդությունը դեռ չի կրկնվել, կամ այն հիվանդների, ում դեպքում հետաքրքրող իրադարձության հետևելը անհնար է, քանի որ տեղի է ունեցել այլ իրադարձություն։ Այնուհանդերձ, C-index-ը որոշ թերություններ ունի։ Այն ոչինչ չի ասում սխալի մեծության մասին՝ թե կանխատեսված արժեքները որքանով են շեղվում ground truth արժեքներից, մնում է անհայտ։