فهم مؤشر التوافق (concordance index)
تشرح هذه المقالة مؤشر التوافق (Concordance index)، المعروف أيضاً باسم C-index.
ما الغرض من C-index؟
كثيراً ما يضعنا تعلّم الآلة الطبي الحيوي أمام مهمة تحليل البقاء (survival analysis)، التي يتمثل هدفها في التنبؤ بموعد وقوع حدث ما – مثل عودة المرض. ورغم استخدامه الواسع في الطب، ينطبق تحليل البقاء أيضاً على مراقبة أعطال الآلات أو على قطاع التأمين. ويمكن تقييم الخوارزميات التنبؤية بمسافة L1 أو L2، لكن هذا ليس دائماً المقياس الأنسب.
تخيّل أن بعض المرضى فقط تعود لديهم الإصابة، بينما قد تعود لدى آخرين لاحقاً – فلم تكن قد عادت لديهم وقت التقييم، ولا يمكننا معرفة ما إذا كانت ستعود لهم يوماً. وفي هذه الحالة، لا توجد أزمنة حقيقية (ground truth) إلا للمرضى الذين حدثت لديهم عودة كيميائية حيوية، ومع ذلك فإن المرضى الذين لم تحدث لديهم تخبرنا بشيء عن مدى جودة خوارزميتنا. والمقياس الذي يُطبَّق عادةً في هذه الحالة هو مؤشر التوافق (Concordance index)، ويسمى أيضاً C-index. وهو يأخذ كل الحالات في الحسبان، الإيجابية والسلبية، ويعاملها كحالات مراقَبة بالبتر (censored).
مؤشر التوافق الأساسي الذي تتناوله هذه المقالة هو مؤشر Harrell للتوافق، الذي قدمه Frank Harell لأول مرة عام 1982 في “Evaluating the Yield of Medical Tests”. وهو أكثر أشكال c-index بداهة؛ غير أنه ثبت أن مؤشر Harrell للتوافق متفائل أكثر من اللازم مع ازدياد حصة البيانات المبتورة، وأن فائدته محدودة عندما يهمنا أساساً إطار زمني معين – مثلاً النتائج خلال 4 سنوات فقط. ويمكن معالجة المشكلة الأولى مثلاً بـ مؤشر التوافق للبقاء المبتور من اليمين، والثانية بتوسيع AUC ROC إلى المساحة تحت منحنى ROC المعتمدة على الزمن.
الفكرة وراء c-index
يمكنك النظر إلى مؤشر التوافق باعتباره مقياساً لمدى جودة ترتيب المرضى بحسب موعد وقوع الحدث. فهو يقيس قدرة المتنبئ على ترتيب الأفراد عبر تقدير الجزء من كل الأزواج القابلة للمقارنة في مجموعة البيانات الذي رُتّب بشكل صحيح. وتُعد الحالة الإيجابية مرتبة بشكل صحيح إذا كانت كل حالة (إيجابية أو سلبية)، تُفحص واحدة تلو الأخرى، تعيش أطول من الحالة قيد الفحص قد تُنبئ فعلاً بأنها ستعيش أطول منها. وعند حساب C-index تُفحص الحالات في أزواج، والنتيجة هي نسبة الأزواج التي تحقق الشرط إلى جميع الأزواج.
يتراوح C-index من 0.5، وهي تقابل خوارزمية عشوائية تماماً، إلى 1.0، أي تنبؤات مثالية. ولاحظ أن المقياس لا يقيّم مدى دقة الزمن المتنبأ به، بل ما إذا كان المرضى قد رُتّبوا بشكل صحيح. كما أنه لا يقيّم مباشرة مدى جودة تقسيم المرضى إلى من عادت لديهم الإصابة ومن لم تعد. لكنه يراعي ذلك جزئياً، لأن الحالات السلبية تعيش أطول من الإيجابية. وإضافة إلى ذلك، يتعامل C-index مع عدم اليقين المحيط بالحالات السلبية.
قد تتبين الحالة السلبية أنها سلبية كاذبة، لأن المرض قد يعود لاحقاً رغم أنه لم يعد وقت التقييم. يرتب C-index الحالات بحسب وقت آخر متابعة لها ويبتر الحالات السلبية. ونتيجة لذلك، يكون العنصر الأول القابل للمقارنة في أي مقارنة زوجية دائماً حالة إيجابية، ولا يمكن مقارنة الحالة الإيجابية إلا بالحالات السلبية ذات وقت المتابعة الأطول (تُتجاوز الحالات السلبية ذات وقت المتابعة الأقصر) وبحالات إيجابية أخرى زمن وقوع الحدث لديها أطول.
الشكل 1. رتّب المرضى بحسب الزمن الحقيقي تصاعدياً وكرر في الاتجاه التصاعدي. قارن كل حالة بالحالات التي تليها، متجاوزاً الحالات السلبية. زد البسط للأزواج المتوافقة (التي نُبئ بها بالترتيب الصحيح). واستخدم عدد كل الأزواج المقارَنة كمقام.
مثال
يسهل دائماً فهم الخوارزمية بمثال.
{
"results": [
{
"case_id": "case_0",
"case_id_gt_time": 1.35,
"case_id_gt_event": 0,
"case_id_prediction_years_to_recurrence": 1.48
},
{
"case_id": "case_1",
"case_id_gt_time": 11.89,
"case_id_gt_event": 1,
"case_id_prediction_years_to_recurrence": 3.52
},
{
"case_id": "case_2",
"case_id_gt_time": 19.17,
"case_id_gt_event": 0,
"case_id_prediction_years_to_recurrence": 5.52
}
],
"aggregates": {
"c_index": 1.0
}
}
أنتجت الخوارزمية المدرَّبة النتائج الموضحة أعلاه. هناك حالتان سلبيتان (case_0 وcase_2) وحالة إيجابية واحدة (case_1). وبالنسبة إلى الحالات السلبية، يُعطى وقت آخر فحص سلبي (1.35 سنة و19.17 سنة)، وبالنسبة إلى الحالة الإيجابية، الزمن حتى العودة (11.89 سنة). طُبقت الخوارزمية على كل حالة، ويُبلَّغ عن case_id_prediction_years_to_recurrence. وليس لسنوات العودة معنى حقيقي بالنسبة إلى الحالات السلبية، لكن لكي تُعد متنبَّأً بها بشكل صحيح، ينبغي أن تتجاوز زمن عودة الحالة الإيجابية.
وبالنظر إلى هذه النتائج، يمكننا ملاحظة شيء مخالف للبديهة في درجة c-index. فهي تساوي 1.0 (أفضل قيمة ممكنة)، رغم أن case_0 السلبية نُبئ لها بقيمة case_id_prediction_years_to_recurrence أقصر من case_1 الإيجابية. لكن هذا معقول، لأن case_0 قد تصبح إيجابية بحلول وصولها إلى gt_time الخاص بـ case_1. ولما كان هذا غير معروف، لا يمكننا معاقبة الخوارزمية لأنها لم تتنبأ بأن case_0 ستعيش أطول من case_1.
الخوارزمية خطوة بخطوة:
- رتّب كل حالة بحسب الزمن الحقيقي تصاعدياً: [
case_0,case_1,case_2]. - مرّ على الحالات المرتبة من العنصر الأول فصاعداً، متجاوزاً العناصر السلبية (الحالات المبتورة). وبما أن العنصر الأول في القائمة سلبي، ننتقل مباشرة إلى الثاني.
- قارن دائماً العناصر متحركاً في الاتجاه التصاعدي للقائمة. العنصر التالي هو
case_1، فنقارنcase_1بالعناصر المتبقية. ومع 3 حالات في القائمة، يكون الوحيد المتبقي هوcase_2. نتحقق مما إذا كان زمنcase_1المتنبأ به أقصر من زمنcase_2. وهو كذلك، فنزيد البسط nominator += 1. ومع قائمة أطول، كنا سنواصل مقارنةcase_1بـcase_3وcase_4و… وهكذا، مضيفين واحداً إلى البسط لكل زوج يحقق الشرط. وبما أنه لا توجد عناصر أخرى، نخرج من الحلقة. - وأخيراً، يُقسم البسط على العدد الكلي للأزواج المقيَّمة. وفي هذا المثال، يساوي البسط والمقام كلاهما 1 (يوجد زوج واحد قابل للمقارنة، وهو يحقق الشرط)، ولذا فإن c-index تساوي 1.
مثال مرئي 1. توضيح لكيفية حساب مؤشر التوافق.
التنفيذ
من السهل تطبيق c-index بفضل الدالة المتوفرة في مكتبة sksurv.
from sksurv.metrics import concordance_index_censored
(
cindex,
concordant_pairs,
discordant_pairs,
tied_risk,
tied_time,
) = concordance_index_censored(
event_indicator=groundtruth_events,
event_time=groundtruth_times,
estimate=predicted_event_probabilities,
)
من الواضح أن مؤشر Harrell للتوافق يعمّم على التصنيف الثنائي، حيث يرتبط احتمال وقوع حدث ما ارتباطاً عكسياً بالزمن حتى وقوعه. فمثلاً، إذا كان نموذج المخاطر لدينا جيداً، فينبغي أن يحصل المرضى الذين أصيبوا بالمرض أبكر على درجات مخاطر أعلى. وبعبارة أخرى، من بين مريضين، ينبغي أن يصاب بالمرض أبكر ذلك الذي له درجة مخاطر أعلى.
الخلاصة
يتيح C-index تقييم الخوارزميات التي تتنبأ بالبقاء. وميزته الأساسية هي القدرة على التعامل مع البيانات المبتورة – مثلاً المرضى الذين لم يعد مرضهم بعد، أو المرضى الذين يستحيل تتبع الحدث محل الاهتمام لديهم لأن حدثاً آخر وقع. لكن لدى C-index بعض العيوب. فهو لا يقول شيئاً عن حجم الخطأ: إلى أي مدى تنحرف القيم المتنبأ بها عن القيم الحقيقية يبقى مجهولاً.