البدء مع تحليل أداء الدوال في JVM (Method Profiling)
يعتمد حجم الدالة التي يجمّعها مترجم JIT على مقدار بيانات التحليل (profiling) التي تحتويها. فماذا يعني ذلك حقًا؟ يجيب هذا المقال عن هذا السؤال ويصف كيفية عمل آلية التحليل بصورة عامة.
يعتمد حجم الدالة التي يجمّعها مترجم JIT على مقدار بيانات التحليل (profiling) التي تحتويها. لكن ماذا يعني ذلك حقًا؟ يجيب هذا المقال عن هذا السؤال ويصف أيضًا كيفية عمل آلية التحليل بصورة عامة.
التجربة
البيئة
أجريت بحثي على جهاز افتراضي في GCP، يعمل بنظام Debian GNU/Linux 12 (bookworm) وبمعمارية amd64. وكان إصدار Java المثبّت Temurin-25+36 (build 25+36-LTS). ولفحص حالة الكائنات الداخلية في JVM الموجودة في Metaspace، استخدمت الأداة jhsdb.
تشغيل البرنامج
البرنامج المستخدم في التجربة هو في جوهره حلقة بسيطة، موضحة أدناه:
static void main(String[] args) throws InterruptedException {
var nrOfIterations = Integer.parseInt(args[0]);
var sleepInMillis = Integer.parseInt(args[1]);
var argumentHolder = new ArgumentsHolder(nrOfIterations, sleepInMillis);
var sum = 0;
for (int i = 1; i <= argumentHolder.getNrOfIterations(); i++) {
IO.println("This is: " + i + " iteration");
Thread.sleep(resolveSleepInMillis(i, argumentHolder.getSleepInMillis()));
sum += resolveNumber(i);
}
IO.println("My fantastic sum is: " + sum);
}
استدعاء Thread.sleep() موجود كي أتمكن من إيقاف JVM مؤقتًا في لحظات معينة.
شغّلت البرنامج بهذا الأمر:
java -XX:+PrintCompilation -jar target/app.jar 100000 100
أضفت العلم PrintCompilation إلى أمر التشغيل، لأنه يُظهر لي متى تُجمَّع دوال معينة بواسطة مترجم JIT أو يُلغى تجميعها عائدةً إلى وضع المفسّر (interpreter).
ولإرفاق مصحّح أخطاء سطر أوامر بـ JVM الجاري، كان عليّ أولًا معرفة معرّف عمليته (process ID). وبعد الحصول على الـ pid، أمكنني تشغيل:
jhsdb clhsdb --pid <pid>
بعد إرفاق المصحّح، أمكنني عرض تفاصيل الدوال، لكن كانت هناك حاجة أولًا إلى بعض الخطوات التمهيدية.
- إيجاد مؤشر ذاكرة الفئة من الاسم الكامل المؤهَّل للفئة:
class org.zygiert.Main
- أعاد هذا الأمر المؤشر إلى كائن
InstanceKlassالفعلي في Metaspace - وبواسطته، أمكنني تشغيل:
inspect <memory_address>
- أعاد هذا الأمر معلومات مفصلة عن الفئة. وأهم جزء كان المؤشر إلى مصفوفة الدوال:
Array<Method*>* InstanceKlass::_methods: Array<Method*> @ 0x00007f307c400400
- ولعرض المحتويات الفعلية للمصفوفة، شغّلت الأمر أدناه (الرقم 5 يعني عرض خمس كلمات ذاكرة):
mem 0x00007f307c400400/5
- كان الناتج كما يلي (السطر الأول يعطي حجم المصفوفة، والأسطر الأربعة التالية مؤشرات متتالية إلى دوال هذه الفئة):
0x00007f307c400400: 0x0000000000000004
0x00007f307c400408: 0x00007f307c400478
0x00007f307c400410: 0x00007f307c4005c0
0x00007f307c400418: 0x00007f307c400768
0x00007f307c400420: 0x00007f307c400698
أعطاني هذا بعض الرؤى المثيرة للاهتمام حول كيفية تطور البيانات الوصفية للدوال أثناء تشغيل التطبيق. استخدمت الأمر inspect المذكور سابقًا. ويمكن تكرار الخطوات نفسها لأي فئة في قاعدة الشيفرة. وفي حالتي، كانت هناك فئة أخرى واحدة كنت مهتمًا بها بشكل خاص.
المستوى 0 (Tier 0)
توقف برنامجي أول مرة عند التكرار 235. وبمعرفة عنوان الذاكرة لكل دالة، أمكنني الوصول إلى البيانات الوصفية للدالة. وبالنسبة للدالة main، كانت تبدو هكذا:
Type is Method (size of 88)
ConstMethod* Method::_constMethod: ConstMethod @ 0x00007f307c4004d0
MethodData* Method::_method_data: MethodData @ null
MethodCounters* Method::_method_counters: MethodCounters @ 0x00007f307c4009a0
AccessFlags Method::_access_flags: 8
int Method::_vtable_index: -2
u2 Method::_intrinsic_id: 0
nmethod* Method::_code: nmethod @ null
address Method::_i2i_entry: address @ 0x00007f307c4005f8
address Method::_from_compiled_entry: address @ 0x00007f307c400600
address Method::_from_interpreted_entry: address @ 0x00007f307c400610
من منظور التحليل، يمكن ملاحظة عدة أمور مهمة:
- لا يوجد في هذه المرحلة أي مرجع إلى
MethodData. - يوجد مرجع
MethodCounters، مما يدل على أن التحليل جارٍ بالفعل. - لا يوجد مرجع إلى شيفرة آلة مجمّعة – فمؤشر
nmethodفارغ (null)، أي أن الدالة تعمل حاليًا في وضع المفسّر.
والآن لننظر إلى كائنات MethodCounters. فيما يلي الناتج لثلاث دوال:
- main:
Type is MethodCounters (size of 64)
int MethodCounters::_invoke_mask: 254
int MethodCounters::_backedge_mask: 2046
u2 MethodCounters::_interpreter_throwout_count: 0
u2 MethodCounters::_number_of_breakpoints: 0
InvocationCounter MethodCounters::_invocation_counter: 2
InvocationCounter MethodCounters::_backedge_counter: 468
- resolveNumber:
Type is MethodCounters (size of 64)
int MethodCounters::_invoke_mask: 254
int MethodCounters::_backedge_mask: 2046
u2 MethodCounters::_interpreter_throwout_count: 0
u2 MethodCounters::_number_of_breakpoints: 0
InvocationCounter MethodCounters::_invocation_counter: 468
InvocationCounter MethodCounters::_backedge_counter: 0
- resolveSleepInMillis:
Type is MethodCounters (size of 64)
int MethodCounters::_invoke_mask: 254
int MethodCounters::_backedge_mask: 2046
u2 MethodCounters::_interpreter_throwout_count: 0
u2 MethodCounters::_number_of_breakpoints: 0
InvocationCounter MethodCounters::_invocation_counter: 470
InvocationCounter MethodCounters::_backedge_counter: 0
وهذا يخبرنا أيضًا بشيء مثير عن كيفية عمل التحليل. فبالنسبة للدالة main، عدّاد الاستدعاء 2 وعدّاد backedge 468. وهذا يُظهر أن JVM في وضع المفسّر يجمع معلومات عن:
- عدد مرات استدعاء الدالة – وهذا هو عدّاد الاستدعاء (invocation counter)
- عدد مرات تكرار حلقة داخل تلك الدالة – وهذا هو عدّاد backedge
فلماذا، عند التكرار 235، يكون عدّاد backedge هو 468 بدلًا من 235؟ لأن JVM يزيد العدّادات بمقدار 2 لا 1. والقيمة 468 وليست 470 لأننا في منتصف خطوة تكرار، فلم يُرفع عدّاد backedge إلى 470 بعد.
وبالعودة إلى السؤال الأصلي، يزيد JVM العدّادات بمقدار 2 من أجل الأداء. تُحفظ قيمة العدّاد عددًا صحيحًا طوله 32 بتًا. ويسمى البت الأول بت الحمل (carry bit). والزيادة بمقدار 2 تترك البت carry دون مساس.
وهذا مهم لأنه، لتحديد ما إذا كان ينبغي فحص دالة لتجميعها إلى مستوى (Tier) أعلى، يُجري JVM عملية AND على مستوى البتات بين قيمة العدّاد والقناع (mask)، وهي أرخص من المقارنة الحسابية. ووجود بت carry هو ما يجعل ذلك ممكنًا.
وعلاوة على ذلك، لا يفحص JVM بعد كل زيادة ما إذا كان ينبغي تجميع الدالة إلى مستوى أعلى. بل إن عدد مرات إجراء هذه الفحوصات تحكمه القيمتان invoke_mask وbackedge_mask. وفي وضع المفسّر، تُشتقان من Tier0InvokeNotifyFreqLog (القيمة الافتراضية: 7) وTier0BackedgeNotifyFreqLog (القيمة الافتراضية: 10). ويمكن العثور على الشيفرة التي تجري الحساب الفعلي في methodCounters.cpp.
في مثالنا، مع invoke_mask يساوي 254، تحدث فحوصات التجميع إلى مستوى أعلى كل 128 استدعاءً للدالة. أما بالنسبة لـ backedge، فتحدث الفحوصات كل 1024 backedge.
المستوى 1 (Tier 1)
في شيفرتي، أضفت عمدًا الفئة ArgumentsHolder مع دالتي getter لإظهار أن المستوى 1 لا توجد فيه بيانات تحليل. وبالنسبة للـ getter كليهما، تبدو العدّادات هكذا:
InvocationCounter MethodCounters::_invocation_counter: 256
InvocationCounter MethodCounters::_backedge_counter: 0
توقف رفع العدّادات بعد 128 استدعاءً للدالة. وبحلول ذلك الوقت، يكون مترجم C1 قد جمّع دالتي getter. ويمكننا تأكيد ذلك بالنظر إلى البيانات الوصفية للدالة. فبالنسبة لـ getNrOfIterations، تبدو هكذا:
Type is Method (size of 88)
ConstMethod* Method::_constMethod: ConstMethod @ 0x00007f307c400c60
MethodData* Method::_method_data: MethodData @ null
MethodCounters* Method::_method_counters: MethodCounters @ 0x00007f307c400ec8
AccessFlags Method::_access_flags: 2
int Method::_vtable_index: -2
u2 Method::_intrinsic_id: 0
nmethod* Method::_code: nmethod @ 0x00007f30a3ecc788
address Method::_i2i_entry: address @ 0x00007f307c400ce8
address Method::_from_compiled_entry: address @ 0x00007f307c400cf0
address Method::_from_interpreted_entry: address @ 0x00007f307c400d00
وهذا يتيح لنا ملاحظة ما يلي:
- تمامًا كما في وضع المفسّر، لا يوجد مرجع إلى
MethodData. - الـ
nmethodليس فارغًا، مما يعني أن شيفرة الآلة لهذه الدالة مخزنة في ذاكرة الشيفرة المؤقتة (code cache). لكن شيفرة الآلة هذه لا تحتوي على أي أدوات قياس إضافية لزيادة العدّادات.
وتجدر الإشارة إلى أن jhsdb يمكن استخدامه أيضًا للحصول على شيفرة الآلة المفككة (disassembled). وكل ما يلزم هو عنوان ذاكرة الدالة، وبعده يمكننا تشغيل هذا الأمر:
disassemble <memory_address>
المستوى 3 (Tier 3)
حدث التوقف التالي عند التكرار 314. وبحلول الآن، يكون مترجم C1 قد جمّع الدالة resolveNumber أيضًا. وبالنظر إلى البيانات الوصفية للدالة، نرى تفاصيل كهذه:
Type is Method (size of 88)
ConstMethod* Method::_constMethod: ConstMethod @ 0x00007f307c400638
MethodData* Method::_method_data: MethodData @ 0x00007f307c401928
MethodCounters* Method::_method_counters: MethodCounters @ 0x00007f307c400f88
AccessFlags Method::_access_flags: 10
int Method::_vtable_index: -2
u2 Method::_intrinsic_id: 0
nmethod* Method::_code: nmethod @ 0x00007f309c427588
address Method::_i2i_entry: address @ 0x00007f307c4006d0
address Method::_from_compiled_entry: address @ 0x00007f307c4006d8
address Method::_from_interpreted_entry: address @ 0x00007f307c4006e8
أهم ما يجب ملاحظته:
- ظهر كائن
MethodData، وسيجمع معلومات تحليل أكثر تفصيلًا - كائن
MethodCountersلا يزال موجودًا، لكنه الآن «مجمَّد» - توجد شيفرة آلة مجمّعة، كما يدل
nmethodغير الفارغ
هذه هي الشيفرة المصدرية للدالة resolveNumber:
private static int resolveNumber(int i) {
if (i < 10000) {
return i;
} else {
return i * 2;
}
}
تحتوي شيفرة الآلة المولَّدة لهذه الدالة على شيفرة إضافية تحمّل العدّادات وتزيدها وتعيد تخزينها. و«العدّادات» هنا لا تعني عدّاد الاستدعاء فحسب، بل أيضًا عدّادَي الفرع المأخوذ والفرع غير المأخوذ المحفوظين في MethodData. وهذا هو المقصود بـ«بيانات التحليل الكاملة» لهذه الدالة.
ومن الآن فصاعدًا، لن يتغير MethodCounters بعد الآن:
InvocationCounter MethodCounters::_invocation_counter: 512
InvocationCounter MethodCounters::_backedge_counter: 0
توقف invocation_counter بعد 256 تكرارًا. لكن هناك invocation_counter ثانٍ داخل MethodData.
وبالنظر إلى شيفرة الآلة للدالة، يمكننا العثور على عنوان الذاكرة الذي تستخدمه. وجزء شيفرة الآلة المتعلق بعدّاد الاستدعاء يبدو هكذا:
0x00007f309c42769b: movabs $0x7f307c401928,%rax
0x00007f309c4276a5: mov 0x90(%rax),%edi
0x00007f309c4276ab: add $0x2,%edi
0x00007f309c4276ae: mov %edi,0x90(%rax)
يحمّل السطر الثاني العدّاد من الإزاحة 0x90 (بالنظام الست عشري، أي 144 بالعشري) بالنسبة لمؤشر MethodData. وبما أننا نعرف عنوان MethodData، يمكننا حساب عنوان عدّاد الاستدعاء وفحصه بأمر jhsdb هذا:
printas InvocationCounter <memory_address>
والنتيجة هي:
pointer to unsigned InvocationCounter @ 0x00007f307c4019b8 (size = 4)
unsigned int InvocationCounter::_counter: 114
هذا العدّاد أيضًا يزيد بمقدار 2 عند كل استدعاء. وهذا يعني أنه رُفع 57 مرة منذ نشأته. وقد أُنشئ العدّاد حين انتقلت هذه الدالة إلى مستوى أعلى، وهو ما حدث بعد 256 استدعاءً. ورغم أن سجل تطبيقي أبلغ عن 314 تكرارًا للحلقة، فإن الدالة resolveNumber لم تُستدعَ بعد. ولهذا قيمة العدّاد هي 114 (314 - 256 = 58؛ وبما أن ذلك الاستدعاء لم يحدث بعد، نحصل على 57).
ويمكننا أن نرى أن هذا العدّاد استُخدم منذ إنشائه، وعند التكرار 1739 تكون قيمته:
pointer to unsigned InvocationCounter @ 0x00007f307c4019b8 (size = 4)
unsigned int InvocationCounter::_counter: 2964
المستوى 4 (Tier 4)
بعد 5,120 استدعاءً، جمّع مترجم C2 الدالة resolveNumber. وجعلت البرنامج يتوقف مرة أخرى عند التكرار 5,513 للحلقة. وبحلول الآن، يكون عدّاد الاستدعاء مجمَّدًا عند القيمة التي أطلقت تجميع C2، لأن الشيفرة التي يجمّعها C2 لا تجمع أي بيانات تحليل. هذه هي قيمة عدّاد الاستدعاء:
pointer to unsigned InvocationCounter @ 0x00007f307c4019b8 (size = 4)
unsigned int InvocationCounter::_counter: 10240
إلغاء التحسين (Deoptimization)
بعد 10,000 استدعاء، أُلغي تحسين الدالة resolveNumber. هكذا تُعرَّف الدالة:
private static int resolveNumber(int i) {
if (i < 10000) {
return i;
} else {
return i * 2;
}
}
في البداية، طبّق مترجم JIT تحسينًا تخمينيًا (speculative)، بعد أن وجد أنه بالنسبة لقيم i الأقل من 10,000 تُرجع الدالة دائمًا i. لكن بعد أن تجاوزت الاستدعاءات 10,000، بدأت الشيفرة تسلك الفرع else، مما أجبر على إلغاء التحسين.
لننظر عن كثب إلى ما يعنيه ذلك عمليًا. هذه هي البيانات الوصفية للدالة:
Type is Method (size of 88)
ConstMethod* Method::_constMethod: ConstMethod @ 0x00007f307c400638
MethodData* Method::_method_data: MethodData @ 0x00007f307c401928
MethodCounters* Method::_method_counters: MethodCounters @ 0x00007f307c400f88
AccessFlags Method::_access_flags: 10
int Method::_vtable_index: -2
u2 Method::_intrinsic_id: 0
nmethod* Method::_code: nmethod @ null
address Method::_i2i_entry: address @ 0x00007f307c4006d0
address Method::_from_compiled_entry: address @ 0x00007f307c4006d8
address Method::_from_interpreted_entry: address @ 0x00007f307c4006e8
- المرجع إلى
MethodDataغير فارغ، مما يُظهر أنه لم يُهمَل بعد إلغاء التحسين - المرجع إلى
nmethodاختفى، لأن تحسين الدالة أُلغي
وبدأ عدّاد الاستدعاء بالنمو من جديد:
pointer to unsigned InvocationCounter @ 0x00007f307c4019b8 (size = 4)
unsigned int InvocationCounter::_counter: 10290
إضافة إلى ذلك، حُدِّث MethodData:
uint MethodData::_compiler_counters._nof_decompiles: 1
القطعة المفقودة
مرّت الأقسام السابقة على كل مستويات التجميع باستثناء واحد – المستوى 2 (Tier 2). يبدو أن هذا المستوى يأتي مع «بيانات تحليل محدودة». وليس من السهل جعل دالة تُجمَّع في المستوى 2، لذا جعلت JVM يفعل ذلك بتشغيل هذا الأمر:
java -XX:+PrintCompilation -XX:TieredStopAtLevel=2 -jar target/app.jar 1000 100
تعني «التحليل المحدود» أن JVM في هذا المستوى لا يجمع معلومات تحليل مفصلة مثل الفروع المأخوذة مثلًا. بل يزيد عدّادَي الاستدعاء وbackedge فقط. وكائن MethodData موجود فعلًا، لكن البيانات التي يجمعها ضئيلة.
Type is Method (size of 88)
ConstMethod* Method::_constMethod: ConstMethod @ 0x00007fa840400638
MethodData* Method::_method_data: MethodData @ 0x00007fa840401928
MethodCounters* Method::_method_counters: MethodCounters @ 0x00007fa840400f88
AccessFlags Method::_access_flags: 10
int Method::_vtable_index: -2
u2 Method::_intrinsic_id: 0
nmethod* Method::_code: nmethod @ 0x00007fa860546188
address Method::_i2i_entry: address @ 0x00007fa8404006d0
address Method::_from_compiled_entry: address @ 0x00007fa8404006d8
address Method::_from_interpreted_entry: address @ 0x00007fa8404006e8
الخاتمة
يعتمد JVM على بنيتَي بيانات رئيسيتين لحفظ معلومات التحليل:
MethodCounters، وتُستخدم حين يبدأ البرنامج بالعملMethodData، وهي بنية تُنشأ حين يجمّع مترجم JIT دالة ما. وتبقى قيد الاستخدام حتى حين يُلغى تحسين الدالة وتعود إلى وضع المفسّر. وفضلًا عن ذلك، تتيحMethodDataلـ JVM جمع معلومات أكثر تفصيلًا، يمكن لمترجم C2 استخدامها لاحقًا لتحسين شيفرة الآلة بفعالية أكبر
آمل أن يلقي هذا المقال ضوءًا مفيدًا على كيفية عمل تحليل الدوال بصورة عامة.