نيويورك على الخريطة في ثوانٍ: سحر البيانات الجغرافية مع Polars
تعرّف على كيف يمكن لـ Polars (pola.rs)، وهي مكتبة رائعة للغة Rust، أن تسرّع سكربتك بشكل كبير، مع توضيح ذلك بالفهرسة الجغرافية المكانية لبيانات سيارات الأجرة في نيويورك.
في هذه المقالة، سنلقي نظرة على مكتبة رائعة لمحبي Rust تسمى Polars (pola.rs). Polars مكتبة DataFrame مبنية لأداء عالٍ (إذا كنت قد استخدمت مكتبات مماثلة من قبل – وPandas من منظومة Python ربما هي الأشهر – فستفهم فورًا ما هي وفيمَ تنفع). وPolars مكتوبة بطبيعة الحال بلغة Rust، لكنها تقدم أيضًا ربطًا مع Python، فيمكنك استخدامها في أي من العالمين. بُنيت لمعالجة البيانات والتعامل معها بكفاءة وبأداء متميز.
وعلى عكس Pandas، التي تعتمد على مصفوفات NumPy، تقوم Polars على صيغة الذاكرة العمودية Apache Arrow وهي مضبوطة لأعباء عمل التحليلات. ويفضّل نموذج التنفيذ لديها التنفيذ الكسول (lazy execution)، مما يتيح تحسين الاستعلامات، وهي تتفوق عادةً على Pandas، خاصة في عمليات مثل groupBy والوصلات (joins) والدمج (merges) وتصفية مجموعات البيانات الكبيرة (تتوفر بعض اختبارات الأداء هنا).
ولكونها مكتوبة بـ Rust، تستخدم Polars الذاكرة بكفاءة أكبر بكثير من Pandas. فتخزينها العمودي أكثر كفاءة، وبنى بياناتها تحمل عبئًا أقل بكثير. وإضافة إلى ذلك، فإن كثيرًا من العمليات متعددة الخيوط جاهزة دون إعداد، بخلاف Pandas (ما لم تُدخل عمدًا مكتبات Python إضافية مثل Dask).
دليل تعليمي قصير عن Pola.rs
لهذه المقالة، ولتجربة Polars على مجموعة بيانات أقرب إلى الاستخدام الواقعي، اخترت مجموعة بيانات سيارات الأجرة في نيويورك (NYC Taxi)، المكونة من 3 ملفات بإجمالي 5.4 GB من البيانات (الربع الأول من عام 2016).
للبدء، علينا تحميل البيانات ودمجها في مجموعة بيانات كسولة واحدة:
let file_paths = vec!["nyc_taxi_data/yellow_tripdata_2016-01.csv",
"nyc_taxi_data/yellow_tripdata_2016-02.csv",
"nyc_taxi_data/yellow_tripdata_2016-03.csv",
];
// Create a vector to store individual LazyFrames
let mut lazy_frames: Vec<LazyFrame> = Vec::new();
println!("loading data...");
// Read each CSV file into a LazyFrame
for path in file_paths {
let lf = LazyCsvReader::new(path)
.with_has_header(true)
.with_try_parse_dates(false)
.with_low_memory(true)
.finish()?;
lazy_frames.push(lf);
}
تحمّل هذه الشيفرة عدة ملفات CSV في LazyFrames بدلًا من DataFrames عادية. ونتيجة لذلك، لا تُنفَّذ الحسابات مثل التحليل والتصفية وغيرها فورًا. بل نبني خطة منطقية سيحسّنها محرك Pola.rs وينفذها لاحقًا.
تتيح لنا Polars تحميل البيانات إما بشكل متلهف (eager) أو كسول. النهج المتلهف أبسط وأكثر مباشرة، وهو يناسب مجموعات البيانات الصغيرة والنماذج الأولية السريعة. لكن له سلبيات، مثل غياب التحسينات واحتمال ارتفاع استهلاك الذاكرة (فلن تُسقط Polars الأعمدة التي لا تستخدمها استعلاماتك فعليًا).
// Create UnionArgs for concat function
let union_args = UnionArgs {
parallel: false,
..Default::default()
};
// Concatenate all LazyFrames vertically
let combined_lf = concat(lazy_frames, union_args)?;
// Collect data
let df = combined_lf.collect()?;
بعد تحميل البيانات من عدة مصادر في الإطارات الكسولة لدينا، يمكننا دمجها في إطار بيانات واحد مجمَّع. ولفعل ذلك، نستخدم البنية UnionArgs، التي تخبر Polars كيف تضم الإطارات.
حسنًا، جُمعت بياناتنا كلها الآن وصارت جاهزة للمعالجة. في هذا الدليل القصير، اخترت النظر في عمودين فقط، dropoff_latitude وdropoff_longitude، يبيّنان أين تُنزل سيارات الأجرة في نيويورك الركاب. وهناك بالتأكيد أعمدة أخرى مثيرة للاهتمام، مثل مبلغ البقشيش والإجماليات وغيرها، لكننا نسعى وراء الموقع كي نجرّب فيه مكتبة H3 ونعرض شيئًا على الخريطة.
نختار العمودين ونحاول الحصول على تمثيل مكتوب f64 لكل منهما.
let lat_series = df.column("dropoff_latitude")?;
let lng_series = df.column("dropoff_longitude")?;
let lat_vec = lat_series.f64()?;
let lng_vec = lng_series.f64()?;
أصبحت بياناتنا جاهزة للمعالجة الآن. في هذا المثال البسيط، سنحوّل نقاط خطوط العرض/الطول إلى خلايا H3 ونحسب عدد السجلات الواقعة في كل خلية H3.
// HashMap to count frequencies of each H3 cell
let mut h3_counts: HashMap<String, u32> = HashMap::new();
// Convert lat/lng to H3 cells and count occurrences
for i in 0..lat_vec.len() {
if let (Some(lat), Some(lng)) = (lat_vec.get(i), lng_vec.get(i)) {
let latlng = LatLng::new(lat, lng).expect("Invalid coordinates");
let h3_index = latlng.to_cell(Resolution::Nine);
let h3_str = h3_index.to_string();
// Store the H3 index as a string
h3_cells.push(h3_str.clone());
// Increment count for this H3 cell
*h3_counts.entry(h3_str).or_insert(0) += 1;
} else {
h3_cells.push(String::new()); // Handle missing values
}
}
ولإنهاء هذه المعالجة البسيطة للبيانات، نُلحق العمود h3_index بإطار بياناتنا، ليمكن استخدامه لاحقًا عند توليد الخريطة بـ JavaScript.
// Add H3 cell indices to the dataframe
let h3_series = Series::new(PlSmallStr::from_str("h3_index"), &h3_cells);
let mut df_with_h3: DataFrame = df.clone();
df_with_h3.with_column(h3_series)?;
وبعد إعداد الفهرس، يمكننا ملء صفحة html بسيطة باستخدام leaflet.js وh3-js.umd.js لعرض مضلعاتنا على خريطة مدينة نيويورك.
أضفت أيضًا خريطة حرارية للتكرار، ليسهل رصد مواقع الإنزال الأكثر استخدامًا (المعلَّمة باللون الأحمر).
تُحوَّل تكرارات H3 إلى json وتُدرَج في كائن js تستخدمه الصفحة لاحقًا:
// Convert HashMap to a JSON object
let h3_frequency_json = h3_counts
.iter()
.map(|(h3, count)| format!("\"{}\":{}", h3, count))
.collect::<Vec<_>>()
.join(",\n ");
كما نجري بعض الحسابات الأساسية اللازمة للمفتاح التوضيحي، مثل أعلى قيمة تكرار عبر جميع مضلعات h3 المولَّدة:
let max_count = h3_counts.values().max().cloned().unwrap_or(1);
يكتب السكربت html المولَّد في ملف جديد، والنتيجة خريطة leaflet بسيطة في صفحة html، مع تلميحات أدوات (تُظهر التكرار) ومفتاح توضيحي يشرح ألوان الخريطة الحرارية.
تسريع الأمور
حتى الآن كل شيء جيد، وتقدم Pola.rs تجربة مطور رائعة، لكن يبدو أن الأمور يمكن أن تعمل أسرع قليلًا. فبالشيفرة كما هي، يستغرق التوليد كله نحو 5 دقائق (00:05:00.105). وبالنظر إلى أنه يعالج 5.4 GB من البيانات، يبقى ذلك مبهرًا، لكن هناك مجالًا للتحسين.
الخطوة الأولى هي إسقاط كل عمود لن نحتاجه في أبكر وقت ممكن، قبل أن نستدعي .collect() على إطار البيانات الكسول.
تأتي إطارات البيانات الكسولة في Polars مع بعض التحسينات المطبقة تلقائيًا. ومع ذلك، فإن التخلص من الأعمدة غير المستخدمة في أبكر وقت ممارسة جيدة دائمًا.
// Read each CSV file into a LazyFrame
for path in file_paths {
let lf = LazyCsvReader::new(path)
.with_has_header(true)
.with_try_parse_dates(false)
.with_low_memory(true)
.finish()?;
let lf_lat_lng = lf.select([
col("dropoff_latitude"),
col("dropoff_longitude"),
]);
lazy_frames.push(lf_lat_lng);
}
وقد وفّرت هذه الحيلة البسيطة نحو 16 ثانية، لينخفض إجمالي زمن تشغيل سكربتنا من البداية إلى النهاية إلى 00:04:43.905
ربما لاحظ القراء المنتبهون أن بنية union_args لدينا كان فيها الحقل parallel: false عندما دمجنا الإطارات الكسولة في كيان واحد. كان ذلك مقصودًا: فتحويل هذا العلَم إلى true يمنحنا تحسينًا إضافيًا بمقدار 19 ثانية، لأن محرك Polars يستطيع حينها استخدام عدة أنوية من جهازنا لهذه العملية.
UnionArgs مجرد مثال أساسي؛ فعند العمل مع Polars، ابحث عن عمليات أخرى يمكنها الاستفادة من التوازي وجعل شيفرتك أسرع بكثير، مثل:
1. .par_apply() on ChunkedArrays
let result = some_chunked_array.par_apply(|v| expensive_fn(v));
2. .with_streaming(true) on joins and groupbys
lazy_df
.join(other, ...)
.with_streaming(true)
3. CsvReader::with_n_threads(n) (Eager only)
let df = CsvReader::from_path("file.csv")?
.with_n_threads(4)
.finish()?;
بالنسبة لمعظم العمليات الداخلية مثل .groupby() و.join() و.agg() وغيرها، تعمل Polars بالتوازي افتراضيًا ما لم توقف ذلك صراحةً، لكن من المفيد دائمًا مراجعة الوثائق وتفعيل خيارات التوازي حيثما وُجدت.
وبتفعيل التوازي في معاملات union لدينا، ننخفض إلى 00:04:24.839
عندما تشغّل السكربت بنفسك، سترى سريعًا أن تحويل أزواج خطوط العرض/الطول إلى خلايا H3 يستهلك معظم الوقت. وذلك لأننا نمرّ على كل سجل في إطار البيانات بحلقة for عادية، ويمكن بالتأكيد تحسين ذلك.
إذا كانت لديك بعض الخبرة مع Polars، فربما تعرف هذا بالفعل – ففي الخلفية، تعتمد Polars على مكتبة توازي البيانات Rayon. وبدلًا من حلقة for عادية تعالج السجلات واحدًا تلو الآخر، يمكننا بسهولة استخدام Rayon لموازاة شيفرتنا وتسريعها بشكل ملحوظ.
Rayon تجريد عالي المستوى فوق الخيوط. فهي تشغّل حلقات for المتوازية وسلاسل map/filter/collect عبر عدة أنوية CPU. كما أنها آمنة جدًا وممتعة الاستخدام: لا إدارة يدوية للخيوط، ولا Mutex، ولا RwLock، ولا unsafe، ولا Pinning.
التعقيد الصغير في موازاة شيفرتنا أننا نحسب مرات ظهور كل خلية على الطريق. ولمعالجة ذلك، علينا تقسيم الحساب إلى خطوتين منفصلتين: خطوة تحوّل البيانات إلى خلايا وأخرى تحسب مرات الظهور.
// Combine into (index, lat, lng) tuples and process in parallel
let results: Vec<Option<String>> = (0..lat_vec.len())
.into_par_iter()
.map(|i| {
match (lat_vec.get(i), lng_vec.get(i)) {
(Some(lat), Some(lng)) => {
let latlng = LatLng::new(lat, lng).ok()?;
let h3_index = latlng.to_cell(Resolution::Nine);
Some(h3_index.to_string())
}
_ => None,
}
})
.collect();
ثم نحسب مرات الظهور ونجمع البيانات في h3_cells كما سبق:
let mut h3_cells:Vec<String> = Vec::with_capacity(results.len());
let mut h3_counts: HashMap<String, u32> = HashMap::new();
for maybe_h3 in results {
if let Some(h3_str) = maybe_h3 {
*h3_counts.entry(h3_str.clone()).or_insert(0) += 1;
h3_cells.push(h3_str);
} else {
h3_cells.push(String::new());
}
}
نحن الآن عند: الزمن المنقضي: 00:00:50.339، أي أسرع بـ 3 دقائق و24 ثانية من النتيجة السابقة وأسرع بـ 4 دقائق و10 ثوانٍ من نقطة بدايتنا.
أفكار أخيرة
أردت من خلال هذه المقالة أن أوضح أن:
- Pola.rs ممتعة ويمكن استخدامها كثيرًا مثل Pandas، لكن مع كتابة سكربتات Rust آمنة الأنواع وأسرع بكثير.
- أيًّا كانت مكتبة معالجة البيانات التي تختارها، فكّر في التحسينات الممكنة منذ البداية – فهي قد تجعل سكربتك أسرع بكثير وتكون أحيانًا ما يجعله يعمل أصلًا.
- يستحق h3 مزيدًا من الاستكشاف – فهو نظام فهرسة جغرافية مكانية قوي يجعل التعامل مع بيانات المواقع أنيقًا وفعالًا على نحو مدهش.