تقدير المشروع
← كل المقالات

خطواتي الأولى في عالم البيانات الجغرافية المكانية: PostGIS وJTS وما تعلمته

ملخص لأول لقاء لي بهذا المجال – رؤى ودروس ونصائح – مكتوب من وجهة نظر مهندس خلفية (backend) يتعامل مع ميزات جغرافية مكانية لأول مرة في مشروع حقيقي.

9 دقائق قراءة
الواجهة الخلفيةالبيانات الجغرافية المكانيةpostGISJTS

دعوني أبدأ بالقول إنني لا أنتمي إلى عالم نظم المعلومات الجغرافية (GIS). فأنا أبني يوميًا أنظمة مبنية على Scala وموجّهة نحو الخدمات المصغّرة، حيث ينصبّ اهتمامنا في الغالب على منطق الأعمال وواجهات API النظيفة والمعمارية الموزّعة. كانت البيانات الجغرافية المكانية أرضًا مجهولة بالنسبة لي – ويلخّص هذا المقال أول لقاء لي بها – رؤى ودروس ونصائح – مكتوبة من وجهة نظر مهندس خلفية يتعامل مع ميزات جغرافية مكانية لأول مرة في مشروع حقيقي.

احتجنا إلى منطق جغرافي مكاني من أجل معالجة مسارات الشحنات وعرضها وتحليلها استنادًا إلى بيانات قادمة من السفن والشاحنات وأجهزة إنترنت الأشياء (IoT) ومصادر أخرى. وقد أثبتت أداتان فائدتهما بصورة خاصة:

  • PostGIS – امتداد مكاني لـ PostgreSQL يضيف دعمًا للكائنات الجغرافية – يتيح لك تخزين البيانات المبنية على الموقع والاستعلام عنها ومعالجتها مباشرةً داخل قاعدة البيانات.
  • JTS Topology Suite – مكتبة Java لنمذجة الهندسة الخطية ثنائية الأبعاد ومعالجتها.

تعمل الأداتان معًا بصورة جيدة. فـ PostGIS يتعامل بكفاءة مع الأحجام الكبيرة من البيانات المكانية الدائمة، بينما يمنحك JTS تحكمًا ومرونة أكبر للمنطق المعقد في طبقة التطبيق – مثل قواعد العمل ذات الخطوات الشرطية المتعددة، أو تحويلات الأشكال الهندسية المؤقتة، أو الحالات التي يعتمد فيها الأداء على تجنب استدعاءات قاعدة البيانات المتكررة.

بيانات مكانية نموذجية تُظهر مسار شحنة بين ميناءي روتردام في هولندا وهيوستن في الولايات المتحدة.

فيما يلي بعض الرؤى والدروس التي اكتسبتها أثناء العمل مع الإحداثيات والاستعلامات الجغرافية المكانية:

1. إدخال PostGIS في الواجهة الخلفية

بما أن PostGIS امتداد لـ PostgreSQL، فإن العمل معه يشبه تمامًا تشغيل SQL عادي. وعلى جانب الواجهة الخلفية، تتمثل المهمة الرئيسية في التعامل مع الأنواع المكانية في شيفرة تطبيقك.

لاستخدام أنواع PostGIS مثل geography(Point, 4326)، عليك التحويل بين نموذج تطبيقك والصيغة المكانية التي تتوقعها قاعدة البيانات. ويكتسب ذلك أهمية خاصة عند استيعاب البيانات من مصادر مثل واجهات JSON API – إذ تحلّل الإحداثيات الخام إلى نموذج المجال لديك ثم تدرجها أو تستعلم عنها باستخدام دوال PostGIS مثل:

ST_SetSRID(ST_MakePoint(longitude, latitude), 4326)

في حالتي استخدمتُ Doobie، وهي طبقة JDBC وظيفية لـ Scala. وهي تتيح لك كتابة SQL خام وتحديد كيفية انتقال الأنواع المكانية بين قاعدة البيانات والتطبيق عبر الربط الضمني (باستخدام تعريف postgis-jdbc).

2. الفهارس المكانية

لاستخدام PostGIS بفعالية، من المفيد أن تفهم أولًا لماذا يتعامل مع الاستعلامات المكانية بهذه الكفاءة – وتبدأ القصة مع الفهرسة المكانية. فأساليب الفهرسة التقليدية مثل B-tree تقصّر في العمليات المكانية. ويبني PostGIS على أنواع الفهارس الأصلية في PostgreSQL لدعم العمليات على البيانات المكانية، وهذه من أقوى ميزاته.

يعتمد PostGIS أساسًا على فهارس GiST (Generalized Search Tree) التي ترتّب البيانات في تسلسل هرمي استنادًا إلى المستطيلات المحيطة بالأشكال الهندسية. وهذا يتيح لقاعدة البيانات استبعاد السجلات غير ذات الصلة بسرعة باختبار تقاطع المستطيلات المحيطة قبل إجراء حسابات هندسية أدق. ولفهرسة البيانات المكانية يستخدم PostGIS فهرس R-Tree مبنيًا فوق GiST. وتقسّم أشجار R-Tree البيانات إلى مستطيلات ومستطيلات فرعية ومستطيلات فرعية للفرعية.

صورة المقال 02

التسلسل الهرمي لـ R-Tree، (المصدر).

يشبه SP-GiST (Space-Partitioned Generalized Search Tree) فهرس GiST إلى حد كبير لكنه مضبوط خصيصًا للتقسيم المكاني – أي للبيانات التي لا تتداخل ويمكن تقسيمها بوضوح إلى فضاءات منفصلة.

ومن الفهارس الجديرة بالذكر أيضًا BRIN (Block Range Index)، وهو أسرع في البناء وأصغر بكثير، لكنه يناسب أنواعًا معينة فقط من البيانات – المرتبة مكانيًا والتي نادرًا ما تُحدَّث أو لا تُحدَّث أبدًا (مثل سجلات GPS ذات الطوابع الزمنية).

وللمزيد عن الفهارس المكانية، أقترح الاطلاع على توثيق PostGIS نفسه.

3. PostGIS يحوّل العمليات المعقدة إلى بسيطة

يخفي PostGIS تعقيد الحسابات المكانية خلف SQL موجز. لننظر في حالة عملية: استبعاد مسارات السفن التي تمر عبر منطقة محظورة. ومن السيناريوهات الواقعية إغلاق قناة السويس، الذي سيقطع الوصول إليها فجأة.

بافتراض عمود PostGIS من النوع geography(LineString, 4326) يحتوي على مواقع السفن:

CREATE TABLE trajectories(
   id uuid PRIMARY KEY,
   positions geography(LineString, 4326) NOT NULL
)

يتيح لنا PostGIS التعبير عن هذا المتطلب في استعلام SQL واحد مقروء، دون أي حلقات معقدة أو حسابات هندسية في شيفرة التطبيق:

SELECT * FROM trajectories
WHERE NOT ST_Intersects(
positions, 
ST_MakeEnvelope(32.1, 30.01, 32.66, 31.03, 4326)::geography
);

الصندوق الجغرافي المحيط [32.1, 30.01, 32.66, 31.03] المستخدم لتمثيل منطقة قناة السويس بصورة مبسّطة.

وهناك حالة واقعية أخرى هي تصفية المسارات بحسب بُعدها عن موقع معين – مثل العثور على السفن القريبة من ميناء (معطى بإحداثيات تقريبية لخطي الطول والعرض) لإطلاق التنبيهات:

SELECT * FROM trajectories WHERE ST_Distance(
positions,
ST_SetSRID(ST_MakePoint(18.698, 54.401), 4326)::geography
) <= 100000; -- 100km

4. حسابات JTS في الذاكرة لها مكانها أيضًا

أحيانًا يكون الحساب في الذاكرة هو الخيار الصحيح، حتى مع البيانات واسعة النطاق. وهذا مثال واقعي: كان علينا التحقق تقريبيًا من ما إذا كانت مسارات السفن تصطدم بيابسة الأرض، لكي نتمكن من وسم المسارات الخاطئة لأغراض التحليل. كان الحجم كبيرًا، وكان على التحقق أن يلتقط فقط الاصطدامات الخطيرة فعلًا (متجاهلًا الاصطدامات «الصغيرة» الناتجة عن انقطاع الإشارة لبضع دقائق)، وكان عليه أن يعمل عند كل طلب.

كانت خطتنا الأولية كالتالي:

  1. استيراد خريطة مفتوحة المصدر لسواحل الأرض إلى PostGIS. اخترنا بيانات NaturalEarth – المزيد عنها لاحقًا في المقال
  2. استخدام ST_Buffer وST_Simplify لتقليص الأشكال الهندسية وتنظيفها – لتعزيز الأداء وتقليل الضوضاء.
  3. إضافة فحوص على مستوى SQL باستخدام ST_Intersects

أمثلة مقرّبة على خريطة سواحل الأرض المبسطة بشدة حول عدة موانئ بحرية رئيسية.

لكن بعد هذه العمليات، لم يتجاوز حجم خريطة السواحل بصيغة WKB (Well-Known-Binary) 175KB. وبما أن واجهة API هذه تُستخدم بكثافة نسبيًا، وكانت نسخ PostgreSQL المستضافة على Azure لدينا مقيّدة في كثير من الأحيان في بعض العمليات، خلصنا إلى أن بإمكاننا تحميل الخريطة بأكملها في JVM عند بدء التشغيل وإجراء الفحوص في الذاكرة بمكتبة JTS.

private val CoastlinesPolygonsFilePath = "/coastlines_polygons.wkb"

private val coastlinesJTSSpatialIndex: jts.index.STRtree = {
 val inputStream = getClass.getResourceAsStream(CoastlinesPolygonsFilePath)
 if (inputStream == null) throw new FileNotFoundException(CoastlinesPolygonsFilePath)

 val index = new jts.index.STRtree()
 val reader = new jts.io.WKBReader()

 Using.resource(Source.fromInputStream(inputStream)) { source =>
   source.getLines().foreach { wkbHex =>
     val wkbBytes = jts.io.WKBReader.hexToBytes(wkbHex)
     val geometry = reader.read(wkbBytes)
     index.insert(geometry.getEnvelopeInternal, geometry)
   }
 }

 index.build()
 index
}

def isTrajectoryColliding(trajectory: jts.geom.LineString): Boolean =
   coastlinesJTSSpatialIndex
       .query(trajectory.getEnvelopeInternal)
       .asInstanceOf[java.util.List[Geometry]]
       .asScala
       .exists(coastlines => coastlines.intersects(trajectory))

5. انتبه إلى نظام الإحداثيات – SRID

يربط PostGIS الأشكال الهندسية بـ SRID (معرّفات نظام الإسناد المكاني)، مثل 4326 لإحداثيات GPS القياسية، وتعتمد دواله المكانية عليه. أما JTS، في المقابل، فيرى الأشكال الهندسية كنقاط X/Y بسيطة دون أي مفهوم لنظام الإحداثيات. وبمجرد أن يمر شكل هندسي عبر JTS تضيع معلومات SRID ما لم تتولَّ أنت أمرها.

تعلمتُ بالطريقة الصعبة أنك إذا غيّرت شكلًا هندسيًا في JTS وكتبته مجددًا إلى PostGIS دون استعادة SRID، فقد تعيد عمليات مثل ST_Distance وST_Intersects وST_Area نتائج خاطئة. لذا اضبط SRID صراحةً من جديد دائمًا قبل إعادة تخزين الأشكال الهندسية في PostGIS، مثلًا:

SELECT ST_SetSRID(geometry, 4326)

6. خط الطول 180 معبر شائك

فاجأني هذا الأمر. فالشكل الهندسي الذي يعبر خط الطول 180 (المسمى antimeridian) قد يتصرف بغرابة. فبعض الدوال تتعامل معه بصورة سيئة، وحتى الأشكال الهندسية الصالحة قد تصبح «غير صالحة» في نظر PostGIS / JTS.
وهكذا يبدو مسار نموذجي يعبر خط الطول 180 عند إسقاطه بصيغة GeoJSON:

مسار سفينة من طوكيو في اليابان إلى لوس أنجلوس في الولايات المتحدة.

يبدو هنا أن المسار يمتد عبر الكرة الأرضية بأكملها. وهذه مشكلة معروفة في عالم GIS. فبشكل افتراضي تمتد خطوط الطول من -180° إلى +180°، ويمثل خط الطول 180 النقطة التي تلتقي عندها. وللأسف، تعامل كثير من محركات الأشكال الهندسية – ومنها PostGIS وJTS – تلك الحدود كحافة صلبة بدلًا من السماح للقيم بالالتفاف.

القفزة من +180° إلى -180°.

الحل الذي اعتمدناه لهذه الحالة هو تطبيع خطوط الطول إلى النطاق 0°-360° قبل أي معالجة. وتستطيع طرق PostGIS أو JTS المضمّنة فعل ذلك (مثل ST_ShiftLongitude)، وهو يعمل جيدًا لمعظم المعالجة الداخلية.

أما الحل الذي توصي به مواصفة GeoJSON لمثل هذه الحالات، فهو: A geometry crossing the antimeridian SHOULD be represented by splitting it into two parts, neither of which crosses the antimeridian in its representation.

وهذا يتيح، مثلًا، لخريطة في واجهتك الأمامية أن ترسم شكلين هندسيين صالحين بدلًا من شكل واحد غير صالح.

7. لا يوجد ترتيب قياسي للإحداثيات

ومن الأمور الأخرى التي فاجأتني غياب ترتيب متفق عليه عالميًا للإحداثيات (العرض/الطول أو الطول/العرض). فعندما تعيد واجهة API الإحداثيات كمصفوفة خام مثل [[10, 0], [15, 0]]، لا يمكنك أن تعرف فورًا ما إذا كانت [long, lat] أم [lat, long] ما لم يُذكر ذلك صراحةً.

وهذه بضعة أمثلة أخرى:

  • يحفظ PostGIS الأشكال الهندسية في قاعدة البيانات بصيغة WKB (Well-Known-Binary) أو WKT (Well-Known-Text)، متّبعًا اصطلاح الطول/العرض
  • يتوقع Google Maps الإحداثيات للبحث بترتيب العرض/الطول
  • تعمل مكتبة JTS على مستوى ديكارتي باستخدام نموذج Coordinate(x, y)، وتعامل x على أنه الأفقي (خط الطول) وy على أنه العمودي (خط العرض)

وإذا صادف أنك حمّلت البيانات إلى PostGIS بترتيب العرض/الطول، فما زال بإمكانك تبديلها بسهولة بالدالة ST_FlipCoordinates. وفي كل الأحوال، تحقق دائمًا من ترتيب الإحداثيات في بياناتك، وإلا فقد تأخذك إلى منتصف الطريق حول العالم. حرفيًا.

8. بيانات Natural Earth وOpen Street Map

يغطي مصدران رائعان مفتوحا المصدر معظم البيانات الجغرافية المكانية الأساسية الجيدة الجودة التي ستحتاجها – Natural Earth وOpenStreetMap (OSM).

OpenStreetMap مشروع عالمي ضخم ومشهور بخرائط عالية التفصيل، لكن ما كنت أحتاجه هو بيانات ترسم بصورة تقريبية حدود الدول والسواحل. ولهذا الغرض تفوّق Natural Earth بأشكاله الهندسية النظيفة المبسّطة مسبقًا. فمجموعات بياناته خفيفة وسهلة الاستيراد إلى PostGIS، وللاستعلامات المكانية والتراكبات على النطاق العالمي هي ببساطة تعمل.

9. امتدادات IntelliJ لعرض الأشكال الجغرافية

لإلقاء نظرة مرئية سريعة على أشكالك الجغرافية، يمكنك تصدير بيانات PostGIS بصيغة GeoJson ولصقها في geojson.io. لكن بصفتي مطور Scala، أقضي معظم وقتي في IntelliJ وأفضّل ألّا أغادر بيئة التطوير ما أمكن. ولذلك يمكنك استخدام:

  • GeoViewer المدمج في IntelliJ – يعمل فورًا، لكنه يتطلب ترخيص IntelliJ Ultimate. وعند استخدام مكوّن قاعدة البيانات الإضافي، يمكنك النقر على Show Geo Viewer في نتيجة استعلام PostGIS. ومن اللمسات الجميلة الاختيار الواسع لخلفيات الخرائط (يستخدم المثال أدناه Esri.WorldPhysical).

GeoViewer المدمج في IntelliJ.

  • GeoJSON Editor – مكوّن إضافي لـ IntelliJ يدعم بالكامل الملفات ذات الامتداد .geo.json. وهو مفيد عندما يحتوي مستودعك على مثل هذه الملفات، مثلًا لحفظ لقطات من نتائج اختبارات جغرافية مكانية محددة وملفات readme وغيرها، أو عندما تصدّر بيانات من PostGIS بصيغة GeoJSON لتحتفظ بها لاحقًا.

GeoJSON Editor في IntelliJ.

والمثير للاهتمام بصفة خاصة أن محرر GeoJSON يتيح لك تعديل الأشكال الجغرافية – إضافة أشكال بسيطة أو تغيير مسار – ويكتب النتيجة إلى الملف في الوقت الفعلي. وهذا مفيد جدًا لبناء حالات اختبار محددة.

GeoJSON Editor في وضع التحرير.

الخلاصة

بقدومي من خارج عالم GIS، وجدتُ لقائي الأول بالبيانات الجغرافية المكانية ممتعًا على نحو مفاجئ. فقد جعلني PostGIS وJTS أشعر بأن بناء الميزات مباشرةً في الواجهة الخلفية أمر طبيعي، من فحوص المسافة البسيطة إلى التعامل مع عبور خط الطول 180 واصطدامات السواحل. آمل أن يكون هذا المقال مفيدًا لك – سواء كنت في بداية طريقك مع البيانات المكانية أو تجرّب معها بالفعل في عملك.