Գնահատել նախագիծը
← Բոլոր հրապարակումները

Իմ առաջին քայլերը գեոտարածական աշխարհում. PostGIS, JTS և ինչ սովորեցի

Ոլորտի հետ իմ առաջին հանդիպման ամփոփում՝ դիտարկումներ, դասեր և խորհուրդներ, գրված իրական նախագծում գեոտարածական ֆունկցիաների հետ առաջին անգամ աշխատող backend ինժեների տեսանկյունից։

9 րոպե
backendգեոտարածականpostGISJTS

Սկսեմ նրանից, որ ես GIS աշխարհից չեմ։ Օրեցօր ես կառուցում եմ Scala-ի վրա հիմնված, միկրոսերվիսային կողմնորոշման համակարգեր, որտեղ մեզ հիմնականում մտահոգում են բիզնես տրամաբանությունը, մաքուր API-ները և բաշխված ճարտարապետությունը։ Գեոտարածական տվյալները ինձ համար անծանոթ տարածք էին, և այս հոդվածը ամփոփում է դրա հետ իմ առաջին հանդիպումը՝ դիտարկումներ, դասեր և խորհուրդներ, գրված իրական նախագծում գեոտարածական ֆունկցիաների հետ առաջին անգամ աշխատող backend ինժեների տեսանկյունից։

Մեզ գեոտարածական տրամաբանություն էր պետք՝ նավերից, բեռնատարներից, IoT սարքերից և այլ աղբյուրներից եկող տվյալների հիման վրա բեռների երթուղիները մշակելու, ցուցադրելու և վերլուծելու համար։ Երկու գործիք հատկապես օգտակար գտնվեցին.

  • PostGIS – PostgreSQL-ի տարածական ընդլայնում, որը ավելացնում է աջակցություն աշխարհագրական օբյեկտների համար. թույլ է տալիս պահել, հարցումներ անել և մշակել տեղադրության վրա հիմնված տվյալներ ուղիղ տվյալների բազայում։
  • JTS Topology Suite – Java գրադարան 2D գծային երկրաչափության մոդելավորման և մշակման համար։

Երկու գործիքները լավ են աշխատում միասին։ PostGIS-ը արդյունավետորեն աշխատում է մշտական տարածական տվյալների մեծ ծավալների հետ, մինչդեռ JTS-ը ավելի շատ վերահսկողություն և ճկունություն է տալիս հավելվածի շերտում բարդ տրամաբանության համար. օրինակ՝ մի քանի պայմանական քայլերով բիզնես կանոններ, երկրաչափության ժամանակավոր փոխակերպումներ կամ դեպքեր, երբ արդյունավետությունը կախված է տվյալների բազայի կրկնվող կանչերից խուսափելուց։

Տարածական տվյալների նմուշ, որը ցույց է տալիս բեռի երթուղին Ռոտերդամի (Նիդեռլանդներ) և Հյուսթոնի (ԱՄՆ) նավահանգիստների միջև։

Ստորև ներկայացնում եմ մի քանի դիտարկում և դաս, որ քաղեցի կոորդինատների և գեոտարածական հարցումների հետ աշխատելիս.

1. PostGIS-ը backend-ի մեջ բերելը

Քանի որ PostGIS-ը PostgreSQL-ի ընդլայնում է, դրա հետ աշխատելը նման է սովորական SQL աշխատեցնելուն։ Backend-ի կողմից հիմնական խնդիրը հավելվածի կոդում տարածական տիպերի հետ գործ ունենալն է։

PostGIS-ի տիպերը, օրինակ geography(Point, 4326)-ը, օգտագործելու համար պետք է փոխակերպել հավելվածի մոդելի և տվյալների բազայի սպասած տարածական ձևաչափի միջև։ Սա հատկապես կարևոր է այնպիսի աղբյուրներից տվյալներ ընդունելիս, ինչպիսիք են JSON API-ները. դուք վերլուծում եք հում կոորդինատները ձեր դոմենային մոդելի մեջ, ապա տեղադրում կամ հարցում եք անում դրանք PostGIS-ի ֆունկցիաներով, ինչպիսին է.

ST_SetSRID(ST_MakePoint(longitude, latitude), 4326)

Իմ դեպքում ես օգտագործել եմ Doobie-ն՝ Scala-ի ֆունկցիոնալ JDBC շերտը։ Այն թույլ է տալիս գրել հում SQL և իմպլիսիտ մապինգի միջոցով նշել, թե ինչպես են տարածական տիպերը շարժվում տվյալների բազայի և հավելվածի միջև (postgis-jdbc դրայվերի օգտագործմամբ)։

2. Տարածական ինդեքսներ

PostGIS-ը արդյունավետ օգտագործելու համար օգտակար է նախ հասկանալ, թե ինչու է այն այդքան լավ կատարում տարածական հարցումները, և այդ պատմությունը սկսվում է տարածական ինդեքսավորումից։ Սովորական ինդեքսավորման մոտեցումները, ինչպիսին B-tree-ն է, անբավարար են տարածական գործողությունների համար։ PostGIS-ը հիմնվում է PostgreSQL-ի բնիկ ինդեքսային տիպերի վրա՝ տարածական տվյալների վրա գործողություններ աջակցելու համար, ինչը նրա ամենաուժեղ կողմերից մեկն է։

PostGIS-ը հիմնականում հենվում է GiST (Generalized Search Tree) ինդեքսների վրա, որոնք տվյալները դասավորում են հիերարխիայով՝ հիմնվելով երկրաչափությունների սահմանային տուփերի (bounding box) վրա։ Սա թույլ է տալիս տվյալների բազային արագ դեն նետել անտեղի գրառումները՝ ստուգելով սահմանային տուփերի հատումները, նախքան ավելի ճշգրիտ երկրաչափական հաշվարկներ կատարելը։ Տարածական տվյալները ինդեքսավորելու համար PostGIS-ը օգտագործում է R-Tree ինդեքս՝ կառուցված GiST-ի վրա։ R-Tree-ները տվյալները բաժանում են ուղղանկյունների, ենթաուղղանկյունների և ենթաենթաուղղանկյունների։

Blog%20post%20pic%2002

R-Tree հիերարխիան, (աղբյուր)։

SP-GiST (Space-Partitioned Generalized Search Tree)-ը շատ նման է GiST-ին, բայց հատուկ հարմարեցված է տարածական բաժանման համար, այսինքն՝ այն տվյալների համար, որոնք չեն համընկնում և կարող են մաքուր բաժանվել առանձին տարածքների։

Մեկ այլ նշանակալի ինդեքս է BRIN (Block Range Index)-ը, որն էլ ավելի արագ է կառուցվում և շատ ավելի փոքր է, բայց հարմար է միայն տվյալների որոշակի տեսակների համար՝ տարածականորեն դասավորված և հազվադեպ կամ երբեք չթարմացվող (օր.՝ ժամանակային դրոշմակնիքով GPS գրանցամատյաններ)։

Տարածական ինդեքսների մասին ավելին իմանալու համար խորհուրդ եմ տալիս հենց PostGIS-ի փաստաթղթերը։

3. PostGIS-ը բարդ գործողությունները դարձնում է պարզ

PostGIS-ը թաքցնում է տարածական հաշվարկի բարդությունը կոմպակտ SQL-ի հետևում։ Դիտարկենք գործնական դեպք. սահմանափակված տարածքով անցնող նավերի երթուղիների բացառումը։ Իրական սցենար կարող է լինել Սուեզի ջրանցքի փակումը, որը հանկարծակի կկտրեր դրան հասանելիությունը։

Ունենալով PostGIS-ի geography(LineString, 4326) սյունակ՝ նավերի դիրքերով.

CREATE TABLE trajectories(
   id uuid PRIMARY KEY,
   positions geography(LineString, 4326) NOT NULL
)

PostGIS-ը թույլ է տալիս այս պահանջը արտահայտել մեկ ընթեռնելի SQL հարցմամբ, առանց հավելվածի կոդում բարդ ցիկլերի կամ երկրաչափական հաշվարկների.

SELECT * FROM trajectories
WHERE NOT ST_Intersects(
positions, 
ST_MakeEnvelope(32.1, 30.01, 32.66, 31.03, 4326)::geography
);

[32.1, 30.01, 32.66, 31.03] գեոսահմանային տուփը, որն օգտագործվում է Սուեզի ջրանցքի պարզեցված տարածքը ներկայացնելու համար։

Մեկ այլ իրական դեպք է երթուղիները տրված դիրքից ունեցած հեռավորությամբ զտելը, օրինակ՝ նավահանգստին մոտ նավեր գտնելը (տրված որպես մոտավոր աշխարհագրական երկայնության/լայնության կոորդինատներ)՝ ահազանգեր բարձրացնելու համար.

SELECT * FROM trajectories WHERE ST_Distance(
positions,
ST_SetSRID(ST_MakePoint(18.698, 54.401), 4326)::geography
) <= 100000; -- 100km

4. Հիշողության մեջ JTS հաշվարկները նույնպես իրենց տեղն ունեն

Երբեմն հիշողության մեջ հաշվարկելը ճիշտ ընտրություն է՝ նույնիսկ մեծածավալ տվյալների դեպքում։ Ահա իրական օրինակ. մենք պետք է մոտավորապես ստուգեինք՝ արդյոք նավերի երթուղիները հատում են երկրի ցամաքը, որպեսզի սխալ երթուղիները կարողանանք նշել վերլուծական նպատակներով։ Ծավալը զգալի էր, վալիդացիան պետք է բռներ միայն իրոք լուրջ բախումները (անտեսելով «փոքր» բախումները, որոնք առաջանում են ազդանշանի մի քանի րոպեով կորստից), և այն պետք է աշխատեր յուրաքանչյուր հարցման ժամանակ։

Մեր սկզբնական պլանն էր.

  1. PostGIS-ի մեջ ներմուծել երկրի ափագծերի բաց կոդով քարտեզ։ Մենք ընտրեցինք NaturalEarth-ի տվյալները. դրանց մասին ավելի ուշ հոդվածում
  2. Օգտագործել ST_Buffer-ը և ST_Simplify-ը երկրաչափությունները փոքրացնելու և կոկելու համար՝ բարձրացնելով արդյունավետությունը և նվազեցնելով աղմուկը։
  3. Ավելացնել ստուգումներ SQL մակարդակում ST_Intersects-ով

Խիստ պարզեցված երկրի ափագծերի քարտեզի մոտիկ օրինակներ մի քանի խոշոր ծովային նավահանգիստների շրջակայքում։

Այս գործողություններից հետո, սակայն, ափագծերի քարտեզը WKB (Well-Known-Binary) ձևաչափով կշռում էր ընդամենը 175KB։ Քանի որ այս API-ն բավական ինտենսիվ է օգտագործվում, և մեր Azure-ում հոսթվող PostgreSQL ինստանսները հաճախ սահմանափակված էին որոշ գործողություններում, եզրակացրինք, որ կարող ենք թույլ տալ ողջ քարտեզը բեռնել JVM-ի մեջ գործարկման ժամանակ և ստուգումները կատարել հիշողության մեջ JTS գրադարանով։

private val CoastlinesPolygonsFilePath = "/coastlines_polygons.wkb"

private val coastlinesJTSSpatialIndex: jts.index.STRtree = {
 val inputStream = getClass.getResourceAsStream(CoastlinesPolygonsFilePath)
 if (inputStream == null) throw new FileNotFoundException(CoastlinesPolygonsFilePath)

 val index = new jts.index.STRtree()
 val reader = new jts.io.WKBReader()

 Using.resource(Source.fromInputStream(inputStream)) { source =>
   source.getLines().foreach { wkbHex =>
     val wkbBytes = jts.io.WKBReader.hexToBytes(wkbHex)
     val geometry = reader.read(wkbBytes)
     index.insert(geometry.getEnvelopeInternal, geometry)
   }
 }

 index.build()
 index
}

def isTrajectoryColliding(trajectory: jts.geom.LineString): Boolean =
   coastlinesJTSSpatialIndex
       .query(trajectory.getEnvelopeInternal)
       .asInstanceOf[java.util.List[Geometry]]
       .asScala
       .exists(coastlines => coastlines.intersects(trajectory))

5. Ուշադիր եղեք կոորդինատային համակարգի հետ. SRID

PostGIS-ը երկրաչափությունները կապում է SRID-ի (Spatial Reference System Identifiers), օրինակ ստանդարտ GPS կոորդինատների համար 4326-ի հետ, և դրա տարածական ֆունկցիաները կախված են դրանից։ JTS-ը, ընդհակառակը, երկրաչափությունները տեսնում է որպես պարզ X/Y կետեր՝ առանց կոորդինատային համակարգի գաղափարի։ Հենց երկրաչափությունն անցնում է JTS-ի միջով, SRID-ի տեղեկատվությունը կորչում է, եթե դուք ինքներդ դրա մասին չեք հոգում։

Դժվար ճանապարհով իմացա, որ եթե JTS-ում փոխում եք երկրաչափությունը և այն գրում եք հետ PostGIS-ի մեջ առանց SRID-ը վերականգնելու, ST_Distance, ST_Intersects կամ ST_Area նման գործողությունները կարող են սխալ արդյունքներ վերադարձնել։ Ուստի միշտ բացահայտ կերպով նորից սահմանեք SRID-ը, նախքան երկրաչափությունները PostGIS-ում հետ պահելը, օրինակ.

SELECT ST_SetSRID(geometry, 4326)

6. 180-րդ միջօրեականը բարդ հատում է

Սա ինձ անսպասելի բռնեց։ 180-րդ միջօրեականը (կոչվում է antimeridian) հատող երկրաչափությունը կարող է տարօրինակ վարվել։ Որոշ ֆունկցիաներ վատ են հաղթահարում դա, և նույնիսկ վավեր երկրաչափությունները կարող են PostGIS-ի / JTS-ի աչքին «անվավեր» դառնալ։
Ահա, թե ինչպես է երևում 180-րդ միջօրեականը հատող նմուշային երթուղին GeoJSON ձևաչափով պրոյեկցիայի դեպքում.

Նավի երթուղի Տոկիոյից (Ճապոնիա) Լոս Անջելես (ԱՄՆ)։

Այստեղ երթուղին թվում է, թե ձգվում է ամբողջ գլոբուսով մեկ։ Սա GIS աշխարհում հայտնի խնդիր է։ Լռելյայն երկայնությունները գնում են -180°-ից մինչև +180°, և 180-րդ միջօրեականը նշում է այն կետը, որտեղ դրանք հանդիպում են։ Ցավոք, շատ երկրաչափական շարժիչներ՝ ներառյալ PostGIS-ը և JTS-ը, այդ սահմանը դիտարկում են որպես կոշտ եզր՝ արժեքներին թույլ տալու փոխարեն շրջանցել այն։

Թռիչքը +180°-ից -180°։

Այս դեպքի համար մեր լուծումը երկայնությունները 0°-360° միջակայքի նորմալացնելն է ցանկացած մշակումից առաջ։ Ներկառուցված PostGIS-ի կամ JTS-ի մեթոդները կարող են դա անել (օր.՝ ST_ShiftLongitude), և դա լավ է աշխատում ներքին մշակման մեծ մասի համար։

Մյուս կողմից, GeoJSON սպեցիֆիկացիայի առաջարկած լուծումը նման դեպքերի համար հետևյալն է. A geometry crossing the antimeridian SHOULD be represented by splitting it into two parts, neither of which crosses the antimeridian in its representation.

Սա թույլ է տալիս, օրինակ, ձեր frontend-ի քարտեզին նկարել երկու վավեր երկրաչափություն՝ մեկ անվավերի փոխարեն։

7. Կոորդինատների ստանդարտ կարգ չկա

Մեկ այլ բան, որ զարմացրեց ինձ, կոորդինատների համընդհանուր համաձայնեցված կարգի (լայնություն/երկայնություն կամ երկայնություն/լայնություն) բացակայությունն է։ Երբ API-ն կոորդինատները վերադարձնում է որպես հում զանգված, օրինակ՝ [[10, 0], [15, 0]], չեք կարող անմիջապես ասել՝ դա [long, lat] է, թե [lat, long], եթե դա բացահայտ նշված չէ։

Մի քանի այլ օրինակ.

  • PostGIS-ը տվյալների բազայում երկրաչափությունը պահում է WKB (Well-Known-Binary) կամ WKT (Well-Known-Text) ձևաչափով՝ հետևելով long/lat կանոնին
  • Google Maps-ը որոնման համար կոորդինատներ է ակնկալում lat/long կարգով
  • JTS գրադարանը գործում է դեկարտյան հարթության վրա՝ Coordinate(x, y) մոդելով, x-ը դիտարկելով որպես հորիզոնական (երկայնություն) և y-ը՝ որպես ուղղահայաց (լայնություն)

Եթե պատահաբար տվյալները PostGIS բեռնել եք lat/long կարգով, դեռ կարող եք հեշտությամբ փոխել դրանք ST_FlipCoordinates ֆունկցիայով։ Ամեն դեպքում, միշտ ստուգեք ձեր տվյալների կոորդինատների կարգը, այլապես կարող է ձեզ աշխարհի կեսն անցկացնել։ Բառացիորեն։

8. Natural Earth և Open Street Map տվյալներ

Երկու հիանալի բաց կոդով ռեսուրս ընդգրկում են ձեզ անհրաժեշտ հիմնական, բարձր որակի գեոտարածական տվյալների մեծ մասը՝ Natural Earth և OpenStreetMap (OSM)։

OpenStreetMap-ը հայտնի, հսկայական գլոբալ նախագիծ է խիստ մանրամասն քարտեզներով, բայց ինձ պետք էին տվյալներ, որոնք մոտավորապես ուրվագծում են երկրների սահմաններն ու ափագծերը։ Դրա համար Natural Earth-ը իր մաքուր, նախապես պարզեցված երկրաչափություններով առաջինը եղավ։ Նրա տվյալների հավաքածուները թեթև են և հեշտ ներմուծվում են PostGIS, և գլոբալ մասշտաբի տարածական հարցումների ու վերադրումների համար դրանք պարզապես աշխատում են։

9. IntelliJ ընդլայնումներ աշխարհագրությունները դիտելու համար

Ձեր աշխարհագրությունների վրա արագ տեսողական հայացք գցելու համար կարող եք PostGIS-ի տվյալները արտահանել GeoJson ձևաչափով և տեղադրել geojson.io-ում։ Սակայն որպես Scala ծրագրավորող՝ ես իմ ժամանակի մեծ մասն անցկացնում եմ IntelliJ-ում և նախընտրում եմ IDE-ից դուրս չգալ, երբ կարող եմ խուսափել։ Դրա համար կարող եք օգտագործել.

  • IntelliJ-ի ներկառուցված GeoViewer-ը – աշխատում է անմիջապես, բայց պահանջում է IntelliJ Ultimate լիցենզիա։ Տվյալների բազայի plugin-ն օգտագործելիս կարող եք PostGIS հարցման արդյունքի վրա սեղմել Show Geo Viewer։ Հաճելի մանրուք է քարտեզի ֆոնների լայն ընտրությունը (ստորև օրինակում օգտագործված է Esri.WorldPhysical)։

IntelliJ-ում ներկառուցված GeoViewer-ը։

  • GeoJSON Editor – IntelliJ-ի plugin, որը լիովին աջակցում է .geo.json ընդլայնմամբ ֆայլերին։ Այն օգտակար է, երբ ձեր պահոցը պարունակում է նման ֆայլեր, օր.՝ որոշակի գեոտարածական թեստային արդյունքների սնեփշոթներ, readme-ներ և այլն պահելու համար, կամ երբ PostGIS-ից տվյալներ եք արտահանում GeoJSON ձևաչափով՝ հետագայի համար պահելու նպատակով։

GeoJSON Editor-ը IntelliJ-ում։

Հատկապես հետաքրքիրն այն է, որ GeoJSON editor-ը թույլ է տալիս խմբագրել աշխարհագրությունները՝ ավելացնել պարզ ձևեր կամ փոխել երթուղին, և արդյունքը իրական ժամանակում գրում է ֆայլի մեջ։ Սա շատ հարմար է կոնկրետ թեստային դեպքեր կառուցելու համար։

GeoJSON Editor-ը խմբագրման ռեժիմում։

Ամփոփում

GIS աշխարհից դուրս գալով՝ գտա, որ գեոտարածական տվյալների հետ իմ առաջին հանդիպումը զարմանալիորեն հաճելի էր։ PostGIS-ը և JTS-ը ֆունկցիաները հենց backend-ում կառուցելը դարձրին բնական՝ հեռավորության պարզ ստուգումներից մինչև antimeridian հատումների և ափագծերի բախումների հետ գործ ունենալը։ Հուսով եմ, այս հոդվածը օգտակար էր ձեզ համար՝ անկախ նրանից՝ նոր եք սկսում տարածական տվյալների հետ, թե արդեն փորձարկում եք դրանք աշխատանքում։