DGfK Hannover 2017
Globales Web Mapping mit offenen Geodaten –ein Kinderspiel?
Thomas BrinkhoffInstitut für Angewandte Photogrammetrie und Geoinformatik
Jade Hochschule Wilhelmshaven/Oldenburg/Elsfleth
2Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Einführung– Motivation– allgemeine Anforderungen
• Sachdaten• Lage von Orten• Administrative Gebiete• Siedlungsgebiete
– Vorgehensweise– Evaluation
• Schlussbemerkungen
Überblick
3Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Website für Bevölkerungsdaten– https://www.citypopulation.de/– weltweite Abdeckung– Daten und
interaktiveKarten für
• Städte• administrative
Gebiete
Motivation
4Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Benötigte Daten– Sachdaten, insbes. Bevölkerungsdaten– Lage von Städten (Punktkoordinaten)– Gebiete von Städte und administrativen Einheiten (Flächen)– Siedlungsgebiete– Identifikationsnummern
Motivation
• Allgemeine Anforderungen– offene, freie Daten; nutzbar in Webanwendungen– Vektorgeometrien (SVG als Basis)– aktuell, korrekt– möglichst weltweite Abdeckung
5Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Globale Datenquellen– Wikipedia?
Bevölkerungsdaten
• keine Quelle, kein Bezugsjahr, kein Bezugsgebiet
• zum Vergleich: VZ 2005: 2.292 • letzte VZ 1987!
6Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datenquellen– statistische Ämter
• i.d.R. ausführliche, unter Quellenangabe frei verwendbare Zahlen• Zugriff teilweise schwierig• Deutschland:
– national bis auf Gemeindeebene, nicht darunter– unter Gemeindeebene keine Bevölkerungsfortschreibung, sondern Daten
des Melderegisters
Bevölkerungsdaten
• schlechtes Beispiel: Stuttgart– https://service.stuttgart.de/lhs-services/komunis/index.php?uid=98&objectid=25922– kostenpflichtig– unklare Verwendbarkeit– unklare Charakterisierung
7Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• CIA World Factbook– https://www.cia.gov/library/publications/the-world-factbook/– etablierte offene Quelle für globale Daten– Bsp. Wachstum des BSP in Irland
• Trump vs. CIA– “These are the same people
that said Saddam Hussein hadweapons of mass destruction”
Sachdaten
(Stand 10.1.2017) (Stand 18.1.2017)
8Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• GeoNames (http://www.geonames.org)
− Creative Commons Attribution 3.0 License− Datenmodell:
− geonameid: globale ID; name, alternatenames− latitude, longitude: WGS‘84-Koodinaten− feature class: „P“ für Orte (places), „A“ für administrative Einheiten− country / admin X code: ISO-3166 2-Code, administrative Ebene 1/2/3/4
− keine Qualitätsindikatoren für Lage, keine nationalen Schlüssel
Lage von Orten
9Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• OpenStreetMap− (seit 2012) „Open Database License“ (ODbL)
− staatenweiser Download z.B. über GeoFabrik
− tatsächliche Belegung von Attributen variiert− keine quantitativen Qualitätsindikatoren
Lage von Orten
10Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Wikipedia− KML-Export über Tool Server
− Point: WGS’84-Koordinaten− description: Link auf Wikipedia-Artikel− admin. Zuordnung indirekt über Kategorie:
− http://toolserver.org/~para/cgi-bin/kmlexport?project=de&article=Kategorie:Gemeinde in Niedersachsen
− Database Dump− kein Kategorie-Filter, aber OSM-ID
− keine quantitativen Qualitätsindikatoren,Extraktion von administrative Zuordnungvon Qualität der Kategorisierung abhängig
Lage von Orten
11Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Wikidata− zentraler Speicher
für strukturierte Datenfür Wikipedia u.a.
− Creative-Commons-0-Lizenz (Public Domain) − Attribute:
− DB-ID− weitere Schlüssel (!)− Kategorisierung, administrative Zuordnung
− keine quantitativen Qualitätsindikatoren,Attributverfügbarkeit variiert,Entity-Identität nicht vollständig konsistent
Lage von Orten
12Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Anforderungen von Webanwendungen an Flächengeometrien– Generalisierbarkeit
• durch Auswahl• durch geometrische
Vereinfachung• durch Aggregation
– hinsichtlich• Ursprungsdaten• hinsichtlich
Visualisierungsmaßstab
Administrative Gebiete
• Anforderungen von Webanwendungen an administrative Gebiete– Generalisierbarkeit
• durch Auswahl:– Begrenzung der Ebene– bei Visualisierung
• durch geometrische Vereinfachung– erfordert topologische Korrektheit
• durch Aggregation– trivial (wenn topologisch korrekt)– Ausnahme: nicht-hierarchische
Verwaltungsebenen
13Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Global Administrative Areas (GADM) (http://www.gadm.org)
– sehr umfangreich (295.000 Gebiete)– teilweise recht tief
gegliedert– topologische Qualität gut– aber:
• oftmals nicht aktuell• Küsten mit gerasterten
Linienverlauf• Lagegenauigkeit oftmals
katastrophal schlecht
Administrative Gebiete
14Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• OpenStreetMap– enthält administrative Gebiete– topologisches Datenmodell– aber:
• Extraktion nicht trivial, teilweise mitLandflächen zu verschneiden
• recht unvollständig, insbesondere bei unteren administrativen Ebenen• geometrische Genauigkeit teilweise schlecht• Aktualität schwankend• Datenherkunft nicht immer offen
kundig (teilweise GADM-Daten)• topologische Fehler kommen
(selten) vor (meist bei Enklaven)
Administrative Gebiete
Satellite map by Google Earth with images © Digital Globe
15Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datensätze– oftmals aktuell– oftmals gute geometrische Qualität– teilweise recht tief gegliedert– meist mit nationalen IDs– aber:
• z.T. schwierig zu finden• topologische Qualität nicht selten schlecht
– nach Projektionen, manuelle Veränderung, Generalisierungen• manchmal ist auch geometrische Qualität suboptimal
Administrative Gebiete
16Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datensätze (Malaysia)
Administrative Gebiete
Satellite mapby Google Earth with images © Digital Globe.
17Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datensätze (Gabun)
Administrative Gebiete
18Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datensätze (BGK)
– „Sie weisen (...) eine (...) Lagegenauigkeit (± 100m) für die wichtigsten punkt- und linienförmigen Objekte auf.“
Administrative Gebiete
19Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datensätze (BGK)
– „Sie weisen (...) eine (...) Lagegenauigkeit (± 100m) für die wichtigsten punkt- und linienförmigen Objekte auf.“
Administrative Gebiete
Sate
llite
map
by G
oogl
e Ea
rth
with
im
ages
© D
igita
l Glo
be.
20Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Nationale Datensätze (BGK)
– „Sie weisen (...) eine (...) Lagegenauigkeit (± 100m) für die wichtigsten punkt- und linienförmigen Objekte auf.“
Administrative Gebiete
21Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Requirements– global dataset– resolution: up to 10 or 25m– up-to-date– open data under free license– vector data
• SVG-based web mapping(performance & styling)
• support of different scales by object-based generalization
Siedlungsflächen
22Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Built-up Areas on International or Global Scale – source: remote sensing data– example: Corine Land Cover
(CLC) database• resolution: 100m raster• updates 2000 / 2006 / 2012• coverage: European Union• not suitable
Siedlungsflächen
23Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• OSM as Source for Built-Up Areas– fulfills previous requirements– but: focus is not land use or land cover
• studies before have shown that OSM can be used for deriving land use• but only on local scale (e.g., cities, small regions, small countries)• but only within a “well-digitized” country
• Resulting Questions– Which OSM features can be used for computing built-up areas
on global scale?– How can we derive built-up areas on global scale in sufficient
accuracy and performance by using standard soft-/hardware?– Is the quality of the result sufficient on global scale?
Siedlungsflächen aus OSM
24Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Data Model– topological model
(nodes, ways, multipolygons)– key-value elements (“tags”) for
attribute data
• Land Cover– “landcover” key: proposal, not widely used– “surface” key: surface of way elements– “natural” key: vegetation-, water- and landform-related– “landuse” key: for agricultural areas (e.g., farmland),
leisure areas (e.g., park), and built environment
Siedlungsflächen aus OSM
25Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• “landuse” key
Siedlungsflächen aus OSM
Value Description Relevance
residential predominantly houses or apartment buildings X
industrial predominantly workshops, factories or warehouses Xcemetery cemetery area -commercial predominantly offices, business parks, etc. Xretail predominantly shops X
construction an area being built on (...)brownfield land scheduled for new development (...)garages areas occupied by multiple private garage buildings Xrecreation_ground an open green space for general recreation -greenfield undeveloped land scheduled to turn into a
construction site-
→ 4.3m “OSM built-up features” (April 2016)
26Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• “landuse” key
Siedlungsflächen aus OSM
light orange = “residential”, violet = “industrial”, brown = “commercial”, red = “retail”, grey = “garages”
Mexico CityOldenburg
→ generally not complete
27Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Siedlungsflächen aus OSM
Darwin, Australialight orange: “residential”violet: “industrial”dark red: “buildings”
• Buildings– 181.4m buildings in
OSM dataset (April 2016)
– not complete– cover additional areas
compared toOSM built-up features
– too detailed for describingbuilt-up areas / urban areas
– further processing required
28Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Roads– residential houses are typically built along residential roads
Siedlungsflächen aus OSM
Value Description Relevanceresidential road in a residential area Xservice access to a building, service station, etc. (..)track roads for agricultural and forestry use etc. -unclassified public access road, non-residential (X)footway designated footpaths, mainly for pedestrians (..)tertiary a road linking small settlements -secondary a highway linking large towns -primary a highway linking large towns -cycleway designated cycle ways (..)living_street road with very low speed limits Xmotorway high capacity highways -pedestrian roads mainly / exclusively for pedestrians (..)road road with unknown classification (X)
29Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Siedlungsflächen aus OSM
Porto Alegre, Brazilorange: “unclassified”
• Roads– 34.3m “residential” or
“living_street” (April 2016)
– 9.0m “unclassified”– 0.3m “road” (unknown
classification)
– “unclassified” means often “unknown” and refer to residential roads
– should be included in further processing
30Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Siedlungsflächen aus OSM
Mexico Citydark red: “residential”, red: “living street”,violet: “unclassified”; light green: urban area
• Roads– coincidence between
residential (and similar) roads and built-up areas
– clusters of unclassified highways indicate built-up areas
– areas have to be derived from linear features by further processing
31Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Verarbeitung der OSM-Daten
• Processing OSM Built-up Features– eliminating polygons with low accuracy– merging neighbored polygons
• “neighbored” = distance smaller than a given threshold• “merging” = proper merge + gaps & small holes removed +
areas may be enlarged by a given distance
32Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Verarbeitung der OSM-Daten
• Processing Buildings– eliminating buildings covered by built-up features – merging neighbored polygons
red: eliminated buildingsbrown: merge polygons
33Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Verarbeitung der OSM-Daten
• Processing Roads– computing difference with built-up features – buffering– merging neighbored polygons– eliminating thin areas
• especially for the“unclassified” roads
red lines: roads eliminated by differencegreen lines: remaining roadsbrown: area after eliminating thin areas
34Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Verarbeitung der OSM-Daten
• Combination– merging neighbored or overlapping polygons– (optionally) application-depended generalization
35Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Verarbeitung der OSM-Daten
• Algorithmic Issues: Merging– large-sets of geometries:
• grid-based partition as 1st step• separate merging of each cell• no overall merge as long as it is not the combination step
– mid-size sets of geometries / processing of a cell:• iterative union with neighbored geometries using a MX-CIF
quadtree
• Algorithmic Issues: Global OSM dataset– partitioning, e.g. stripes of 1 or 2 degree width– variant of merging algorithm for combining the results
36Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Vorläufige Evaluation
• Some Well-digitized Countries– processing of OSM
built-up features is sufficient
• Otherwise– processing of all three
different input features is necessary
Mexico City
airport
unbuilt area
industrial areas
37Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Vorläufige Evaluation
• Some Well-digitized Countries– processing of OSM
built-up features is sufficient
• Otherwise– processing of all three
different input features is necessary
Mexico City
airport
unbuilt area
industrial areas
Sate
llite
map
s by
Goog
le E
arth
with
imag
es ©
Dig
ital G
lobe
.
38Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
• Results– extraction of built-up areas from the OSM dataset is feasible on
global scale– done within several days using standard hardware and software– representation by disjoint polygons allows generalization by
selection
Siedlungsflächen aus OSM
39Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
– Es stehen inzwischen viele freie Geodaten zur Verfügung.• Es gibt auch viele Lücken (z.B. Bulgarien Flächen für die Ortsebene)
– Die Qualität (Aktualität, fachliche Korrektheit, Lagegenauigkeit, topologische Korrektheit, Vollständigkeit, Metadaten) schwankt auch innerhalb einer Quelle erheblich.
• Kontrolle wichtig (rechnerisch und visuell)• Fehlerursachen sind bewusst zu machen• eigene Fehler vermeiden (möglichst spät in das Ziel-KBS projizieren)
– Daten sind teilweise immer noch schwer zu finden.– Durch freie Geodaten können viele interessante Anwendungen
entwickelt und Fragestellungen gelöst werden.• Eine anwendungsspezifische Aufbereitung ist oftmals notwendig;
sie kann durchaus aufwändig sein.
Schlussbemerkungen
40Thomas Brinkhoff: Globales Web Mapping mit offenen Geodaten – ein Kinderspiel?
Vielen Dank für die Aufmerksamkeit!
Der Vortrag basierte u.a. auf:• Brinkhoff T.: “Open Street Map Data as Source for Built-up and Urban Areas on Global
Scale”, XXIII Congress of the International Society for Photogrammetry and Remote Sensing 2016, Prague, Czech Republic. In: The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B4, 2016, 557-564.
• Brinkhoff T.: „Offene Geodaten: Lage von Orten im Vergleich“, Tagungsband FOSSGIS 2015, Münster, 2015, 18-24.
Schlussbemerkungen