Post on 19-Feb-2020
transcript
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
thal
Buchs
Safenwil Unterkulm
Schlossrued
Hirschthal
Schöftland
Bottenwil
Aarau
Staffelbach
Gränichen
Holzi-ken
Oberkulm Uerkheim
Gipf-Oberfrick
Densbüren
Murgenthal
Küttigen
Rupperswil
Oberhof
Strengel-
Biberstein Auenstein
bach
burg
Oftringen
Brittnau
Rothrist
Wittnau
Aar-
Thalheim
Erlinsbach
Wölflinswil
Vordemwald
Hallwil
Boniswil
Zetzwil
Reinach
Villmergen
Schmied-
Birrwil
Attelwil Beinwil
äsch
Bözen Effingen
Elfingen
Hornussen
Mönthal
Ueken
Zeihen Herznach Windisch
Remigen
Rüfenach
Riniken
Villnachern
-Reuenthal
Lupfig
burgHabs-
-Bad
Schinznach-Dorf Hausen
Birr Ober-
Möriken
lenz
Scherz
Veltheim
Mülligen
Holder-
-Wildegg
Nieder-
flachs
Rudolfstetten
Künten
Berg-Lenzburg
Staufen
Besen-büren
Bünzen
Leuggern
Villigen
Leibstadt
Mandach Döttingen
Koblenz Rietheim
Gansingen
Remetsch-
Ober-
wil
Mellingen
Würenlos
Stetten
bachWohlen-
Kill-wangen
wil
berg
schwil
schiken
bank
hard
Full
entfelden
schwil
schwil
schwil
Mumpf
Zofingen
lunkhofen
hofNeuen-
SchwaderlochBad Zurzach
Rheinfelden
Magden
Möhlin
Kaiseraugst
Olsberg Obermumpf Zuzgen
Stein
Hellikon
Wallbach
Zeiningen
Wegenstetten
Schupfart
Oeschgen
Sisseln
Eiken
Frick
Unter-
Jonen
wangen
Büttikon
Dietwil
Geltwil
Aristau
Beinwil
Uezwil
Boswil Bettwil
Mühlau
Buttwil Merenschwand
Muri
Auw
Sins
Abtwil
Fahr-
Oberrüti
Kallern
Sarmenstorf
schwanden
Waltenschwil
Meister-
Münch-wilen
KöllikenMuhen
Oberentfelden
Suhr
Teufen-
Niederwil
Berikon
Eggenwil
Bellikon
Widen -Göslikon
Hägg-
dietikon
Fischbach
Wohlen
B
Mägen-
Brunegg
wil
singenOthmar-
Dottikon
konDinti-
Hend-
Ammers-
Ober-
Unter-
Hermet-
Spreiten-
Fislisbach
rohrdorf
Tägerig
Birr-
Nieder-
Seon
leerau
Kirch-
Moos-
Leimbach
Seengen
leerau
Reitnau
Leutwil
kenBurg
Menzi-
Dürren-
Egliswil
ruedGontenschwil
Wiliberg
Wisli-
Endingen
Siglistorf
Böbikon
Lengnau
Unterendingen
kofenFisibach
Baldingen
Schneisingen
Rümikon
Kaiserstuhl
konMelli-Rekingen
siggenthal
Turgi
torf
Gebenstorf baden
Freienwil
Unter-
Birmens-
Ehrendingen
Ennet-
Wettingen
siggenthal
Ober-
Baden
Teger-felden
Böttstein
lingenWüren-
Klingnau
Hunzen-
heimSchafis-
Bremgarten
Islis-
Rotten-
Oberwil-Lieli
Arni
Zufikon
-Friedlisberg
lingen
Kaisten
Brugg
Mettauertal
Laufenburg
Bözberg
thal
Buchs
Safenwil Unterkulm
Schlossrued
Hirschthal
Schöftland
Bottenwil
Aarau
Staffelbach
Gränichen
Holzi-ken
Oberkulm Uerkheim
Gipf-Oberfrick
Densbüren
Murgenthal
Küttigen
Rupperswil
Oberhof
Strengel-
Biberstein Auenstein
bach
burg
Oftringen
Brittnau
Rothrist
Wittnau
Aar-
Thalheim
Erlinsbach
Wölflinswil
Vordemwald
Hallwil
Boniswil
Zetzwil
Reinach
Villmergen
Schmied-
Birrwil
Attelwil Beinwil
äsch
Bözen Effingen
Elfingen
Hornussen
Mönthal
Ueken
Zeihen Herznach Windisch
Remigen
Rüfenach
Riniken
Villnachern
-Reuenthal
Lupfig
burgHabs-
-Bad
Schinznach-Dorf Hausen
Birr Ober-
Möriken
lenz
Scherz
Veltheim
Mülligen
Holder-
-Wildegg
Nieder-
flachs
Rudolfstetten
Künten
Berg-Lenzburg
Staufen
Besen-büren
Bünzen
Leuggern
Villigen
Leibstadt
Mandach Döttingen
Koblenz Rietheim
Gansingen
Remetsch-
Ober-
wil
Mellingen
Würenlos
Stetten
bachWohlen-
Kill-wangen
wil
berg
schwil
schiken
bank
hard
Full
entfelden
schwil
schwil
schwil
Mumpf
Zofingen
lunkhofen
hofNeuen-
SchwaderlochBad Zurzach
Rheinfelden
Magden
Möhlin
Kaiseraugst
Olsberg Obermumpf Zuzgen
Stein
Hellikon
Wallbach
Zeiningen
Wegenstetten
Schupfart
Oeschgen
Sisseln
Eiken
Frick
Unter-
Jonen
wangen
Büttikon
Dietwil
Geltwil
Aristau
Beinwil
Uezwil
Boswil Bettwil
Mühlau
Buttwil Merenschwand
Muri
Auw
Sins
Abtwil
Fahr-
Oberrüti
Kallern
Sarmenstorf
schwanden
Waltenschwil
Meister-
Münch-wilen
KöllikenMuhen
Oberentfelden
Suhr
Teufen-
Niederwil
Berikon
Eggenwil
Bellikon
Widen -Göslikon
Hägg-
dietikon
Fischbach
Wohlen
B
Mägen-
Brunegg
wil
singenOthmar-
Dottikon
konDinti-
Hend-
Ammers-
Ober-
Unter-
Hermet-
Spreiten-
Fislisbach
rohrdorf
Tägerig
Birr-
Nieder-
Seon
leerau
Kirch-
Moos-
Leimbach
Seengen
leerau
Reitnau
Leutwil
kenBurg
Menzi-
Dürren-
Egliswil
ruedGontenschwil
Wiliberg
Wisli-
Endingen
Siglistorf
Böbikon
Lengnau
Unterendingen
kofenFisibach
Baldingen
Schneisingen
Rümikon
Kaiserstuhl
konMelli-Rekingen
siggenthal
Turgi
torf
Gebenstorf baden
Freienwil
Unter-
Birmens-
Ehrendingen
Ennet-
Wettingen
siggenthal
Ober-
Baden
Teger-felden
Böttstein
lingenWüren-
Klingnau
Hunzen-
heimSchafis-
Bremgarten
Islis-
Rotten-
Oberwil-Lieli
Arni
Zufikon
-Friedlisberg
lingen
Kaisten
Brugg
Mettauertal
Laufenburg
Bözberg
Erfahrungsbericht in Zusammenarbeit mit Dr. Pius Hauenstein
the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
the spirit of speed© 2
2010 Spin-‐off der TU Chemnitz 2012 Erste Produktverkäufe 2013 Tochter der mic IT AG
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ Wir denken in anderen Dimensionen! § dimensio informa�cs liefert Geschwindigkeit,
wo Komplexität Zeit kostet § Wir machen Ihre Datenbank bis zu 1000-‐fach schneller!
3 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ GIS-‐Anwendungen sind graphische Anwendungen mit beständigem Zugriff auf große Datenmengen in Datenbanken
§ Bei den im Zentrum stehenden visuellen Anwendungen erfolgt bei jedem Kartenau�au (Pan, Zoom) für jeden GIS-‐Layer in der DB eine räumliche Filterung.
§ Ungenügende Performance bei GIS-‐Anwendungen führen zu Fehlmanipula�onen, Fehlern, zusätzlicher Last, unzufriedenen Benutzern und unkontrollierbaren Ausweichmanövern.
§ Kanton Aargau setzt die GIS-‐Produkte der Firma ESRI ein: ArcSDE, ArcGISServer, ArcGIS Desktop.
§ Die GeoDatenbank ArcSDE betreibt Kanton Aargau mit Oracle.
4 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ Zugriffsgeschwindigkeit auf Geodaten wesentlich erhöhen § die momentanen Engpässe besei�gen § eine Reserve für zusätzliche Nutzer au�auen
§ Keine Änderung der: – So�wareumgebung – Applika�ons-‐ und Datenflussarchitektur – Datenhaltung
5 the spirit of speed©
6
Evaluation KIWI-Lösungen (Server)
» Rel. geringe Leistungssteigerungen » Zusätzliche SW-Lizenzen
„Klassisches“ DB-Tuning » Einschränkungen durch Applikationsarchitektur » Diverse Maßnahmen umgesetzt » Nur noch rel. geringe Leistungssteigerungen » Bei Rasterdaten und speziellen Anwendungen noch gewisses
Potential vorhanden
Lösungen beim Client » KIWI behebt nur indiv. Engpass » Map-Tuning beinhaltet noch etwas Potential
Lösungsansatz dimensio » Erfolgversprechend » Hohes Leistungssteigerungspotential
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ Graphisch-‐interak�ver Anwender:
– Pan, Zoom – Ein-‐/Ausschalten von Geo-‐Layern – Räumliche Selek�on – Individuelle Symbolisierung und Rendering im
(Desktop)Client – O� explora�ve Arbeitsweise
è Jede Ak�on/Veränderung auf dem Bildschirm führt zu n räumlichen Queries in der/den DB
7 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
8
DB3A DB2A
DB1A
DB3B DB2B
DB1B
App-‐Server 1
App-‐Server 1
App-‐Server 1
Client Desktop GIS
Terminal Server Desktop GIS
Client Desktop GIS
Web-‐Map-‐Server
Client Desktop GIS
Web Client GIS Viewer
Web Client GIS Viewer
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
9
Die gedruckten Daten haben nur informativen Charakter. Es können keine rechtlichen Ansprüche irgendwelcher Art geltend gemacht werden.Daten des Kantons Aargau, Quelle der Landeskarten: Bundesamt für Landestopografie (5704001686)
1: 360'000
10.8 Kilometer
erstellt 07.11.2013
the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ Das GIS einer kant. Verwaltung ist ein großer Gemischtwarenladen: – Wenige Anwender mit dem selben Anwendungsprofil – Veröffentlichter Bereich: ~7600 GIS-‐Layer (~ 16‘000
Tabellen) – Edi�erbereich: ~4000 GIS-‐Layer (~9000 Tabellen) – Anzahl Rows: 1 – 1.5*106 / 3.5*106 (2.6*109) – Täglich werden bis zu 80 Tabellen mit zusammen bis 5*106
Rows ersetzt § Konzentra�on der Last auf 08:00 – 17:00 § Spitzenbelastung: 800 – 1000 Clients auf den Datenbanken
10 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
11
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
12
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
13
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
14
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
the spirit of speed© 15
SELECT 1 SHAPE, OBJECTID, … FROM AGIS.VA_LSPARZ WHERE SDE.ST_EnvIntersects(VA_LSPARZ.SHAPE,:1,:2,:3,:4) = 1 bind position: 1 == 648910.8987 bind position: 2 == 261135.2732 bind position: 3 == 650799.8511 bind position: 4 == 262251.6407 AGIS.VA_LSPARZ: Normale Tabelle
SELECT distinct sp_id FROM AGIS.S10693_IDX$ WHERE (gx >= :1 AND gx <= :2 AND gy >= :3 AND gy <= :4) AND minx <= :e1 AND miny <= :e2 AND maxx >= :e3 AND maxy >= :e4
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
01
23
45
SQL T101 EOLINIES
ek. E
laps
ed T
ime
Di 0
7.02
. 00:
00
Di 0
7.02
. 06:
00
Di 0
7.02
. 12:
00
Di 0
7.02
. 18:
00
Mi 0
8.02
. 00:
00
Mi 0
8.02
. 06:
00
Mi 0
8.02
. 12:
00
Mi 0
8.02
. 18:
00
Do
09.0
2. 0
0:00
Do
09.0
2. 0
6:00
Do
09.0
2. 1
2:00
Do
09.0
2. 1
8:00
Fr
10.0
2. 0
0:00
Fr
10.0
2. 0
6:00
Fr
10.0
2. 1
2:00
Fr
10.0
2. 1
8:00
Sa
11.0
2. 0
0:00
01
23
45
SQL P112 EOLINIE
Sek
. Ela
psed
Tim
e
Sa
18.0
2 00
:00
Sa
18.0
2 06
:00
Sa
18.0
2 12
:00
Sa
18.0
2 18
:00
So
19.0
2 00
:00
So
19.0
2 06
:00
So
19.0
2 12
:00
So
19.0
2 18
:00
Mo
20.0
2 00
:00
Mo
20.0
2 06
:00
Mo
20.0
2 12
:00
Mo
20.0
2 18
:00
Di 2
1.02
00:
00
Di 2
1.02
06:
00
Di 2
1.02
12:
00
Di 2
1.02
18:
00
Mi 2
2.02
00:
00
Mi 2
2.02
06:
00
Mi 2
2.02
12:
00
Mi 2
2.02
18:
00
Do
23.0
2 00
:00
Do
23.0
2 06
:00
Do
23.0
2 12
:00
Do
23.0
2 18
:00
Fr
24.0
2 00
:00
Fr
24.0
2 06
:00
Fr
24.0
2 12
:00
Fr
24.0
2 18
:00
Sa
25.0
2 00
:00
16
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
the spirit of speed© 17
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ Klassische Intervallbildung nach – technischen Gegebenheiten (z.B. Pla�enstruktur) – mathema�schen Formeln (z.B. Modulo) – vordefinierte Metrik (z.B. Manha�an-‐Metrik)
è Strategien wie vor 40 Jahren: Suchen & Korrelieren
§ dimensio – Völlig neuer Denkansatz:
Nicht der Mensch bes�mmt den Index, sondern die Daten selbst.
è Lernen & Wissen
18 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
the spirit of speed© 19
SQL-‐Anfrage
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
20
Client Desktop GIS App-‐Server
ESRI
Räumliche Filterung
Op�mierung durch dimensio: WHERE SDE.ST_EnvIntersects(...) “ WHERE PRIMÄRSCHLÜSSEN in (...)
sql*net
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
the spirit of speed© 21
XMin YMin XMax YMin Layer OBJECTID ...
1 0 0 100 200 VA_EOLINIE
8 10 0 200 500 VA_EOLINIE
99 2093 90 2200 100 VA_LSGP
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
Ziel: § Für den Benutzer reale Zeiten messen
Herausforderungen: § Repräsenta�ve Messanlage § Repräsenta�ve, sta�s�sch signifikante Werte § Keine Beeinträch�gung des Betriebs § Langfris�ge Messungen in einer sich dauernd verändernden
Anlage § Keine Verfälschungen
22 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ DesktopClient mit Request / Transfer / Display § Typische Worksta�on, welche sonst nichts macht § Gebräuchliche Daten § Messautomat mit Zufallsgenerator für:
– Zei�ntervall (1 – 600 Sek.) – Zentrumskoordinaten (innerhalb Kt. AG) – Maßstab (1:100 – 1:20‘000)
§ Aufzeichnung pro GIS-‐Layer – Datenmenge ( ~ Rows) – Request/Transfer-‐Zeit – Rendering-‐Zeit
§ 7 * 24 Stunden, +/-‐ seit August 2012
23 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
24
3,91 1,73
2,37 0,28
0,28 0,17
90% Quar�l Median
the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
25
0,16 0,05
3,91 1,73
2,37 0,28
0,13 0,05
0,28 0,17
0,05 0,03
90% Quar�l Median
the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ Zentrale Konfigura�on § AGIS Team kann beliebig viele Instanzen anlegen (z.Z. 3) § Tabellen lassen sich den Instanzen zuweisen (in Summe 40)
the spirit of speed© 26
--Zentrale Konfig config_files = { ..., 'inst_p_1.lua‘, 'inst_p_2.lua‘, 'inst_p_3.lua‘, }
--inst_p_1 table_templates = { {'AGIS.AFB_B', 1500.000.000}, --1 {'AGIS.ALG_G', 4000.000.000}, --2 {'AGIS.ALG_B', 5000.000.000}, --3 {'AGIS.ALG_O', 2300.000.000}, --4 ... }
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
§ dimensio in Treiber-‐Cache
the spirit of speed© 27
statement_list = { 'SELECT table_name, time_last_modified FROM SDE.sde_tables_modified ' , 'SELECT rastercolumn_id FROM SDE.RASTER_COLUMNS', 'SELECT layer_id FROM SDE.layers', 'SELECT COUNT(*) FROM SDE.LAYERS', 'SELECT MAX(layer_id) FROM SDE.LAYERS', 'SELECT MAX(registration_id) FROM SDE.TABLE_REGISTRY', 'SELECT UNIQUE keyword FROM SDE.dbtune', 'SELECT table_id, sde_id FROM sde.sde_logfile_pool', ..., }
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
28
Anwender Akzeptanz
Zeit
Neue Möglichkeiten
minimal invasiv • OHNE So�ware Änderung
• OHNE DB-‐Änderung
Kosten senken • Produk�vität • HW (KIWI) • Konsolidierung
the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
Dimensio
Ultraschnelle Datenaus-‐wertung
Scrivo
Ultraschnelles Schreiben in Datenbanken
Securido
Sichere Kopplung
interner und externer Netze
Cardigo
Das Basiswerkzeug
Analy�co Die
Performance-‐lupe
Op�mo
Der Performance-‐
Booster
29 the spirit of speed©
Dr. Sebas�an Leuoth Dr. Pius Hauenstein (Kanton Aargau)
30
dimensio informatics GmbH Brückenstr. 4 09111 Chemnitz Telefon: +49 371 26 20 19 0 Telefax: +49 371 26 20 19 10 info@dimensio-informatics.com www.dimensio-informatics.com