Komplexe Datenbank-Applikationen in der Praxis

Claudia Merfeld München, 14. Juli 2008

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 2

Agenda SESAM/SQL-Server Systemarchitektur

Beispiel einer Kundenapplikation

Verfügbarkeitsanforderungen

Maßnahmen für Desaster Recovery

Monitoring und Performance Kontrolle

Administration und Automatisierung

Datensicherheit und Zugriffsschutz

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 3

SESAM/SQL-Server Relationales Datenbanksystem für BS2000/OSD-Systeme

Verwendet SQL für Definition, Aufbau und Wartung von relationalen Datenbanken DML Betrieb

SQL ist ausgerichtet am SQL-Standard 2003

Zugriff von beliebigen Plattformen (BS2000/OSD, Windows, Unix Systeme) auf den Database Handler

Wesentliche Kunden in Deutschland und Europa: Banken, Versicherungen und Behörden

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 4

SESAM/SQL-Server Systemarchitektur

SESAM/SQL Database-Server

SQL Schnittstelle

…

Datenbanken

TP-Monitor

openUTM

APACHE/ PHP

ODBC/JDBC Clients

TIAM / Batch

Anwendung

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 5

Aspekte der Systemarchitektur Multitask Betrieb des Database Handlers

Multithread Verfahren

64Bit Main Storage Database

Partitioned Tables

Group Commit Verfahren

Datenkomprimierung

Online Data Definition und Utilities

Modifikation von DBH-Parametern im laufenden Betrieb

Schattendatenbankverfahren durch Replikate

Verteilte Datenbanken in BS2000/OSD Rechnernetzen

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 6

MOT-Projekt

Internet

Kfz-Werkstätten

Kfz-Werkstätten

Behörden, Bürger, Kfz-Besitzer

Kfz-Werkstätten

Entfernung 500 m

SX140

BS2000/OSDAnwendungen

SX130

BS2000/OSDAnwendungen

FC switch

FC switch FC switch

FC switch

HIPLEX Failover Cluster

Heartbeat-connection

Symmetrix

SRDF Link

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 7

Entscheidungskriterien für BS2000/OSD

Höchste Verfügbarkeit, Sicherheit und Zuverlässigkeit

Höchste Benutzeranzahl und Höchste Transaktionsraten

Echtzeiterfassung aller Kfz-Testdaten

Qualifizierte Dienstleistungen:

Abstimmung des Konzepts

Test der Failover-Szenarien

„HA&DR-Konfigurationssteckbrief“

Winner of Project Excellence Award 2007

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 8

Kundenprojekt MOT Test: Fahrzeugprüfung analog zum deutschen TÜV Test

Dezentral in zertifizierten Werkstätten

Zentrale IT gestützte Erfassung aller durchgeführten MOT Tests

Speicherung von Fahrzeugdaten

Verwaltung von Werkstätten, Personal, Ausbildung und Abrechnung

Data Mining für Regierung und Automobilfirmen

Internet Applikation zur Abfrage von MOT Tests

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 9

openUTM Applikation

Internetabfrage

Vehicle Test Station(Linux/Opera)Vehicle Test Station

(Linux/Opera)Vehicle Test Station(Linux/Opera)

Verwaltung(Windows PC)

Fahrzeugdaten

Webserver, Firewall

Datamining(ODBC)

DB Kopie

Batch

ODBC Applikation

(ca.100.000 Änderungen pro Nacht)

BCVSpiegel

Architektur der Kundenapplikation

DBH DBH

SESAM/SQL DB

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 10

Datenvolumen 30.000.000 Fahrzeuge, jährlicher MOT Test

=> 100.000 Tests pro Tag in 20.000 Werkstätten => 35.000.000 Tests pro Jahr => 4 Tests pro Sekunde, in Spitzenzeiten bis zu 50 Tests pro Sekunde

Eine SESAM/SQL Datenbank mit 350 Basistabellen verteilt auf 120 Spaces (Dateien) Zugriff nur über Views, mehr als 1000 Views 1200 Integritätsbedinungen (Not NULL, Unique, Foreign Key, Check) 6 Tabellen mit jeweils mehr als 10 Mio. Sätzen größte Tabelle hat 100 Mio. Sätze 1 Partitioned Table ca. 200 GB Daten jährlicher Zuwachs ca. 50 GB Daten

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 11

UTM Applikation UTM Applikation mit 600 Funktionen

davon 50 Funktionen für Tests übrige Funktionen für Administration

UTM Applikation ist realisiert in 800 Cobol Programme für Datenzugriffe 1000 Cobol Programme für Funktionalität

UTM Applikation umfasst 2500 SQL Statements, häufig Mehrfach-Joins (teilweise bis zu 20-fach Join)

400.000 Transaktionen pro Tag

Nachts laufen 500 – 20.000 Batchjobs

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 12

Anforderungen an Verfügbarkeit und Performance Verfügbarkeit 7 Tage pro Woche und 23 Stunden 50 Minuten pro Tag

Recoveryzeit von maximal 5 Minuten

Auf Antrag zweimal pro Jahr bis zu 8 stündige Auszeit für Software / Applikation Upgrade nur in der Nacht von Samstag auf Sonntag

Antwortzeiten: < 30 sec inklusive Verbindungsaufbau über Modem bei 99% der Tests => Antwortzeit des Database Handler < 3 sec

Zeitfenster für Batchprogramme (22:30 – 06:00 Uhr)

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 13

Ausfallsicherheit durch Spiegelplatten und StandBy Rechner

Hauptrechner

StandBy

RechnerHiplex

Data MiningApplikation

DB

Spiegelplatten

Spiegel

Spiegel

Spiegelplatten

Spiegel SpiegelKopie per

“Clone”

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 14

Administrative Maßnahmen für ein Desaster Recovery Täglich werden “Clones” der Datenbank erzeugt

Voraussetzung: Transaktionsfreier Zustand alle Datenbankpuffer müssen auf die Dateien geschrieben werden Clone wird durch Absplitten der Spiegelplatte erzeugt alles in 10 Minuten

Ein Clone dient als Sicherung, wird zusätzlich noch auf Band gesichert

Ein Clone wird als Datenbank von einem weiteren DBH bearbeitet für Data Mining

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 15

Im Fall eines Desasters Platte wird vom Hauptrechner auf den Stand By Rechner umgeschaltet

Database Handler wird auf dem Stand By Rechner gestartet

Applikation wird auf dem Stand By Rechner gestartet

Dauer: <= 5 Minuten

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 16

Monitoring und Performance Kontrolle Monitoring des Datenbank Betriebs

I/O Verhalten Laufzeiten von Statements,Transaktionen und Batchprogrammen Ressourcen Verbrauch des Database Handlers Parallelitätsprobleme (Deadlocks)

Analyse und mögliche Maßnahmen: Online Modifikation von DBH Parametern Analyse und Optimierung von SQL Statements Änderungen in der Datendefinition (z.B. Definition eines Indexes) Verlagerung einer Tabelle auf einen anderen Space (Datei) Partitionierung von Tabellen

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 17

Beispiel: Verlagerung einer Tabelle auf einen anderen Space Prozedur mit SQL Anweisungen erzeugen

Test dieser Prozedur auf dem Testrechner mit Testdaten

Laufzeitbestimmung auf dem Testrechner mit Kopie der Originaldaten

Laufzeitoptimierung, Reduktion der notwendigen Auszeit

Festlegung von notwendigen Backup Maßnahmen

Antrag für notwendige Auszeit stellen

Durchführung der Aktion in der Auszeit: Online Betrieb sperren SQL Anweisungen ausführen Online Betrieb wieder zulassen

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 18

Beispiel: Erweiterung der Applikation Implementierung der Funktionalität

Test der Funktion auf dem Testrechner mit Testdaten

Test der Funktion auf dem Testrechner mit einer Kopie der Originaldaten

Analyse der Statements auf dem Testrechner Laufzeit Ressourcenverbrauch Sperrkonfliktpotenzial

Austausch der Applikation in einer Auszeit

Neue Funktionalität im Online Betrieb Monitoring der Funktionalität Verhalten im Zusammenspiel mit anderen Funktionen

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 19

Administration und Automatisierung SESAM/SQL Database Handler läuft permanent

Nur für SESAM Software Upgrade beendet und neu gestartet

Batchjobs werden automatisch zu einer bestimmten Zeit gestartet

Monitoring des Betriebs ebenfalls im Batch mit automatischer Auswertung

Automatisiertes Erzeugen der Clones

Verwaltung der Backup Daten

Pflege des Prozedurenwerks

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 20

Datensicherheit und Zugriffsschutz Prinzip: Jeder hat nur Zugriff auf das, was er unbedingt benötigt

Rollenkonzept für Zugriffe auf die Datenbank Definition von Benutzerrollen (z.B. Applikationsprogrammierer, DB-Administrator) Definition von Zugriffsrechten für jede Rolle in SESAM/SQL

Rollenkonzept für Zugriffe auf BS2000 Kennungen

Administration des Database Handlers von kleinem Personenkreis

BS2000 Systemadministration ebenfalls von kleinem Personenkreis

Claudia Merfeld © Fujitsu Siemens Computers 2008 All rights reserved 21

Erforderliche Qualifikationen für Aufgaben dieser Art Hochschulabschluß in Informatik oder vergleichbares Fach

Systematische und zielorientierte Vorgehensweise

Flexibilität

Kreativität

Teamfähigkeit

Belastbarkeit