Post on 06-Feb-2018
transcript
2014 © Trivadis
BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
Migration OWB to ODI
Martin de Gooijer
Prinzipal Consultant BI
1
Oracle DWH KonferenzNeuss
Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Migration OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
2Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Introduktion
� Martin de Gooijer
� 20 Jahre Oracle Erfahrung� 11 Jahre Oracle Niederlände� Seit 2005 Trivadis (Schweiz)
� OWB Erfahrung: seit 2001
� ODI Erfahrung: seit 2012
� Referent OWB Kurse
� Teilnehmer ODI 12c und OWB Migration Utility Beta Programm
19.03.2014Oracle DWH Konferenz Neuss - Migrating OWB to ODI
3
2014 © Trivadis
Migration OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
4Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Warum migrieren: Statement of Direction von Oracle (teils)
Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Warum migrieren?
� Desupport OWB ab Oracle DB 12.2
� Viele Jahre sind in die Entwicklung von OWB Mappings investiert worden
� Alles neu entwickeln (z.B. mit andere Werkzeuge) ist teuer und kostetviel Zeit
� Es ist möglich!!!!
6Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
☺
2014 © Trivadis
Migration OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
7Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Migration Tool – Erwartungen
� One-Click-Migration
� Schickes GUI: einfach zu selektieren was migriert werden soll
� Keine Problemen, alles wird ohne Probleme migriert
� Das Mapping ist danach im ODI genauso wie im OWB aufgebaut und strukturiert
� Das Mapping hat genau die gleiche Funktionalität
Oracle DWH Konferenz Neuss - Migrating OWB to ODI8
19.03.2014
2014 © Trivadis
Migration Tool - Realität
� Command-Line, kein schöne Windows-Umgebung!
� Es findet ein Repository-to-Repository Migration statt� OWB und ODI Repository müssen beide verfügbar und erreichbar sein
� Patch einer bestehende OWB Installation� Vor vorerst nur eine Migration ab 11.2.0.4 möglich, jetzt geht es auch ab 11.2.0.3
� Direktes Migrieren einer MDL-Datei ist nicht möglich
� Es gibt einige Einschränkungen
� Trotzdem können viele Mappings direkt migriert werden
� Migration funktioniert sehr schnell und ohne manuelle Eingriffe
Oracle DWH Konferenz Neuss - Migrating OWB to ODI9
19.03.2014
�
�
�
☺
2014 © Trivadis
Migration Tool
� Migration kann ab Workspace Level durchgeführt werden
� Es ist möglich die Migration auf einer anderen Stufe (z.B. Projekt)zu starten (siehe Konfigurationsdatei)
� Testruns sind möglich: der Ausführung ist gleich wie bei eine Migration. Die Metadaten werden aber nicht in dem ODI Repository gespeichert
� Man kann einstellen, wieviel Logging gewünscht ist
Oracle DWH Konferenz Neuss - Migrating OWB to ODI10
19.03.2014
2014 © Trivadis
Migration Tool
� Projekte werden in Projekte migriert
� Modulen werden in Modulen migriert
� Mappings werden in Mappings migriert
� Sequences werden in Datenbanksequences in das Projekt migriert
� Tabellen und Views werden in Modellen migriert (abhängig von Location)
� Locations werden in Logical Schemas migriert
� Physikalische Locations werden in Datastores migriert
Oracle DWH Konferenz Neuss - Migrating OWB to ODI11
19.03.2014
2014 © Trivadis
Migrating OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
12Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Migration OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
13Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
The Migration Tool – Prerequisites: MOS note 1503877.1
Oracle DWH Konferenz Neuss - Migrating OWB to ODI14
19.03.2014
2014 © Trivadis
Migration Tool - Konfiguration
� Das Tool wird durch die Konfigurationsdatei konfiguriert. Es gibt von Oracle eine Beispieldatei welche nach eigene Bedürfnisse angepasst werden kann
� Wenn einen Konfigurationsoption nicht gesetzt wird, gilt für manche Optionen einen Standard Wert
� Wenn einen Konfigurationsoption falsch geschrieben wird, wird diese einfach ignoriert (es gibt keine Fehlermeldung)
Oracle DWH Konferenz Neuss - Migrating OWB to ODI15
19.03.2014
2014 © Trivadis
Migration Tool – Konfigurationsdatei
Der Konfigurationsdatei ist in unterschiedliche Gruppen unterteilt:
� OWB:� OWB_WORKSPACE_OWNER=<Workspace owner>� OWB_WORKSPACE_NAME=<Name OWB Workspace>� OWB_URL=<host:port:sid>
� ODI:� ODI_MASTER_USER=ODI� ODI_MASTER_URL=jdbc:oracle:thin:@<host:port:sid>� ODI_MASTER_DRIVER=oracle.jdbc.OracleDriver� ODI_USERNAME=SUPERVISOR� ODI_WORK_REPOSITORY_NAME=<Name Work Repository>
Oracle DWH Konferenz Neuss - Migrating OWB to ODI16
19.03.2014
2014 © Trivadis
Migration Tool – Konfigurationsdatei
� Migration Optionen (Optional):� MIGRATION_MODE=RUN� MIGRATION_OBJECTS=*� MIGRATION_REPORT_INCLUDE=ALL� MIGRATE_DEPENDENCIES=YES� STOP_ON_ERROR=FALSE� SPLIT_JOIN_FOR_ANSI_SYNTAX=TRUE� MIGRATE_UNBOUND_OPERATOR=TRUE� MIGRATION_LOG_FILE=/home/oracle/log/Migrate.log� FLUSH_BATCH_SIZE=50
Oracle DWH Konferenz Neuss - Migrating OWB to ODI17
19.03.2014
2014 © Trivadis
Migration OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
18Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Migration Tool – Ausführung
� Ausführen einer Migration ist einfach:� Konfigurationsdatei vorbereiten� Starten von den Tool:
$ORACLE_HOME/owb/bin/unix/migration.sh <PW OWB> <PW Supervisor> <PW ODI User> /home/oracle/Config.txt
� Fortschritt der Migration kann in der Logdatei nachverfolgt werden (Einstellung der Detailierung möglich) z.B. in Linux: watch -n 5 tail Migrate.log
Oracle DWH Konferenz Neuss - Migrating OWB to ODI19
19.03.2014
2014 © Trivadis
Migration Tool – Einschränkungen
� Es gibt keine GUI �
� Nur ein 1 Workspace gleichzeitig
� Wenn ein Workspace oder Projekt nicht als Ganzes verarbeitet wird:� Für jede Ausführung gibt es doppelte Projekte, Modelle, Data Stores
� Nicht alle OWB Operatoren können migriert werden (siehe Doku):� Dimensions� Cubes
� Nicht alle OWB Konstrukte können (derzeit) übernommen werden:� Mappings ohne Datenfluss (z.B. Mappings welche eine Prozedur starten)� Einen Operator als Input für mehrere Ingroups in einem Join� Delete als Ziel Operation wird in «insert append» geändert� Mappings mit setting Row-based (Cursor Loops)
Oracle DWH Konferenz Neuss - Migrating OWB to ODI20
19.03.2014
2014 © Trivadis
Migration Tool – Offene Probleme in ODI!
� Siehe Offene Punkteliste im letzten Patchset
z.B. (Ausschnitt )
Oracle DWH Konferenz Neuss - Migrating OWB to ODI21
19.03.2014
2014 © Trivadis
Migration OWB to ODI
1. Einführung
2. Warum migrieren?
3. Migration Tool
4. Voraussetzungen
5. Konfiguration
6. Ausführung und Einschränkungen
7. Planung
8. Fazit
22Oracle DWH Konferenz Neuss - Migrating OWB to ODI19.03.2014
2014 © Trivadis
Migration - Planung
� Es ist nicht einfach eine Migration zu planen
� Von Einfluss ist:� Anzahl Repositories, Workspaces und Projekte� Anzahl und Komplexität der Objekte innerhalb die Projekte� Verwendete OWB-Features
� Nicht alle Probleme werden erkannt:� Mapping ist erfolgreich migriert worden: keine Errors in Logdatei� Beim Validierung in ODI: verschiedene Errors können auftreten (z.B. mit pre/post Mapping Operators)
� Bestimmte Fehler können im Voraus schon angeschaut werden� Überprüfen in OWB Repositories (z.B. row-based mappings)� Einschätzen wieviel Zeit man braucht - Diese in OWB zu korrigieren- Diese in ODI zu korrigieren
Oracle DWH Konferenz Neuss - Migrating OWB to ODI23
19.03.2014
2014 © Trivadis
Migration – Vorgehensweise
� Mit einem Dry-Run anfangen, wenn möglich in eine andere Umgebung (VM oder DB)
� Feststellen ob es mehrere Fehler vom gleichen Typ gibt (Logdatei)
� Wenn möglich diese Fehler in OWB korrigieren:� Manuell � Tcl
� Ausführen der Migration� Identifizieren der Mappings welche nicht migriert worden sind (Errors)� Identifizieren der Mappings welche mit Warnings migriert worden sind
� Nachher� Manuell erstellen (oder generieren) der nicht migrierte Mappings� Validieren und testen der migrierte Mappings� Eventuelle Fehler beheben
Oracle DWH Konferenz Neuss - Migrating OWB to ODI24
19.03.2014
2014 © Trivadis
Fazit
� Migration Tool ist einfach zu verwenden
� Leider gibt es nur ein command-line Interface und keine GUI
� Einfache Mappings können ohne Probleme migriert werden
� Komplexe Mappings sollten überprüft werden, auch wenn im Log keine Problemen berichtet wurden
� Korrekturen im OWB (manuell oder mit Tcl) kann die Qualität und Anzahl der migrierten Mappings erhöhen
� Es gibt verschiedene Fehler in ODI. Bis diese in der nächste Patch-Release behoben sind, sollten Workarounds implementiert werden
� Es wird notwendig sein einzelne Mappings von Hand zu migrieren(neu erstellen) da nicht alle OWB Objekte unterstützt werden
Oracle DWH Konferenz Neuss - Migrating OWB to ODI25
19.03.2014
2014 © Trivadis
Weitere Informationen
Trivadis TechnoCircle Oracle Data Integrator 12c
www.trivadis.com
� 22.05. Stuttgart
� 03.06. Frankfurt
� 03.07. Düsseldorf / Hamburg
� 07.07. München
Weitere Information zur Veranstaltung am Trivadis Stand
Oracle DWH Konferenz Neuss - Migrating OWB to ODI26
19.03.2014