Mediana Eine Workbench zur rechnergestu ¨tzten Analyse von Mediendaten 1 Einleitung Medienwissenschaftler 1 bescha ¨ftigen sich mit den inhaltlichen Strukturen und For- men des Fernsehens sowie deren Wechsel- wirkungen mit anderen Mediengattungen [Pu ¨ St00; SFB98; KrTh94], z. B. Print-Me- dien, CD-ROM-Publikationen und dem World Wide Web (WWW). Diese Arbeiten beinhalten die Erfassung und Archivierung sowie die qualitative und quantitative Ana- lyse von Videoaufzeichnungen, Bildern und Webseiten. Dabei werden verschiedene Metadaten der audiovisuellen Datenobjek- te und semantische Informationen zu dem jeweiligen Forschungskontext beru ¨ cksich- tigt. Die bisherigen Arbeitsabla ¨ufe sind je- doch gepra ¨gt durch den Einsatz verschie- dener, z. T. inkompatibler Systeme und Hilfsmittel sowie der Wiederholung vieler zeitintensiver, manueller Arbeiten, z. B. das Auffinden bestimmter Schnitte oder Texte in Videos. Zusa ¨tzlich ist ein Aus- tausch und die Zusammenfu ¨ hrung der Da- tengrundlage und Ergebnisse zwischen verschiedenen Forschergruppen aufgrund der Heterogenita ¨t der verwendeten Com- puter- und Softwaresysteme sowie der ent- wickelten Datenschema nicht mo ¨ glich. Dies ist aber fu ¨r Medienwissenschaftler wichtig, da gro ¨ ßere Forschungsthemen ha ¨ufig in kleine Projekte unterteilt und durch z. T. ra ¨umlich getrennte Forscher- gruppen bearbeitet werden. Der Fortschritt in der Informationstech- nologie ero ¨ ffnet fu ¨r die medienwissen- schaftliche Arbeit neue Mo ¨ glichkeiten der Nutzung von Computern und rechner- gestu ¨tzten Werkzeugen. Das Ziel ist der durchga ¨ngige Einsatz rechnergestu ¨ tzter Werkzeuge, durch den Medienwissen- schaftler bei ihren Untersuchungen und Arbeiten von mechanischen und manuellen Arbeiten entlastet werden und sich damit versta ¨rkt inhaltlichen Fragestellungen und Analysen widmen ko ¨ nnen [FrGK99]. Im Unterschied zu traditionellen Auskunfts- und reinen Archivierungssystemen soll da- bei die gesamte Funktionspalette medien- wissenschaftlicher Arbeitsmethoden durch ein Computersystem unterstu ¨ tzt werden. Daraus wurde das Konzept eines integrier- ten und erweiterbaren Arbeitsplatzes fu ¨r medienwissenschaftliche Untersuchungen entwickelt und prototypisch implemen- tiert. Das Ergebnis ist der rechnergestu ¨ tzte medienwissenschaftliche Arbeitsplatz Me- diana. Mediana ist konzeptuell eine projektu ¨ ber- greifende, mehrbenutzerfa ¨hige, Internet- basierte, erweiterbare Datenbankanwen- dung fu ¨r audiovisuelle Datenobjekte, Textdokumente und damit verbundenen Attribut- und semantischen Kontextdaten. Zusa ¨tzlich sind modular komplexe Ana- lyse- und Visualisierungsmethoden inte- griert. Wesentliche Merkmale und Funk- tionen sind: – Datenhaltung: Die konsistente Verwal- tung aller mono- und multimedialen Datenobjekte (Mediendaten), d. h. Bild-, Video- und Textdokumente, sowie de- ren deskriptive Attribut- und Metadaten als auch Daten zum Forschungskontext in einer integrierten Datenbank. Ein wichtiger Aspekt dabei ist Trennung von „o ¨ ffentlichen“ und „privaten“ (per- so ¨ nlichen) Datenbesta ¨nden. WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41 – 51 Die Autoren Hartmut Luttermann Bernd Freisleben Manfred Grauer Udo Kelter Thomas Kamphusmann Udo Merten Guido Ro ¨ßling Thomas Unger Ju ¨rgen Waldhans Hartmut Luttermann, Prof. Dr. Bernd Freisleben, Prof. Dr. Manfred Grauer, Prof. Dr. Udo Kelter, Dr. Thomas Kamphusmann, Dr. Udo Merten, Guido Ro ¨ßling, Thomas Unger, Ju ¨rgen Waldhans, Universita ¨t Siegen, D-57076 Siegen; {hartmut|grauer|thomas|merten- |waldhans}@fb5.uni-siegen.de; {freisleb|kelter|roessling}@informa- tik.uni-siegen.de Diese Arbeit wurde von 1998 bis 2000 in dem Projekt „Methoden und Werk- zeuge zur rechnergestu ¨tzten medien- wissenschaftlichen Analyse“ im Rah- men des Sonderforschungsbereichs (SFB) 240 „Ȗsthetik, Pragmatik und Geschichte der Bildschirmmedien“ der Universita ¨t Siegen von der Deutschen Forschungsgesellschaft (DFG) unter der Nummer SFB 240-98 gefo ¨rdert. WI – Aufsatz
Medienwissenschaftler1 beschaftigen sichmit den inhaltlichen Strukturen und For-men des Fernsehens sowie deren Wechsel-wirkungen mit anderen Mediengattungen[PuSt00; SFB98; KrTh94], z. B. Print-Me-dien, CD-ROM-Publikationen und demWorld Wide Web (WWW). Diese Arbeitenbeinhalten die Erfassung und Archivierungsowie die qualitative und quantitative Ana-lyse von Videoaufzeichnungen, Bildernund Webseiten. Dabei werden verschiedeneMetadaten der audiovisuellen Datenobjek-te und semantische Informationen zu demjeweiligen Forschungskontext berucksich-tigt. Die bisherigen Arbeitsablaufe sind je-doch gepragt durch den Einsatz verschie-dener, z. T. inkompatibler Systeme undHilfsmittel sowie der Wiederholung vielerzeitintensiver, manueller Arbeiten, z. B.das Auffinden bestimmter Schnitte oderTexte in Videos. Zusatzlich ist ein Aus-tausch und die Zusammenfuhrung der Da-tengrundlage und Ergebnisse zwischenverschiedenen Forschergruppen aufgrundder Heterogenitat der verwendeten Com-puter- und Softwaresysteme sowie der ent-wickelten Datenschema nicht moglich.Dies ist aber fur Medienwissenschaftlerwichtig, da großere Forschungsthemenhaufig in kleine Projekte unterteilt unddurch z. T. raumlich getrennte Forscher-gruppen bearbeitet werden.
Der Fortschritt in der Informationstech-nologie eroffnet fur die medienwissen-schaftliche Arbeit neue Moglichkeiten derNutzung von Computern und rechner-gestutzten Werkzeugen. Das Ziel ist der
durchgangige Einsatz rechnergestutzterWerkzeuge, durch den Medienwissen-schaftler bei ihren Untersuchungen undArbeiten von mechanischen und manuellenArbeiten entlastet werden und sich damitverstarkt inhaltlichen Fragestellungen undAnalysen widmen konnen [FrGK99]. ImUnterschied zu traditionellen Auskunfts-und reinen Archivierungssystemen soll da-bei die gesamte Funktionspalette medien-wissenschaftlicher Arbeitsmethoden durchein Computersystem unterstutzt werden.Daraus wurde das Konzept eines integrier-ten und erweiterbaren Arbeitsplatzes furmedienwissenschaftliche Untersuchungenentwickelt und prototypisch implemen-tiert. Das Ergebnis ist der rechnergestutztemedienwissenschaftliche Arbeitsplatz Me-diana.
Mediana ist konzeptuell eine projektuber-greifende, mehrbenutzerfahige, Internet-basierte, erweiterbare Datenbankanwen-dung fur audiovisuelle Datenobjekte,Textdokumente und damit verbundenenAttribut- und semantischen Kontextdaten.Zusatzlich sind modular komplexe Ana-lyse- und Visualisierungsmethoden inte-griert. Wesentliche Merkmale und Funk-tionen sind:
– Datenhaltung: Die konsistente Verwal-tung aller mono- und multimedialenDatenobjekte (Mediendaten), d. h. Bild-,Video- und Textdokumente, sowie de-ren deskriptive Attribut- und Metadatenals auch Daten zum Forschungskontextin einer integrierten Datenbank. Einwichtiger Aspekt dabei ist Trennungvon „offentlichen“ und „privaten“ (per-sonlichen) Datenbestanden.
Hartmut Luttermann,Prof. Dr. Bernd Freisleben,Prof. Dr. Manfred Grauer,Prof. Dr. Udo Kelter,Dr. Thomas Kamphusmann,Dr. Udo Merten, Guido Roßling,Thomas Unger, Jurgen Waldhans,Universitat Siegen, D-57076 Siegen;{hartmut|grauer|thomas|merten-|waldhans}@fb5.uni-siegen.de;{freisleb|kelter|roessling}@informa-tik.uni-siegen.de
Diese Arbeit wurde von 1998 bis 2000in dem Projekt „Methoden und Werk-zeuge zur rechnergestutzten medien-wissenschaftlichen Analyse“ im Rah-men des Sonderforschungsbereichs(SFB) 240 „�sthetik, Pragmatik undGeschichte der Bildschirmmedien“ derUniversitat Siegen von der DeutschenForschungsgesellschaft (DFG) unter derNummer SFB 240-98 gefordert.
WI – Aufsatz
– Bild-/Videoanalyse: Funktionen zumhalb- und vollautomatischen Generierenvon relevanten Struktur- und Inhaltsin-formationen zu dem vorliegenden Bild-/Videomaterial.
– Benutzerschnittstelle: Eine grafische Be-nutzungsoberflache (GUI) mit dedizier-ten Schnittstellen zur Eingabe, Bearbei-tung und Wiedergabe von mono- undmultimedialen Datenobjekten sowie dendazugehorenden Attribut- und Meta-daten. Die Anordnung der Funktionenorientiert sich an den Arbeitsablaufen,die als typisch fur Medienwissenschaft-ler in Forschung und Lehre angesehenwerden.
Mediana besteht aus zwei Client-Anwen-dungen: die grafische Arbeitsumgebung/Workbench Mediana-Vis mit Visualisie-rungskomponenten und das WWW-basier-tes Recherche-Tool Mediana-W3.
Der Beitrag ist folgendermaßen gegliedert:In Abschnitt 2 wird ein �berblick uber dieArchitektur des medienwissenschaftlichenArbeitsplatzes gegeben. In Abschnitt 3wird die Verwaltung der audiovisuellenMedienobjekte, Textdokumente und derenAttributdaten vorgestellt, bevor in Ab-schnitt 4 drei Verfahren zur Bild-/Video-analyse erlautert werden, die sich zur Ge-nerierung von Inhalten und Strukturenvon den Medienobjekten eignen. In Ab-schnitt 5 wird dann auf verschiedeneAspekte und Funktionen der grafischenBenutzerschnittstelle eingegangen, und eswerden Visualisierungstechniken vor-gestellt, die sich besonders fur die medien-wissenschaftliche Analyse eignen. InAbschnitt 6 werden die Arbeiten zusam-mengefasst und ein Ausblick gegeben.
2 Konzept des medien-wissenschaftlichenArbeitsplatzes Mediana
2.1 Motivation
Arbeitsplatzsysteme sind fur verschiedeneAnwendungen entwickelt worden[DWRþ01; USC01; PoSH98; ABDþ96].Das Merkmal eines Arbeitsplatzsystemsfur medienwissenschaftliche Untersuchun-gen ist die Archivierung und Verknupfungvon beliebigen multimedialen Daten, Text-dokumenten, Metadaten sowie semanti-schen Hintergrunddaten als Grundlage furAnalysen.
Die ersten verfugbaren „multimedialen“Systeme (z. B. Film-Lexika auf CD-ROM)[Stei00; KaMe97; MeGr97] waren reineAuskunftssysteme mit statischem Daten-bestand ohne Techniken zur Videoanalyseund zur Erweiterung des Archivs. DerSchwerpunkt lag in der Bereitstellung vonMethoden zur Speicherung und Verbrei-tung von Videodaten, z. B. Video-on-De-mand [HoET00; AbTN98]. Die Trennungin einer privaten und offentlichen Daten-haltung sowie die Definition entsprechen-der Rechte war nicht vorgesehen. Zudemwaren diese Systeme auf Grund ihres spe-zialisierten Anwendungsbereichs nicht mitvertretbarem Aufwand anzupassen und zueinen Arbeitsplatz zu erweitern.
Ein medienwissenschaftlicher Arbeitsplatzbeinhaltet im Wesentlichen die Funktiona-litat von digitalen Video-Archivsystemen,wie sie z. B. im Projekt Informedia [Ol-Ha99] entwickelt wurde. Der Schwerpunktliegt dabei auf Methoden zur automati-schen Analyse der Videodaten, um so denZugriff und die Suche nach Videoaus-schnitten zu beschleunigen. Es wurdenMethoden entwickelt, die aus den Bild-,Audio- und Textkomponenten des Video-materials als auch aus der zeitlichen Abfol-
ge der Bilder Metadaten extrahieren undInhaltszusammenfassungen generieren, diedann fur intelligente Retrievalmethoden in-diziert werden. Neuere Dateiformate furBilder und Videos speichern ein Großteildieser Metadaten mit den eigentlichen Vi-deodaten ab (z. B. MPEG-7 [MPEG01]).Jedoch fehlt eine Integration mit den se-mantischen Hintergrunddaten des For-schungskontextes, wie sie in den medien-wissenschaftlichen Projekten wichtig ist.Zum anderen ist eine Unterstutzung furqualitative, manuelle Analysen gefordert.
Ein anderes Problem ist, dass eine Reihevon fur den Arbeitsplatz verwendbarenTechnologien – zu nennen sind vor allemspezifische Analysealgorithmen fur Stand-und Bewegtbilder, nichtkonventionelleDBMS, Retrieval-Techniken und graphi-sche Editoren zur Annotation und Ver-knupfung von Daten – existieren, jedochweder frei kombinierbar noch innerhalb ei-ner grafischen Benutzungsoberflache alsSoftwarekomponenten zu integrieren sind.Die Entwicklung von frei integrierbarenund parametrisierbaren Softwarekom-ponenten ist Gegenstand aktueller For-schungsarbeiten in der Informatik[WaHS01; Grif98].
2.2 Modell des medienwissen-schaftlichen Arbeitsprozesses
Die leitende Systemmetapher des medien-wissenschaftlichen Arbeitsplatzes ist dieeines Schreibtisches, auf dem wichtige me-dienwissenschaftliche Arbeitsmittel wieKarteikasten (Metapher zur Speicherungvon Metadaten und semantischen Zusatz-informationen zu audiovisuellen Daten)und Videorecorder (Zugriff und Anzeigevon audiovisuellen Daten) Platz haben.Dabei integriert die grafische Benutzungs-oberflache ein Modell der Arbeitsweise,wie sie in unterschiedlichen Variationen inden Untersuchungen der Medienwissen-schaftler wiederzufinden ist (Bild 1).
Ausgangspunkt jeder medienwissenschaft-lichen Untersuchung ist die Selektion undErfassung der Mediendaten, d. h. des Vi-deo-, Bild- oder Textmaterials. Zum Teilwird dabei auf schon archiviertes Materialoder auf Dokumente aus dem WWW zu-ruckgegriffen, zum Teil werden Original-dokumente, z. B. Fernsehproduktionen,Filme, Abbildungen oder Aufsatze als Gan-zes oder in Ausschnitten neu aufgenommen
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Erfassung
ArchivierungCharakterisierung
(Form und Inhalt)
Attributanalyse
Statistik
Verknüpfungen
Attributdaten,
Metadaten
Analyse
Bild 1 Modell des medienwissenschaftlichen Arbeitsprozesses
42 Hartmut Luttermann et al.
und digitalisiert. Video- und Textmaterialenwerden automatisch in Sequenzen resp. Ab-schnitte unterteilt, welche die Grundlagefur qualitative Analysen bilden. Eine zu-satzliche inhaltliche Strukturierung des Vi-deomaterials orientiert sich dabei z. B. anVideoschnitten oder an einem Vorkommenvon bestimmten, fur die Fragestellungwichtigen Texten und Gesichtern, wie z. B.bei der Untersuchung von Nachrichtensen-dungen [Lude01; Lude98]. Da solche Ana-lysen jedoch allgemeingultig nicht moglichsind, ist immer eine individuelle Anpassungan die spezielle Fragestellung und Daten-grundlage notwendig.
Sequenzen oder Abschnitte werden an-schließend nach den fur den Unter-suchungsgegenstand und der zu unter-suchenden Fragestellung wichtigenstrukturellen und inhaltlichen Eigenschaf-ten charakterisiert. Die ermittelten Eigen-schaftswerte werden pro Segment gespei-chert und nach statistischen undqualitativen Kriterien ausgewertet. Die Er-gebnisse dieser Arbeit bilden die Grund-lage fur die Bestatigung oder Ablehnungeiner Arbeitshypothese oder fur die erneu-te Charakterisierung bez. einer neuen Fra-gestellung.
Damit zielt der Prototyp des medienwis-senschaftlichen Arbeitsplatzes auf einenspezialisierten „Editor“ ab, der alle not-wendigen Funktionen zur Behandlung undAnalyse von multimedialen Datenbestan-den und deren Attributdaten enthalt.
2.3 Grobstruktur von Mediana
Die konzeptuelle Grobstruktur des me-dienwissenschaftlichen Arbeitsplatzes Me-diana mit seinen beiden Client-Anwendun-gen wird in Bild 2 gezeigt. Großer Wertwurde auf eine offene Architektur mit Stan-dardschnittstellen gelegt, die es ermoglicht,bekannte, aber heterogene Komponentendes Arbeitsplatzes, z. B. WWW-Browser,„Video Player“, Datenbankabfrage-Tools,und zukunftige Werkzeuge, z. B. weitereBild-/Videoanalyse-Tools, zu integrieren.Die Verwendung bekannter Softwarebau-steine und -konzepte verringert die Ent-wicklungskosten und erleichtert zusatzlichfur zukunftige Anwender die Benutzungund Bedienung des Arbeitsplatzes.
Wesentlicher Bestandteil eines solchen Ar-beitsplatzes ist die Datenhaltung. Sie ist un-
terteilt in ein WWW-basiertes Multimedia-Archiv zur permanenten, verteiltenSpeicherung der Mediendaten, d. h.,Losch- und Editierfunktionen fur dieseDatenbestande sind nicht vorgesehen, undin eine Standarddatenbank zur Speicherungder editierbaren Attribut-, Meta- und Kon-textdaten. In der nachsten Ausbaustufe desArbeitsplatzes sind auch entsprechendeEditiertools fur Bilder und Videos enthal-ten.
Verschiedene inhaltsbasierte Suchoperatio-nen, die in konventionellen DBMS nichtunterstutzt werden, erleichtern den Zugriffauf Mediendaten. Da ein automatisches Vi-deoparsing ohne semantisches Zusatzwis-sen allgemeingultig in absehbarer Zukunftnicht moglich ist, werden die bereits exis-
tierenden semantischen Zusatzinformatio-nen (d. h. Attribut- und Metadaten) desvorliegenden Bild-/Videomaterials fur in-haltsbasierte Zugriffstechniken verwendet.
Mediendaten werden in Abhangigkeit vonihrem Medientyp angezeigt, d. h., Video-dokumente werden in einem „VideoPlayer“, Textdokumente dagegen in einemBrowser angezeigt.
Ein besonderes Charakteristikum des Ar-beitsplatzes sind Werkzeuge zur Erstellungund kontextbezogenen Visualisierung vonAnnotationen und Verknupfungen zwi-schen Meta- und Attributdaten. Diese er-lauben Medienwissenschaftlern, Unter-suchungen nach Zusammenhangen undAbhangigkeiten zwischen unterschiedli-
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Kernpunkte fur das Management
Entwicklung eines rechnergestutzten Arbeitsplatzes fur Medienwissenschaftler zur Analysevon multimedialen Internet-Mediendaten.
– Archiv und Datenbank fur Multimedia-Daten (Video, Bild, Text) und Attributdaten– Strukturelle Analyse von Bild-/Videodaten: Videoschnitte, Textbereiche, Gesichter– Abfrage-/Verwaltungs-Client mit Visualisierung von Assoziationen
Mediana: Eine Workbench zur rechnergestutzten Analyse von Mediendaten 43
chen mono- und audiovisuellen Daten so-wie deren Metadaten durchzufuhren. ImGegensatz zur Anzeige von Attributdaten,die sich an Formularen orientiert, machtdie kontextbezogenen Visualisierungenvon Verknupfungen eine grafische Arbeits-umgebung erforderlich.
Eine Reihe von Analysetechniken zu au-diovisuellen Daten ubernehmen mecha-nische und manuelle Aufgaben bei der Vor-bereitung von Bild- und Videomaterial furmedienwissenschaftliche Untersuchungen.
Zur Gewahrleistung individueller und per-sonlicher Arbeitsumgebungen und -mate-rialien wird der Zugang zum Arbeitsplatzdurch eine Benutzerauthentisierung kon-trolliert.
3 Entwurf dermedienwissenschaftlichenDatenbank
3.1 Klassifikationder Datenbestande
Die medienwissenschaftliche Datenbank istdie zentrale Komponente des Arbeitsplat-zes. Folgende Datenarten fallen an:
– audiovisuelle Daten, wie Video-Auf-zeichnungen, Filme, Fotografien (z. B.Buhnenbilder, Bilder von Original-schauplatzen);
– textuelle Daten, wie Drehbucher, Litera-turvorlagen, Kritiken oder Publikations-daten;
– deskriptive Daten, wie Hintergrund-informationen, Querverweise zwischenDaten, Markierungen von Filmabschnit-ten.
Dabei werden insbesondere bez. der Zu-griffskontrolle drei Klassen von Daten-bestanden unterschieden:
– Primardaten: alle audiovisuellen Origi-naldatenobjekte;
– Sekundardaten: im Wesentlichen Text-dokumente, die– offentlich zuganglich sind, wie wis-
senschaftliche Beitrage, Dokumenta-tionen und andere Archivmaterialien;
– nicht offentlich zuganglich sind, wieprivate Anmerkungen, Querverweiseoder Markierungen, die das Ergebnismedienwissenschaftlicher Arbeit unddamit das personliche geistige Eigen-tum der Wissenschaftler darstellen.
Zur Kontrolle des Datenzugriffs wurde ei-ne Benutzerrechteverwaltung auf Basis vonArbeitsgruppen/Benutzerklassen imple-mentiert. Dabei wird fur jeden zugelasse-nen Benutzer eine private Datenbankangelegt, in der alle �nderungen des Da-tenbankschemas und des Datenbestandes(d. h. alle neuen Datenobjekte und Ver-knupfungen) sowie der Systemeinstellun-gen gespeichert werden.
Zur Datenhaltung der verschiedenen Da-tentypen ist ein Datenbankmanagement-
system (DBMS) notwendig, wie z. B.H-PCTE [Kelt92]. Aufgrund der freienVerfugbarkeit, der Qualitat und der weitenVerbreitung (mehrere Plattformen werdenunterstutzt) ist das relationale DBMSMySQL ausgewahlt worden.
3.2 Datenbank fur Medien-attribute und Metadaten(Metadaten-/Attributdaten-bank)
Als Ersatz fur die obligatorischen Kartei-kasten haben Medienwissenschaftler schonfruh mit unterschiedlichen Datenbankengearbeitet. Projektubergreifend gab es je-doch keinen zentralen strukturierten Da-tenbankentwurf, sodass viele heterogene,redundante, z. T. unstrukturierte Daten-bestande mit begrenzter Gultigkeit in un-terschiedlichen DBMS aufgebaut wurden,deren Vollstandigkeit, Konsistenz sowieDokumentierung und Pflege ublicherweisezu wunschen ubrig ließ. Eine wichtigeAufgabe bei der Entwicklung des medien-wissenschaftlichen Arbeitsplatzes Medianawar daher der Aufbau einer zentralen Da-tenhaltung fur die Attribut-, Meta- undKontextdaten. Dazu waren
– die unterschiedlichen Datenbanksche-mata zu vereinheitlichen und
– die Daten der vorhandenen Projekt-datenbanken zusammenzufuhren.
Im Zusammenhang damit sollten auch ers-te Schritte in Richtung Datenpflege, Doku-mentation und bereichsubergreifendemDatenzugriff getan werden.
Dabei bestand das Problem, dass die me-dienwissenschaftlich interessanten Daten-objekte der vorhandenen Datenbankenaufgrund der hohen Zahl von Verknupfun-gen (d. h. dem Vorkommen in verschiede-nen Projektkontexten) nur sehr schwer ineinem konsistenten, redundanzfreien undnormalisierten Datenbankschemata zu mo-dellieren sind. Aus diesem Grunde wurdeein „Kernschema“ entwickelt, das die hau-figsten medienwissenschaftlichen Objekt-typen umfasst. Sie orientieren sich an denOriginaltabellen und an in der Sekundar-literatur (Bibliografien, Filmografien etc.)haufig verwendeten Attributen.
Es gibt drei Kategorien von Objekttypen(Bild 3):
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
44 Hartmut Luttermann et al.
– Objekttypen zu audiovisuellen Daten(Video-/Bilddokumente), wie Fernseh-/Filmproduktion, Ausstrahlung (Sen-dung);
– Objekttypen zu textuellen Daten (Text-dokumente), wie Literatur und Akten-eintrag, und
– organisatorische Objekttypen, die furMedienwissenschaftler einen geringereneigenstandigen Wert haben, wie Person,Institutionen/Organisation, Ereignis-beschreibungen, Orte und Fernsehpro-gramme. Diese besitzen aber Bezuge mitObjekttypen der beiden anderen Kate-gorien und sind sowohl im Sinne derNormalisierung des Datenbankschemasals auch fur Recherchezwecke notwen-dig.
Zusatzlich wurden strukturelle Objekt-typen eingefuhrt, die es erlauben, Texteund Filme in Abschnitte und Teilelementezu strukturieren, z. B. Ausstrahlungs-abschnitt fur Fernseh- und Filmproduktio-nen und Literaturstelle (Textabschnitt) furTextdokumente. Diese Objekttypen eroff-nen die Moglichkeit, sowohl unvollstandi-ge Datenbestande prazise zu beschreibenals auch Datensatze zu erstellen, die Teilegroßerer Einheiten genau bezeichnen.
Zu allen Objekttypen konnen Nachweisegespeichert werden, d. h. direkte Verknup-fungen mit textuellen und/oder audiovisu-ellen Mediendaten, z. B. das Bild zu einerPerson, zu einem Handlungsort, das Text-dokument zu einer Literaturquelle oderdas Video zu einer Fernsehsendung. Sie be-sitzen zwei Attribute: a) URL-Adressenzur Beschreibung des Standortes im digita-len Archiv und b) Texte/Kodierungen, dieeine Beschreibung des Standortes im her-kommlichen Archiv bezeichnen.
Auf die Modellierung spezifischer Attri-buttabellen zu Medienobjekten, welche diebesonderen methodischen Untersuchungs-ansatze der Projekte implementieren, undObjekttypen, die von bestimmten sozial-oder geisteswissenschaftlichen metho-dischen Vorgaben ableitet sind, wurde zu-nachst verzichtet. Aber es wurde mit demDatenobjekttyp-Editor ein Verfahren kon-zipiert, mit dem solche Datentabellen undObjekttypen einfach definiert und in denKerndatenbestand integriert werden kon-nen. Zur Aufrechterhaltung der Datenkon-sistenz ist bislang nur das Hinzufugen neu-er und das Loschen alter Datentabellenmoglich, nicht jedoch die �nderung exis-tierender. Diese eignen sich z. B. zur Spei-
cherung umfangreicher projektabhangigerCharakterisierungen von Mediendaten.Exemplarisch wurde eine mehrseitige Cha-rakterisierungsliste fur Nachrichtensen-dungen implementiert [Lude01; Lude98].
Die zwischen den Datenobjekten auf-gebauten Beziehungen existieren in unter-schiedlichen Rollen. So kann eine Personzu einer Produktion in der Rolle des Regis-seurs, Drehbuchautors oder Schauspielersauftreten. In der Datenbank werden dieseVerknupfungen direkt als „Links“ model-liert. Da in einer relationalen Datenbankkein derartiger Mechanismus existiert, wer-den die Links in einer Linktabelle mit ent-sprechender Typisierung, z. B. die Bezie-hungsrolle Regisseur, implementiert. DieEigenschaften des Linktyps werden in ei-ner Linktypentabelle zusammengefasst, dievon einem speziell dafur entwickeltenLinktyp-Editor verwaltet wird.
3.3 Archiv fur audiovisuelleDaten und Textdokumente(Medienobjekt-Datenbank)
Auch wenn die Digitalisierung der gesam-ten Videobestande des SFB von ca. 16.000Stunden auch bei weiterhin fallenden Kos-ten fur Massenspeichersysteme illusorischbleibt, wurde trotzdem ein Archiv fur Vi-deo-, Bild- und Textdokumente (Medien-objekte) als Client-/Server-System unterfolgenden Vorgaben entwickelt [EnFZ99]:
– Benutzung von standardisierten Daten-formaten, wie HTML, PDF, MPEG1-Video, GIF, JPG, PNG;
– Implementierung der Client-Software inder Programmiersprache Java;
– Einsatz von Open Source-Programmenund Standard-Software, wie z. B.WWW-Browser.
In einer ersten Konzeption und Realisie-rung wurden die Medienobjekte als „strea-ming media“ direkt auf einem Web-Servergespeichert und von dort mit der WWW-Server-Software an die Client-Anwendungversendet. Dabei wurde zunachst aufWerkzeuge zum Streamen der Medien-objekte verzichtet. �ber Meta-Tags(Sprungadressen fur Textdokumente, Ti-mecodes fur Videos) werden zusatzlichstrukturelle Informationen kodiert, wiez. B. Sequenzen und Schnitte fur Videos,Abschnitte, Absatz, Satz oder bibliogra-fische Daten fur Textdokumente.
Die Verwaltung der Medienobjekte wird inder zentralen Metadaten-/Attributdaten-bank uber Medien-Referenzobjekte (Da-tenobjekttyp Nachweis-URL) realisiert.Zu jedem auf dem Web-Server gespeicher-tem Medienobjekt existiert in der Meta-daten-/Attributdatenbank ein Referenz-objekt mit einer Kurzbeschreibung undder Web-Server-(URL-)Adresse. Die Ver-waltung der Referenzobjekte (�ndern, Lo-schen, Generieren) integriert dabei dieFunktionen zur Verwaltung der Medien-objekte auf dem Web-Server.
Zur Visualisierung der Medienobjekte wer-den in beiden Client-Anwendungen, so-wohl in der Web-gestutzten Browser-An-wendung Mediana-W3 als auch in dergrafischen Arbeitsumgebung Mediana-Vis,Standard-Tools eingesetzt: Videodatenwerden uber eine MPEG-Player-Software(MPEG-Decoder-Software mit einer Lauf-leiste angezeigt, die Vor- und Ruckspul-funktionen sowie Stop- und Startfunktionintegriert) angezeigt. Diese Software wurdeum eine zu den Videodaten automatisch er-mittelte Schnittliste (siehe Abschnitt 4.1)erweitert, die im Zusammenhang mit demVideoobjekt dargestellt wird. Zukunftigwerden auch Benutzer-definierte Video-positionen auf Basis der „Timecodes“ inte-griert. Beide Informationen eignen sich furden direkten Zugriff auf spezielle Positio-nen im Video (Bild 4). Textdokumentewerden in einem integrierten HTML- undPDF-Browser angezeigt, der auch Bild-dokumente anzeigen und Hyperlinks ver-folgen kann.
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Bild 4 Visualisiertes MedienobjektVideo mit Schnittliste
Mediana: Eine Workbench zur rechnergestutzten Analyse von Mediendaten 45
3.4 Erfassung und Archivierungvon Video, Bild und Text
Die Erfassung und Archivierung der Vi-deo-, Bild- und Textdokumente erfolgt bis-lang nach einem zweistufigen Verfahren.Im ersten Schritt werden die Medienobjek-te auf dem WWW-Server gespeichert. Imzweiten Schritt werden dann dazu vom Be-nutzer manuell Referenzobjekte in der Me-tadaten-/Attributdatenbank generiert, dieauf die Medienobjekte verweisen (Daten-objekttyp Nachweis-URL). Losch- und�nderungsoperationen der Referenzobjek-te schließen das Loschen desMedienobjektsauf dem Web-Server mit ein. Dadurch wirdsichergestellt, dass zu jedem Medienobjektnur ein Referenzobjekt in der Metadaten-/Attributdatenbank existiert.
Der Vorteil dieses Verfahrens ist, dass mitdem Datenobjekttyp Nachweis-URL auchnur Abschnitte oder Indexpositionen inden Medienobjekten referenziert werdenkonnen, ohne dass dabei erneut eine Kopiedes Medienobjekts oder des Teilstucks aufdem WWW-Server angelegt wird. DieseTeilstucke werden in der Metadaten-/Attri-butdatenbank wie Medienobjekte behan-delt und verwaltet. Der Objekttyp Nach-weis-URL ist generisch und kann auch zurReferenzierung von HTML-Seiten imWWW genutzt werden, das dabei selbst alsdynamisches Archiv angesehen wird.
Zukunftig wird das oben beschriebene Er-fassungsverfahren automatisiert. Dazuwird auf dem Web-Server eine Erfassungs-maske (fur Metadaten) mit Uploading-Funktionalitat eingerichtet. Sie liest auto-matisch die digitalisierten Medienobjekte,speichert diese typabhangig auf demWWW-Server und ermittelt aus den Meta-daten die Informationen zu den Referenz-objekten in der Metadaten-/Attributdaten-
bank, die, falls nicht vorhanden, neugeneriert werden. Die Metadaten und dieURL-Adresse zu dem gespeicherten Me-dienobjekt werden mit dem Referenz-objekt in der Metadaten-/Attributdaten-bank gespeichert.
4 Bild- und Videoanalyse
Die Arbeiten an rechnergestutzten Metho-den zur Analyse von Bewegt- und Stand-bildern orientieren sich an wiederkehren-den Anforderungen mit dem Ziel,Medienwissenschaftler von weitgehend„mechanischen“ Tatigkeiten zu entlasten,die viel Zeit in Anspruch nehmen. Die dreilohnenswerten Ziele, die verfolgt wurden,sind (I) die zeitliche Segmentierung digi-taler Videos (Schnittdetektion), (II) die De-tektion von Texten sowie (III) von Gesich-tern in digitalen Bild-/Videodaten. DasErgebnis ist jeweils ein vollautomatisch ar-beitendes Programm, das interaktiv para-metrisiert und an die spezielle Fragestel-lung und dem zu Grunde liegendemVideomaterial angepasst werden muss. Dieerrechneten Ergebnisse werden zur Spei-cherung an die Datenbank weitergereicht.Um die Einbettung in den medienwissen-schaftlichen Arbeitsplatz Mediana zu er-leichtern, wurden alle Verfahren in Java im-plementiert.
4.1 Schnittdetektion
Wegen des hohen Speicherbedarfes mussenVideodaten fur Analysezwecke zeitlichsegmentiert werden. Dazu sind Einstel-lungssendepunkte und Szenenwechsel au-tomatisch aufzufinden. Sie sind neben ihrerBedeutung fur die Analyse des strukturel-len Aufbaus von unbekanntem Videomate-
rial auch fur bestimmte medienwissen-schaftliche Untersuchungen (insbesonderequantitative und statistische) von großemInteresse. Zusatzlich eignen sich Schnittehervorragend zur Indizierung von Video-material. Dabei sind nicht nur Schnitte,sondern ebenso graduelle �bergange, wiedie unterschiedlichen Formen von Blen-den, z. B. fade (langsames Einblenden desneuen Bildes), wipe (Einschieben des neu-en Bildes), dissolve (punktuelles Auflosendes alten Bildes) (Bild 5), von Bedeutung.
Grundlegende Verfahren zur Schnittdetek-tion werden z. B. in [Seyl65; BoWi98] oderspeziell fur MPEG-1-Videos in [ArHC93;YeLi96; KDLF97] beschrieben. DieGrundlage der hier entwickelten Schnitt-detektion ist das Verfahren nach [YeLi96],das die gleichzeitige Definition eines De-tektors fur Schnitte und graduelle �ber-gange ermoglicht. Im Folgenden werdenkurz die einzelnen Arbeitsschritte und dieErgebnisse dieser Schnittdetektion nach[Wald99] vorgestellt:
1. Extraktion von Frames aus demMPEG-Datenstrom (MPEG-Decoder)auf Basis von Frametypen, z. B. Vollbil-der, reduzierte Bilder (sog. DC-Frames), approximierte DC-Frames.
2. Reduktion der Anzahl der Farben durchTransformation in andere Farbraume,z. B. RGB, YUV.
3. Berechnung der Differenzen zweier auf-einanderfolgenden Frames durch Ver-wendung von Metriken auf Basis vonHistogrammdifferenzen, z. B. 6-Bit-Code Histogramm, 3-Kanal-linearisier-tes Histogramm, 3D-Histogramm.
4. Detektion von Schnitten und graduellen�bergangen.
5. Integration der Ergebnisse durch den�bergangsanalysierer in einer Schnitt-liste. Dabei konnen noch Schwellwert-operationen durchgefuhrt werden.
Eine einfach zu bedienende Benutzungs-oberflache erlaubt, die Parameter der ein-zelnen Arbeitschritte vorzugeben. ZumTest wurden Nachrichtensendungen ver-wendet, fur deren Segmentierung die guns-tigste Parametrisierung ermittelt wurde.Dabei wurden fur Schnitte auf Basis vonDC-Frames Detektionsraten von 98% er-reicht (Tabelle 1), die mit den in [YeLi96]dokumentierten Ergebnissen korrelieren.
Es fallt auf, dass die Erkennung gradueller�bergange weitaus schwieriger ist als harteSchnitte. Es kommt insbesondere zu De-tektionsfehlern, wenn das Videomaterialviele schnelle aufeinanderfolgende, kurze�bergange aufweist, die von viel Bewe-gung begleitet sind. Dies fuhrt zu einermangelnden Auflosungsfahigkeit des De-tektors. Die Ergebnisse bei Verwendungvon approximierten DC-Frames ist beigraduellen �bergangen etwas schlechter,bei harten Schnitten gleich gut. Die Ge-schwindigkeit des hier entwickelten Ver-fahrens hangt stark von der verwendetenBildauflosung im Videomaterial ab. ImDurchschnitt werden von dem Algorith-mus 1,5 bis 2,5 Frames pro Sekunde (P II,350 MHz) bearbeitet.
4.2 Textdetektion
Die Einblendung von Text in Bewegtbild-material ist ein wesentliches Instrumentzur Kommunikation wichtiger Inhalte anden Betrachter. Zu den Funktionen zahlenunter anderen die Anzeige aktueller Mel-dungen (z. B. Borsenticker), die Illustra-tion der gesprochenen Worte (z. B. Nach-richten [Lude98]), die Benennung derHandlungsfunktion von Personen (z. B.in Spielshows) und die Darstellung vonInformationen (z. B. Untertitel). Ziel die-ser Arbeit ist die automatische Detektionvon Texten in unbekanntem Bildmaterial.Hierdurch wird die zeitaufwandige visuel-le Sichtung des Materials vereinfacht, da
nur noch das konkrete Auftreten von Textin den im jeweiligen Forschungskontextrelevanten Bildbereichen naher untersuchtwerden muss. Textstellen konnen auf dieseWeise sowohl zur Strukturierung eines Vi-deos, zur automatischen Erhebung vonMetadaten als auch zur Wiedergabe seman-tischer Informationen genutzt werden.
Die meisten existierenden Ansatze zurTextdetektion in Bildmaterial [z. B.JaYu98; WuMR97; SuWa96], nicht Text-erkennung im Sinne von Optical CharacterRecognition (OCR), basieren auf idealisie-renden Annahmen, die auf das Bild-/Vi-deomaterial in medienwissenschaftlichenProjekten nicht zutreffen:
– Text- oder Bildkomponenten befindensich auf einem homogenen Hintergrund.Tatsachlich ist der Bildhintergrund oftextrem inhomogen.
– Fur die Eingabe ist ein spezielles Bild-format vorgegeben, das bei dem vorlie-genden Bild-/Videomaterial nicht vor-handen ist.
– Alle Zeichen haben die gleiche Farbebzw. Helligkeit. Tatsachlich schwanktdie Farbe bzw. Helligkeit der einzelnenBuchstaben teilweise extrem.
Auch aus Grunden fehlender Performanzder existierenden Verfahren wurde ein ei-genstandiger Ansatz mit folgenden Ar-beitsschritten entwickelt [Knol00]:
1. Extraktion von Frames aus dem Video-material (MPEG).
2. Konvertierung des farbigen Videobildesin Graustufen, da die Farbinformatio-nen irrelevant sind. Dies verstarkt denKontrast von Text zu der Umgebung.
3. Reduktion der Anzahl der Graustufenvon 256 auf 16 bei gleichem Kontrast,um Helligkeitsschwankungen zu verrin-gern (Quantisierung). Zusammen wer-den in den letzten beiden Schritten diemoglichen Farbwerte auf ungefahr 1Millionstel reduziert.
4. Suche nach Kanten (markante Hellig-keitsunterschiede) mit Hilfe eines Can-ny-Filters [Cann86] und Verbinden de-rer Kantenpunkte zu Kantenzuge.
5. Bestimmung moglicher Textkandidatenaus allen gefundenen Kantenzugen.
6. Verbinden der Kantenzuge, soweitmoglich, sodass die durch die Kanten-zuge definierten Komponenten einenBildbereich umschließen.
7. Analyse der Komponenten und ihrerNachbarn auf mogliche Textkandidatenunter Berucksichtigung der Große und
des Aufbaus der Komponenten, ihrer re-lativen Lage und der Schwankungen der(in ihnen enthaltenen) Graustufenwerte.
8. Markierung und Ausgabe der Ergebnis-se.
Anhand von Videoaufzeichnungen vonNachrichtensendungen wurden fur den7. Schritt unterschiedliche Verfahren getes-tet. Der erfolgversprechendste Ansatz isteine Gruppierung der potenziellen Texttei-le nach Farb- und Helligkeitswerten. Ins-besondere bei Texten, die durch eine Vi-deomaschine generiert (z. B. Untertitel)und nicht als Bestandteil des Bildes (z. B.T-Shirt-Aufdruck) gefilmt werden, beiScreenshots von Internetseiten als auch beifremden Schriftzeichen (z. B. Kanjis)bringt dieser Ansatz gute Ergebnisse(Bild 6). Je nach Bildgroße sind fur diesesVerfahren zwischen 1 und 5 Sekunden proBild (P II, 350 MHz) zu veranschlagen.
4.3 Gesichtsdetektion
Die Suche nach Personen in Bewegtbild-material oder ihre Lokalisation in be-stimmten Bildbereichen ist fur medienwis-senschaftliche Untersuchungen ebenfallsvon großer Bedeutung. Personen und Ge-sichter spielen in Bild-/Videomaterial einetragende Rolle, zum einen als Handlungs-trager, zum anderen fur Untersuchungenbez. der Form der Darstellung [Lude98;Tech98]. Ziel der Arbeiten ist die automati-sche Detektion von Gesichtern in unbe-kanntem Bildmaterial. Dies ist besonders
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Bild 6 Detektierter Text in einemVideo-Frame
Tabelle 1 Ergebnisse der Schnittdetek-tion bei Nachrichtensendungen
korrekt nichtgefunden
Schnitte �98% �2%
graduelle�bergange
�94% �7%
Mediana: Eine Workbench zur rechnergestutzten Analyse von Mediendaten 47
bedeutsam z. B. bei der Videoindizierung,bei der Klassifikation von unbekanntemVideomaterial (z. B. Filme mit/ohne Men-schen) oder im Zusammenhang mit einem�hnlichkeitsalgorithmus bei der Suche vonahnlichen Gesichtern.
Die aus der Literatur bekannten Verfahrenzur Gesichtsdetektion [WPBþ98 gibt ei-nen �berblick] basieren im Wesentlichenentweder auf einem „feature mat-ching“-Ansatz, auf einem geometrischenAnsatz oder auf einem „template mat-ching“-Ansatz [BrPo95]. Der letzte Ansatzbildet die Basis des hier entwickelten Ver-fahrens. Es vergleicht Muster von Ge-sichtsformen mit im Bild auftretendenKomponenten. Die einzelnen Schritte desVerfahrens sind:
1. Extraktion von Frames aus dem Video-material (MPEG).
2. Konvertierung des farbigen Videobildesin Graustufen (siehe Textdetektion).
3. Reduktion der Anzahl der Graustufen(siehe Textdetektion).
4. Setzen von einer bestimmten Anzahlvon „Saatpunkten“ in das Bild fur einen„Region Growing“-Ansatz. Hierzuwird das Bild nach Pixel untersucht, andenen sich der Helligkeitswert maßgeb-lich andert und gleichzeitig die gemesse-ne Helligkeit in einem bestimmten, em-pirisch ermittelten Intervall liegt.
5. Durchfuhren des „Region Growing“fur jeden Saatpunkt: Jeder Umgebungs-punkte eines Saatpunktes wird unter-sucht und zu diesem hinzugefugt, fallsdie Abweichung der Punkte unter einerSchranke liegt.
6. Auswahl von Gesichtskandidaten ausden entstandenen Regionen auf Basisderer Große.
7. Vergleich der Regionen mit sechs „Ge-sichtsformen“ und sechs „Nicht-Ge-sichtsformen“. Die letzteren Formensind dem menschlichen Gesicht auf-grund der Verteilung der Helligkeitsstu-fen sehr ahnlich. Alle als „Nicht-Ge-sichtsform“ klassifizierten Regionenwerden verworfen.
8. Markierung und Ausgabe der Ergebnis-se.
Der Algorithmus erzeugte, insbesonderenach einer Phase der Parameteradjustie-rung, sehr zufriedenstellende Ergebnisse(Bild 7). In der Folge wurde an der Verfei-nerung des vorletzten Schritts sowie an ei-ner exakteren Markierung der Ergebnissegearbeitet. Fur Bilder in der Große
320� 240 Pixel benotigt das Verfahren zwi-schen 1 und 5 Sekunden (P II, 350 MHz).
Eine wesentliche technische Anforderungfur den Entwurf der Client-Anwendungfur den medienwissenschaftlichen Arbeits-platz Mediana ist durch die Heterogenitatder im Einsatz befindlichen Rechnerplatt-formen (Wintel-, Apple-, und Linux-Rech-ner) und durch die geografische Verteilungder Projekte gegeben, die entfernte Zugrif-fe uber das Internet notwendig macht. Diesbedingt den Einsatz von Standardschnitt-stellen, Java und HTML. Die Funktionali-tat der Client-Anwendung hangt von denunterschiedlichen Zielsetzungen in Bezugauf die Arbeitsablaufe der Medienwissen-schaftler ab. Deshalb wurden zwei Client-Anwendungen entwickelt: Mediana-W3 istein HTML-/CGI-basierter Abfrage-Client(im Web-Browser) fur Recherchearbeiten,der sich auf mengenorientierte Suchopera-tionen via HTML-Abfragemasken und aufdie Text-basierte Anzeige von Medien-objekten und den damit verbundenen Me-tadaten beschrankt. Mediana-Vis ist eine inJava implementierte grafische Arbeits-umgebung, die neben Recherche-, vielfalti-ge Editier- und auch interaktive, grafischeVisualisierungsmoglichkeiten besitzt. ImFolgenden werden die Funktionen undAspekte der Client-Anwendungen vonMediana naher vorgestellt.
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Bild 7 Detektierte Gesichter in einemVideo-Frame
Bild 8 Visualisierung der Beziehung zwischen Schauspielern
48 Hartmut Luttermann et al.
5.1 AnzeigemedienwissenschaftlicherMeta- und Attributdaten
Bei der Text-basierten Anzeige der me-dienwissenschaftlichen Datenobjekte inMasken wird zwischen direkten und indi-rekten Attributen unterschieden. DirekteAttribute bezeichnen alle vordefiniertenAttribute eines Datenobjekts. IndirekteAttribute sind die Attribute eines zweitenDatenobjekts, das mit dem ersten Daten-objekt uber einen Link verknupft ist.
Fur jedes Datenobjekt sind vier Formender Darstellung moglich:
– „Voll-“Darstellung: Anzeige aller direk-ten und indirekten Attribute.
– „Teil-‘‘: Anzeige nur der direkten Attri-bute, die zur Identifikation des Objektsnotig sind.
– „Ikonen-“: Anzeige der Signatur einesDatenobjekts. Diese Darstellung verein-facht die grafische Visualisierung vonVerknupfungen oder assoziative Struk-turen zwischen Datenobjekten.
– „Editier-“: �nderungen an den direktenAttributen des Datenobjekts sind mog-lich.
Um jeden Benutzer eine individuelle unddetailliertere Darstellungsform von Daten-objekten zu ermoglichen, wurde ein Da-tenobjektmasken-Editor entwickelt. Damitkann benutzerabhangig spezifiziert wer-den, welche der direkten und indirektenAttribute eines Datenobjekttyps in welcherReihenfolge und mit welchen Bezeichner-texten angezeigt werden.
Die Anzeige von Datenobjekten des TypsNachweis-URL integriert typabhangig dieVisualisierung von Video-, Bild- und Text-dokumenten sowie HTML-Seiten. Dieseist zusatzlich mit der Visualisierung der Er-gebnisse der Analysemodule Schnitt-,Text- und Gesichtsdetektion verbunden(Bild 4).
5.2 Anzeige der Verknupfungenzwischen medienwissen-schaftlichen Datenobjekten
Die Recherche und Anzeige einzelner Da-tenobjekte ist in beiden Client-Anwendun-gen moglich. Mediana-Vis erlaubt zusatz-lich die gleichzeitige Darstellung einer
beliebigen Anzahl von Datenobjekten. DieKernfunktion von Mediana-Vis ist jedochdie Visualisierung der zwischen den Daten-objekten bestehenden Verknupfungen (Be-ziehungen/Links).
Verknupfungen zwischen Datenobjektenexistieren in verschiedenster Form und An-zahl. Visualisierungen von Verknupfungenhelfen besonders die assoziativen (netzarti-gen) Strukturen, in denen die Datenobjektemiteinander verbunden sind, sichtbar zumachen. Auf diese Weise konnen Verbin-dungen und Abhangigkeiten zwischen(auch entfernteren) Datenobjekten ent-deckt und sichtbar gemacht werden(Bild 8). Auf die Bedeutung der Visualisie-rung von Objektbeziehungen weisen ver-schiedene Arbeiten in [CaMS99] hin. Ver-knupfungen werden in Form vonVerbindungslinien zwischen zwei Daten-objekten dargestellt. Dabei besteht fur denBetrachter die Moglichkeit, die grafischePosition der Datenobjekte interaktiv zuandern, um so Beziehungen zwischen ent-fernteren Objekten klarer sichtbar zu ma-chen.
Neben den Standardtypen fur Verknup-fungen ist es moglich, in der Datenbankprivate Verknupfungstypen zu definierenund diese mit Annotationen zu versehen.Annotationen werden fur jeden Benutzerseparat gespeichert. Damit kann eine wei-tergehende individuelle und projektspezi-fische Strukturierung des Datenbestandesvorgenommen werden. Datenobjektbezie-hungen konnen jederzeit neu generiertoder geloscht werden. Die Darstellung derprivaten Links beinhaltet die Anzeige desVerbindungstyps und der Annotation.
5.3 Recherchemasken
Zur Vereinfachung von Abfrage-/Suchope-rationen auf Datenobjekten ist fur jedenDatenobjekttyp eine Recherchemaske im-plementiert, die Wertangaben zu allen defi-nierten direkten und indirekten Attributeneines Datenobjekts erlaubt. Die Ergebnisseder Suchanfrage werden in einer Liste mitsensitiven Eintragen angezeigt: Zu jedemEintrag wird durch Anwahlen des „Link-knopfs“ die Einzeldarstellung des jeweili-gen Datenobjekts gestartet. Um �nderun-gen und Erweiterungen der Darstellungs-und Abfrage-/Suchmasken zu erleichtern,werden ihre Ausgestaltung und Eigen-schaften in die Datenbank abgelegt.
Zusatzlich ist in Mediana-Vis ein Web-Browser fur Web-basierte Dokumentre-cherchen integriert. Die Recherche aufWeb-basierten Textdokumenten ist eineder grundlegendsten Tatigkeiten von me-dienwissenschaftlichen Untersuchungen.Dabei wird zur Textrecherche haufig eineStichwortsuche verwendet, wie sie von vie-len WWW-Suchmaschinen (z. B. Alta-Vis-ta, Google) angeboten wird. Jedoch sinddie Ergebnisse solcher Suchanfragenschwer zu bewerten, weil sie nicht kontext-bezogen und schwer auf eine bestimmteAuswahl von offentlichen und privatenTextdokumenten eingrenzbar sind. Ausdiesem Grunde wurde die Volltext-Such-maschine Web-Glimpse [WebG00] auf denWWW-Server des Medien-Archivs instal-liert und mit den im Textarchiv verfug-baren Textdokumenten indiziert. Eine we-sentliche Eigenschaft dieser Suchmaschineist die Eingrenzung der Suche auf eineAuswahl von Textdokumenten.
Eine ganz andere Recherchemoglichkeitbesteht durch die in der Datenbank abge-legten Beziehungen zwischen Datenbank-objekten. Durch das Anwahlen der in denDarstellungsmasken vorhandenen „Link-knopfe“ werden, ahnlich einem Hyperlink,die Einzeldarstellung des mit dem ur-sprunglichen Datenobjekt in Beziehungstehenden Datenobjekts geladen und dar-gestellt. Von dort kann weiteren Linksnachgefolgt werden und so der gesamte ge-speicherte, verknupfte Datenbestand inkl.der mit Referenzobjekten verknupften mo-no- und audiovisuellen Mediendaten navi-gatorisch erfasst und visualisiert werden(Bild 8).
5.4 Zusatzfunktionen
Verschiedene Zusatzfunktionen wurden inden medienwissenschaftlichen ArbeitsplatzMediana integriert:
– Export von Datenobjekten: Beliebigevom Benutzer spezifizierte Mengen vonDatenobjekten und deren Beziehungs-informationen werden zum Austauschoder Export aus der Datenbank ausgele-sen und in Textform in einer HTML-Seite aufbereitet. Diese kann entwederinnerhalb der Datenbank, als lokale Da-tei oder als Attachment an einer E-Mailan andere Benutzer weitergegeben wer-den.
– „Bookmarks‘‘: Die Bedeutung grafischerDarstellungen von Verknupfungsinfor-
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Mediana: Eine Workbench zur rechnergestutzten Analyse von Mediendaten 49
mationen zwischen den Datenobjektenzur Analyse und Exploration von asso-ziativen Strukturen wird durch dieMoglichkeit unterstrichen, diese in sog.„bookmarks“ zu speichern und zu ei-nem spateren Zeitpunkt wieder sichtbarzu machen.
– Benutzer-spezifische Arbeitsumgebung:Verschiedene personliche Systemeinstel-lungen werden bei Beendigung der Ar-beitssitzung Benutzer-spezifisch gespei-chert. Dazu gehoren die moglichenKonfigurationsvarianten der Arbeits-umgebung, die Ausgestaltung und derStatus der Benutzungsoberflache (z. B.die Anzahl und der Inhalt der „Book-marks“) sowie der Status der Arbeitssit-zung (d. h. der grafische und datentech-nische Inhalt der Arbeitsflache). Beieiner erneuten Anmeldung wird mithilfedieser Daten der letzte Zustand wieder-hergestellt.
Zusatzlich ist der medienwissenschaftli-che Arbeitsplatz Mediana als offenesSystem konzipiert, um Erweiterungen zuermoglichen. Ein Beispiel dafur sind dieAnalysemodule Schnitt-, Text- und Ge-sichtsdetektion, die als Erweiterung derKernfunktionalitat in Form von externenFunktionen nachtraglich in den Arbeits-platz integriert wurden.
6 Diskussion
Obwohl einzelne Komponenten des me-dienwissenschaftlichen Arbeitsplatzes Me-diana sowohl in Autoren- als auch in Ar-chivierungssystemen wiederzufinden sind,werden hier unter einer gemeinsamen Be-nutzungsoberflache verschiedene Daten-banken und Arbeitsablaufe zusammenge-fuhrt. Dieser Ansatz vermeidet denunzureichenden Mechanismus, verschiede-ne Programme parallel zu verwenden undvia „cut’n’paste“ Informationen zwischenden Programmen austauschen zu mussen.Dies gilt insbesondere fur Anwendungen,in denen sowohl audiovisuelle Daten alsauch Attributdaten und semantische Kon-textdaten in direkter Beziehung zueinan-der stehen und gemeinsam als Unter-suchungsgrundlage verwendet werden.Diese Datenintegration ermoglichte denEntwurf von assoziativen Navigations-methoden.
Das funktionale Konzept des Arbeitplatzesmit der Moglichkeit der Erweiterung ist so
angelegt, dass viele implementierte Funk-tionen und Hilfsprogramme fur ahnlich ge-lagerte Aufgaben in anderen Kontexteneingesetzt werden konnen. Dies gilt ins-besondere fur den Datenobjekttyp-Editorsowie fur die Visualisierung der Daten-objekt-Verknupfungen. Dieses Konzept er-laubt es auch, fur eine neue Anwendungschnell und einfach spezifische Analyseme-thoden zu entwickeln und zu integrieren.
Die Verwaltung/Archivierung und inhalts-basierte Analyse von Bildmaterial ist undwird in der Praxis von Print- und Fernseh-medien starker in den Vordergrund treten,sodass die vorgestellten Ergebnisse des Ar-beitsplatzes Mediana als Prototyp hierfurverstanden werden.
7 Zusammenfassungund Ausblick
Das zentrale Ergebnis dieser Arbeit ist dermedienwissenschaftliche Arbeitsplatz Me-diana, der in der jetzigen Ausbaustufe dieBasisfunktionen eines auf die Belange me-dienwissenschaftlicher Forschungen zuge-schnittenen Arbeitsplatzes bereitstellt unddie wesentlichen Ablaufe unter einer Be-nutzungsoberflache integriert. Dazu geho-ren die Verwaltung medienwissenschaftli-cher Datenbestande, die Archivierung vonVideo-, Bild- und Textdokumenten, die au-tomatische strukturelle Analyse von audio-visuellen Medienobjekten sowie die Ab-frage und interaktive Visualisierung(Exploration) der Datenbestande, Medien-objekte und deren gespeicherte Verknup-fungen.
Zukunftige Arbeiten konzentrieren sichauf die Konzeption des Mehrbenutzer-betriebs des Datenbank-Servers bei Daten-editionen und den damit verbundenenAspekten, wie Versionierung, langenTransaktionen und Datenabstimmung. Zu-satzlich soll die Benutzungsoberflache wei-terhin an die Anforderungen der medien-wissenschaftlichen Arbeitsweise angepasstund optimiert werden. Weitere Abfrage-techniken, wie z. B. komplexe Anfragen,die mehrere Einzelanfragen verbinden,oder hierarchische Anfragen, die Attributezu mehreren verlinkten Datenobjekten in-tegrieren, sind mit einer neuen Datenbank-version in Planung. Ebenfalls sind weitereAnalysetechniken, wie z. B. statistischeUntersuchungen zu dem Auftreten be-stimmter Attributwerte, vorgesehen.
Anmerkung
1 Die hier beschriebenen Forschungstatig-keiten von Medienwissenschaftlern bezie-hen sich auf die seit 1985 durchgefuhrtenArbeiten im Rahmen des SFB 240.
Literatur
[ABDþ96] Aberdeen, L.; Burger, J.; Day, D.;Hirschman, L.; Palmer, D. D.; Robinson, P.; Vi-lain, M.: MITRE: Description of the AlembicSystem as Used in MET. Proceedings of theTIPSTER 24-Month Workshop, May 5–8, 1996.
[ArHC93] Armann, F.; Hsu, A.; Chiu, M.-Y.:Image Processing on Compressed Data for Lar-ge Video Databases. In: Proc. 1st ACM Int.Conf. on Multimedia, Anaheim. ACM Press1993, S. 267–272.
[AbTN98] Aberer, K.; Thimm, H.; Neuhold, E.-J.:Multimedia Database Management Systems. In:Furht, B. (Hrsg.): Handbook of MultimediaComputing. CRC Press 1998, S. 579–604.
[BoWi98] Boreczky, J. S.; Wilcox, L. D.: A HiddenMarkov Model Framework for Video Segmenta-tion using Audio and Image Features. In: Proc.of IEEE Int. Conf. on Acoustic, Speech and Sig-nal Processing 6, Seattle. IEEE Press 1998,S. 3741–3744.
[BPSM00] Bray, T.; Paoli, J.; Sperberg-McQueen,C. M.; Maler, E. (Hrsg.): Extensible MarkupLanguage (XML) 1.0. World Wide Web Consor-tium (W3C) 2000.
[BrPo95] Brunelli, R.; Poggio, T.: Template Match-ing: Matched Spatial Filters and Beyond. Techni-cal Report, MIT AI Lab. 1995.
[Cann86] Canny, J. F.: A computational approachto edge detection. In: IEEE Transactions on Pat-tern Analysis and Machine Intelligence (PAMI)8 (1986) 6, S. 679–698.
[CaMS99] Card, S. K.; MacKinlay, J. D.; Schneider-man, B. (Hrsg.): Information Visualization:Using Vision to Think. Morgan Kaufman Pub-lishers 1999.
[DWRþ01] Duncan, G.; Weisstein, T.; Romano-wicz, J.; Coleman, B.; Jakobsson, E.: The Biol-ogy WorkBench: A Molecular Biology Discov-ery Tool for Studying Evolution. http://bioweb.ncsa.uiuc.edu/educwb/tutorials_current/BioQUEST/, Abruf am 2001-05-21.
[FrGK99] Freisleben, B.; Grauer, M.; Kelter, U.(Hrsg.): Methoden und Werkzeuge zur rechner-gestutzten medienwissenschaftlichen Analyse.Arbeitshefte Bildschirmmedien 76, Universitat-GH Siegen 1999.
[GrMe97] Grauer, M.; Merten, U.: Multimedia –Entwurf, Entwicklung und Einsatz in betriebli-chen Informationssystemen. Springer-Verlag,Berlin, Heidelberg 1997.
[Grif98] Griffel, F.: Componentware. Konzepteund Techniken eines Softwareparadigmas.dpunkt-Verlag, Heidelberg 1998.
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
50 Hartmut Luttermann et al.
[HoET00] Hollfelder, S.; Everts, A.; Thiel, U.: De-signing for Semantic Access: A Video BrowsingSystem. In: Multimedia Tools and Applications11 (2000) 3, S. 281–293.
[Info01] Carnegie Mellon University: InformediaDigital Video Library. http://www.informe-dia.cs.cmu.edu/, Abruf am 2001-05-21.
[JaYu98] Jain, A. K.; Yu, B.: Automatic Text Loca-tion in Images and Video Frames. In: Pattern Re-cognition, 31 (1998) 12, S. 2055–2076.
[Kelt92] Kelter, U.: HPCTE – A High Perfor-mance Object Management System for SystemDevelopment Environments. In: Proc. of 16th
Annual Int. Computer Software and ApplicationConf. IEEE Press 1992, S. 45–50.
[KDLF97] Kobla, F.; Dormann, D.; Lin, K.-P.; Fa-loutsos, C.: Compressed Domain Video IndexingTechniques Using DCT and Motion Vector In-formation in MPEG Videos. In: Proc. of theConf. on Storage and Retrieval for Image andVideo Databases 5. SPIE Proc. 3022, SPIE Press1997, S. 200–211.
[Knol00] Knoll, M.: Algorithmen zur Extraktionvon Text aus digitalen Bildern. Diplomarbeit,Fachbereich Elektrotechnik und Informatik,Universitat Siegen 2000.
[KrTh94] Kreuzer, H.; Thomsen, C. (Hrsg.): Ge-schichte des Fernsehens in der BundesrepublikDeutschland, 5 Bande. Fink-Verlag Munchen1994.
[Lude98] Ludes, P.: Schlusselbilder von Staatsober-hauptern. Pressefotos, Spielfilme, Fernsehnach-richten, CD-ROMs und World Wide Web. Ar-beitshefte Bildschirmmedien 72, UniversitatSiegen 1998.
[MPEG01] MPEG. http://www.mpeg.org/MPEG/index.html, Abruf am 2001-05-21.
[OlHa99] Olligschlaeger, A., Hauptmann, A.: Mul-timodal Information Systems and GIS: The In-formedia Digital Video Library. 1999 ESRI UserConference, July 27–30, 1999.
[PuSt00] Putz; S.; Stankovic, S.: Veroffentlichungenaus dem Sonderforschungsbereich ,Bildschirm-medien‘ V. Arbeitshefte Bildschirmmedien 80,Universitat Siegen 2000.
[Seyl65] Seyler, A. J.: Probability Distribution ofTelevision Frame Difference. In: Proc. Institu-tion of Radio and Electronic Engineers Australia26 (1965) 11, S. 355–366.
[SFB98] DFG Sonderforschungsbereich 240(Hrsg.): �sthetik, Pragmatik und Geschichte derBildschirmmedien. Projektubersicht. Arbeitshef-te Bildschirmmedien 74, Universitat Siegen 1998.
[Stei00] Steinmetz, R.: Multimedia-Technologie:Grundlagen, Komponenten und Systeme. Sprin-ger-Verlag 2000.
[SuWa96] Suen, H-M.; Wang, J.-F.: Text String Ex-traction from Images of Colour-Printed Docu-ments. In: IEEE Proc. on Vison, Image and Sig-nal Processing 143(4). IEEE Press 1996, S. 210–216.
[Tech98] Techentin-Bauer, I.: Prasidenten der USAund deutsche Bundeskanzler auf Pressefotos von1949 bis 1995. In: [Lud98], S. 13–39.
[USC01] University of Southern California:Neuroinformatics Workbench. http://www-hbp.usc.edu/workbench.html, Abruf am 2001-05-21.
[Wald99] Waldhans, J.: Ein System zur Verwaltungund semiautomatischen Analyse von Nachrich-tensendungen fur medienwissenschaftliche Zwe-cke. Diplomarbeit, Siegen, Bonn 1999.
[WebG00] WebGlimpse: http://www.webglimp-se.net, Abruf am 2000-10-10.
[WaHS01] Wallnau, K.; Hissam, S.; Seacord, R.:Building Systems from Commercial Compo-nents. AddisonWesley Publishing Company, 2001.
[WuMR97]Wu, V.; Manmatha, R.; Riseman, E. M.:Finding Text in Images. In: Allen, R. B.; Rasmus-sen, E. (Hrsg.): Proc. Of the 2nd ACM Int.Conf. on Digital Libraries. ACM Press, NewYork 1997, S. 3–12.
[WPBþ98] Wechsler, H.; Phillips, P. J.; Bruce, V.; etal. (Hrsg.): Face Recognition – From Theory toApplication. Springer, Berlin 1998.
[YeLi96] Yeo, B.-L.; Liu, B.: A Unified Approachto Temporal Segmentation of Motion JPEG andMPEG Compressed Video. In: Proc. of 2nd Int.Conf. on Multimedia Computing and Systems,Los Alamitos. IEEE Press 1996.
WIRTSCHAFTSINFORMATIK 44 (2002) 1, S. 41–51
Abstract
Mediana: A workbench for the computer-based analysis of media data
This paper presents Mediana, a computer-based, integrated workbench for the manage-ment and analysis of media data supporting media researchers. Its main components arethe recording and management of multimedia data (i.e. image, video and text data) in adatabase system, semi-automatical analysis tools for images and videos, and a graphicaluser interface (GUI) integrating all tools and components applied in media research.
Keywords: workbench, multimedia, database, face detection, video segmentation,cut detection, text detection, information visualization
Bücher für Wirtschaftsinformatiker unter ...
www.wirtschaftsinformatik.de
�
Mediana: Eine Workbench zur rechnergestutzten Analyse von Mediendaten 51
