Getting business-relevant insights from machine data with Splunk and Hadoop

www.fun.de Machen Sie mehr aus Ihren Daten www.fun.de Machen Sie mehr aus Ihren Daten!


Verborgene Datenschätze heben Mit Hunk und Hadoop von Maschinendaten zu

geschäftsrelevanten Einsichten

Big Data User Group

Stuttgart, 27.02.2014

Johannes Feulner, Geschäftsführer

fun communications GmbH

Log Management

und Big Data

Analytics save

the World


Agenda

Big Data

Log Management

Success Story

Creating a Big Data Platform


Wir über uns

Johannes Feulner

Geschäftsführer, Gesellschafter

Mitgesellschafter 35 Mitarbeiter Gründung Firmensitz


DATA


Big Data – Die Herausforderung

Datenvielfalt Datenmenge

Herkömmliche Werkzeuge

Erwartete Antwortzeit

Genau hier setzen

wir an!


Strukturierte vs. unstrukturierte Daten

Quelle: http://www.yalescientific.org/2012/03/hadapt-yale-startup/


Log Management


Grundanforderungen im Log Management

Sammeln

Zentrale

Speicherung

Langzeit-

speicherung

Suche Analyse

Reporting

Skalierbarkeit


Wie baue ich eine Big Data Plattform?

Ingestion

Wo sind meine

Datenquellen?

Wie kann ich darauf

zugreifen?

Persistenz

Müssen historische

Daten verfügbar

sein?

Gibt es durch-

laufende Daten?

Rechte/Rollen Welcher Nutzer darf

welche Daten

sehen?

Monitoring/Alerting

Wie werden

Erkenntnisse in

bestehende

Betriebsabläufe

integriert?

Compliance Welche Audits

müssen

revisionssicher

unterstützt werden?

Analytics Welche Tools sollen

integriert werden?

Reaktionszeit Wie schnell müssen

Auswertungen

erfolgen? Batch

oder Echtzeit?

Technologie Welche

Technologien

decken meine

Anforderungen am

besten?

Datenschutz Wo sind

schutzwürdige

Daten zu

anonymisieren oder

pseudonymisieren?


Die Herausforderung: Auswahl der richtigen Werkzeuge

HP ArcSight Logger

LogLogic


Unsere Sichtweise …

Log Management ist der zentrale Enabler mit Mehrwert für

viele Bereiche im Unternehmen.


Success Story


Problem

Mail-Empfänger

Spam und Phishing-Mails auf den ersten Blick

erkennen

Mail-Versender

Mails sollen Posteingang erreichen

Vertrauen des Kunden

Kennzahlen über Mail-Empfang


Lösung

Versender signiert E-Mails

E-Mail Provider prüft Signatur

E-Mail Provider kennzeichnet

vertrauenswürdige Mail

Zentrale Plattform zur

Auswertung und Abrechnung


Eckdaten

Dezentrale Absender-Authentifizierung und

Integritätsprüfung

Zentrale Analyse der „Logo-Events“ aller beteiligten Provider

Mehr als 2 Mrd. Logo-Events monatlich; Tendenz stark

wachsend

15 zentrale Server

4 Mail-Provider -> Reporting

Dutzende Newsletter-Versender -> Reporting


Historie

Klassischer Start mit einer Oracle-basierten Lösung

Bis 150 Mio. Logo-Events pro Monat

Berechnungszeit pro Tagesreport: > 24 h


Big Data Plattform

aufbauen


Revolution

Migration auf Hadoop

Cluster aus 7 Rechnern, 1 Master Node, 6 Slave Nodes

Mehrere Hive- und MapReduce-Skripte (Python)

Import der verdichteten Daten in Oracle DB

2 Mrd. Logo-Events pro Monat

Berechnungszeit pro Tagesreport: 3 h


… so what about ?

Then there came new questions …
















Neue Fragen? Einfach ausprobieren!

Mail-Öffnungsstatistik nach Domains earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" cid

= "*" | rename cid as tdcheckid |join tdcheckid

[search tdcheckid="*" earliest="1/1/2012:0:0:0"

latest="1/2/2012:0:0:0" ] | chart count as total by

tddomain

Mittlere Öffnungszeiten source = "*tdlogos*" | transaction cid keepevicted="true"

maxspan="20m" | stats avg(duration)


Tutorial

Lessons Learned


Evolution

Migration to Hunk

Hunk = Analytics for Data on Hadoop

Customizing instead of Programmierung

Implementing 5 times faster

Free exploration, asking new questions

Graphic Reports out of the box

Roles and User Management out of the box

Time to calculate the daily reports: 3 h


„Das sind Abertausende, wenn nicht

Millionen Textzeilen. Aber ich muss

sie nicht alle persönlich durchsehen

… Ich habe eine … Software, die

jeder gratis im Internet bekommt.

Damit kann ich auch große Daten-

mengen verwalten“ (sagt Piero Manzano p. 496 f. und rettet die Welt)

http://www.fun.de/splunk


Johannes Feulner Geschäftsführer

[email protected]

+49 721 96448-0

www.fun.de

Date post:	04-Jul-2015
Category:	Technology
Upload:	big-data-user-group-karlsruhestuttgart
View:	201 times
Download:	1 times

Getting business-relevant insights from machine data with Splunk and Hadoop

Technology