Automobilhersteller

Realtime-Streaming von Telelog-Fahrzeugdaten mit Kafka und Storm

Ausgangsbasis

Es sollen Funktionsverbesserungen pro Markt und Fahrzeugreihe erzielt werden
Die aktuelle Datenlage erlaubt keine Aussage über die Korrelation der Nutzung von Fahrzeugfeatures sowie über den Einfluss externer Faktoren wie GPS, Wetter, Passagieren oder Staus
Es liegen keine detaillierten Nutzungsdaten zu Fahrzeugfeatures vor
Keine Anbindung von Realtime-Daten aus den Fahr-zeugen vorhanden
Ein Angebot auf Basis der individuellen Fahrzeugnutzung ist somit nicht möglich

Aufnahme der Anforderungen und Auswahl des besten Tools (Flume, Spark, Storm)
Use Case Onboarding und HDFS Data Lake Setup mit Fokus Mandanten-Security
Einrichtung von Kafka für DEV/INT/PROD Umgebungen, sowie Abstimmung mit den Producer-Servern
Deployment einer Strom Trident Topology zur Realtime-Verarbeitung der Kafka Topics (Anonymisierung, DQ, Data Validation)
HDFS Sink zur weiteren Analyse mit Hive
Systemtest (Stress-/Unittest, Performanceoptimierung)

Kerberized HDP 2.5 mit funktionsfähigem, getestetem Kafka 0.10 und Storm 1.0
Automatisierte Deployment Skripte für die DEV/INT/PROD Umgebung
Technische Voraussetzungen für die Bereitstellung und Datenübertragung von Realtime-Fahrzeugdaten sind geschaffen
Big Data Reporting Anbindung über Hive und Knox an Tableau Server liegt vor
Daten und Analyse Plattform ermöglichen es dem Data Scientist die Fahrzeugdatenanalyse durchzuführen

Langfristige und kostengünstige Speicherung der Fahrzeugnutzungsdaten im Data Lake
Daten werden on-the-fly anonymisiert und können in Echtzeit von Data Scientists genutzt werden
Fachbereich kann eigene Analysen durchführen (Self-Service BI)
Fahrzeugdatenanalyse in Echtzeit möglich
Individuelle Angebote auf Basis von Fahrzeugnutzungsdaten
Die Applikation bietet eine enorme Resilienz, so dass Datenverlust auch beim Ausfall mehrerer Komponenten sehr unwahrscheinlich ist