Automobilhersteller

Realtime-Streaming von Telelog-Fahrzeugdaten mit Kafka und Storm

Ausgangsbasis

  • Es sollen Funktionsverbesserungen pro Markt und Fahrzeugreihe erzielt werden
  • Die aktuelle Datenlage erlaubt keine Aussage über die Korrelation der Nutzung von Fahrzeugfeatures sowie über den Einfluss externer Faktoren wie GPS, Wetter, Passagieren oder Staus
  • Es liegen keine detaillierten Nutzungsdaten zu Fahrzeugfeatures vor
  • Keine Anbindung von Realtime-Daten aus den Fahr-zeugen vorhanden
  • Ein Angebot auf Basis der individuellen Fahrzeugnutzung ist somit nicht möglich

Vorgehensweise

  • Aufnahme der Anforderungen und Auswahl des besten Tools (Flume, Spark, Storm)
  • Use Case Onboarding und HDFS Data Lake Setup mit Fokus Mandanten-Security
  • Einrichtung von Kafka für DEV/INT/PROD Umgebungen, sowie Abstimmung mit den Producer-Servern
  • Deployment einer Strom Trident Topology zur Realtime-Verarbeitung der Kafka Topics (Anonymisierung, DQ, Data Validation)
  • HDFS Sink zur weiteren Analyse mit Hive
  • Systemtest (Stress-/Unittest, Performanceoptimierung)

Funktionen/Projektergebnis

  • Kerberized HDP 2.5 mit funktionsfähigem, getestetem Kafka 0.10 und Storm 1.0
  • Automatisierte Deployment Skripte für die DEV/INT/PROD Umgebung
  • Technische Voraussetzungen für die Bereitstellung und Datenübertragung von Realtime-Fahrzeugdaten sind geschaffen
  • Big Data Reporting Anbindung über Hive und Knox an Tableau Server liegt vor
  • Daten und Analyse Plattform ermöglichen es dem Data Scientist die Fahrzeugdatenanalyse durchzuführen

Kundenutzen

  • Langfristige und kostengünstige Speicherung der Fahrzeugnutzungsdaten im Data Lake
  • Daten werden on-the-fly anonymisiert und können in Echtzeit von Data Scientists genutzt werden
  • Fachbereich kann eigene Analysen durchführen (Self-Service BI)
  • Fahrzeugdatenanalyse in Echt-zeit möglich
  • Individuelle Angebote auf Basis von Fahrzeugnutzungsdaten
  • Die Applikation bietet eine enorme Resilienz, so dass Datenverlust auch beim Ausfall mehrerer Komponenten sehr unwahrscheinlich ist

Sie haben Interesse an einer kostenfreien Beratung?

Marco Bruno Senior Manager / Prokurist

Hinterlassen Sie mir eine Nachricht per E-Mail oder über unser Kontaktformular und ich melde mich schnellstmöglich bei Ihnen zurück.