Real time Streaming von Teleloq Fahrzeugdaten mit Kafka und Storm

Dieser Bereich wird auf der Übersichtsseite ausgelesen. Der Text ist auf 200 Zeichen begrenzt.

Ausgangslage: Bei einem Automobilhersteller sollen Funktionsverbesserungen pro Markt und Fahrzeugreihe erzielt werden...

Unternehmen

Automobil, Industrie

Ausgangsbasis:

  • Es sollen Funktionsverbesserungen pro Markt und Fahrzeugreihe erzielt werden
  • Die aktuelle Datenlage erlaubt keine Aussage über die Korrelation der Nutzung von Fahrzeugfeatures sowie über den Einfluss externer Faktoren wie GPS, Wetter, Passagieren oder Staus
  • Es liegen keine detaillierten Nutzungsdaten zu Fahrzeugfeatures vor
  • Keine Anbindung von Realtime-Daten aus den Fahrzeugen vorhanden
  • Ein Angebot auf Basis der individuellen Fahrzeugnutzung ist somit nicht möglich

Vorgehensweise:

  • Aufnahme der Anforderungen und Auswahl des besten Tools (Flume, Spark, Storm)
  • Use Case Onboarding und HDFS Data Lake Setup mit Fokus Mandanten-Security
  • Einrichtung von Kafka für DEV/INT/PROD Umgebungen, sowie Abstimmung mit den Producer-Servern
  • Deployment einer Strom Trident Topology zur Realtime-Verarbeitung der Kafka Topics (Anonymisierung, DQ, Data Validation)
  • HDFS Sink zur weiteren Analyse mit Hive
  • Systemtest (Stress-/Unittest, Performanceoptimierung)

Funktionen/Projektergebnis:

  • Kerberized HDP 2.5 mit funktionsfähigem, getestetem Kafka 0.10 und Storm 1.0
  • Automatisierte Deployment Skripte für die DEV/INT/PROD Umgebung
  • Technische Voraussetzungen für die Bereitstellung und Datenübertragung von Realtime-Fahrzeugdaten sind geschaffen
  • Big Data Reporting Anbindung über Hive und Knox an Tableau Server liegt vor
  • Daten und Analyse Plattform ermöglichen es dem Data Scientist die Fahrzeugdatenanalyse durchzuführen
Marco Bruno

Ansprechpartner

Marco Bruno


Telefon: +49 89 4626970
E-Mail: infowoodmark.de

Sie interessieren sich für weitere Details?
Füllen Sie einfach folgendes Formular aus, um Zugang zu allen Informationen dieses Projekts zu erhalten.