Automobilhersteller

Aufbau eines Hortonworks Big Data DEV Clusters –
Betrieb und Onboarding von Use Cases

Ausgangsbasis

  • Auf mehrere Unternehmensbereiche verteilte Hadoop Entwicklungscluster
  • Erhöhte Lizenz- und Betriebskosten
  • Unklare und unpassende Betriebsprozesse für die Entwicklung
  • Time-to-Market für jeden Use Case langwierig
  • Kein mandantenfähiges Cluster vorhanden
  • Vertrauliche Daten dürfen auf den bestehenden Entwicklungsclustern nicht verarbeitet werden

Vorgehensweise

  • Sizing, Beschaffung und Installation eines Hortonworks Hadoop Clusters
  • Einrichtung von Kerberos auf dem Cluster
  • Planung und Durchführung von Tests für alle Hadoop Komponenten
  • Ausarbeitung eines mandantenfähigen HDFS und Ranger Konzepts
  • Ausarbeitung eines einheitlichen Service- und Betriebsmodells mit interner Verrechnung
  • Transitions- und Stabilisierungsphase für 3 Use Cases

Funktionen/Projektergebnis

  • Getestetes Hortonworks Hadoop DEV Cluster mit HDP 2.3.2
  • HDFS Layout Konzept für den mandantenfähigen Data Lake
  • Ranger Berechtigungskonzept
  • Abgestimmtes Service Modell mit einheitlichen Prozessen & RACI Verantwortlichkeiten
  • Sizing Sheet zur Use Case Bewertung
  • Einheitliches „Welcome Package“ für das schnelle Onboarding von jedem Use Case auf der Plattform
  • drei migrierte Use Cases

Kundenutzen

  • Professionalisierter Betrieb des Hadoop DEV Clusters
  • Angebot von umfangreichen Big Data Plattform Services, wie Projektunterstützung bei Onboarding, Builds, Betrieb oder Changes
  • Gewährleistung einer hohen Betriebsqualität auch bei komplexen Problemen durch die Einbeziehung von Data Engineering Know-how
  • Erhöhte Entwicklungseffizienz durch DevOps Konzepte
  • Kostensenkung durch die Verlagerung von Standardaufgaben an ein Betriebsteam (inkl. Offshore Anteil)
Marco Bruno | Senior Manager / Prokurist