Automobilhersteller
Aufbau eines Hortonworks Big Data DEV Clusters –
Betrieb und Onboarding von Use Cases
Ausgangsbasis
- Auf mehrere Unternehmensbereiche verteilte Hadoop Entwicklungscluster
- Erhöhte Lizenz- und Betriebskosten
- Unklare und unpassende Betriebsprozesse für die Entwicklung
- Time-to-Market für jeden Use Case langwierig
- Kein mandantenfähiges Cluster vorhanden
- Vertrauliche Daten dürfen auf den bestehenden Entwicklungsclustern nicht verarbeitet werden
Vorgehensweise
- Sizing, Beschaffung und Installation eines Hortonworks Hadoop Clusters
- Einrichtung von Kerberos auf dem Cluster
- Planung und Durchführung von Tests für alle Hadoop Komponenten
- Ausarbeitung eines mandantenfähigen HDFS und Ranger Konzepts
- Ausarbeitung eines einheitlichen Service- und Betriebsmodells mit interner Verrechnung
- Transitions- und Stabilisierungsphase für 3 Use Cases
Funktionen/Projektergebnis
- Getestetes Hortonworks Hadoop DEV Cluster mit HDP 2.3.2
- HDFS Layout Konzept für den mandantenfähigen Data Lake
- Ranger Berechtigungskonzept
- Abgestimmtes Service Modell mit einheitlichen Prozessen & RACI Verantwortlichkeiten
- Sizing Sheet zur Use Case Bewertung
- Einheitliches „Welcome Package“ für das schnelle Onboarding von jedem Use Case auf der Plattform
- drei migrierte Use Cases
Kundenutzen
- Professionalisierter Betrieb des Hadoop DEV Clusters
- Angebot von umfangreichen Big Data Plattform Services, wie Projektunterstützung bei Onboarding, Builds, Betrieb oder Changes
- Gewährleistung einer hohen Betriebsqualität auch bei komplexen Problemen durch die Einbeziehung von Data Engineering Know-how
- Erhöhte Entwicklungseffizienz durch DevOps Konzepte
- Kostensenkung durch die Verlagerung von Standardaufgaben an ein Betriebsteam (inkl. Offshore Anteil)
Marco Bruno | Senior Manager / Prokurist