IT - Datalab, Data Engineering Big Data, Splunk (m/w/d) intermediate

Lust auf Neues? Das trifft sich gut! Komm zu uns, wir freuen uns auf Dich!

Unser Kunde in Hamburg braucht Verstärkung, daher suchen wir ab sofort:

IT - Datalab, Data Engineering Big Data, Splunk (m/w/d) intermediate

Was Du von uns erwarten kannst:

• Tariflohn EG 8-9 zzgl. übertariflicher Zulage je nach Qualifikation und Berufserfahrung
• 40 Std. Woche
• 30 Tage Urlaub
• Tarifvertrag GVP (vormals BAP)
• Urlaubs- und Weihnachtsgeld
• Betriebliche Altersvorsorge
• Langfristiger Einsatz

Zu den geforderten Aufgaben zählen im Einzelnen:

Verantwortung für den Betrieb, die Weiterentwicklung und die technische Stabilität eines KI Produkts, das mittels Machine Learning Ausfallwahrscheinlichkeiten von Mittelspannungskabeln prognostiziert. Die Rolle kombiniert Data Science, Data Engineering, MLOps und Cloud Betrieb (Databricks + Azure) und deckt damit die verschiedenen Bereiche ab, die für den Betrieb eines produktiven KI-Systems notwendig sind: Datenbeschaffung, Datenverarbeitung, Training, Deployment, Monitoring, Cloud Betrieb.

1. Betrieb & Weiterentwicklung des Produkts
   • Sicherstellen eines stabilen, zuverlässigen Betriebs der ML Pipelines in Databricks
   • Überwachung, Debugging und Optimierung von Jobs, Clustern und Workflows
   • Weiterentwicklung der ML Modelle (Feature Engineering, Retraining, Evaluation)
   • Versionierung und Deployment von Modellen über GitLab CI/CD
2. Data Engineering
   • Aufbau und Pflege von Datenpipelines (ETL/ELT) in Spark
   • Verarbeitung von SAP und GIS Daten
   • REST API
   • Modellierung und Verwaltung von Delta Tables im Unity Catalog, Nutzung von Azure Blob Storage
   • Schreiben von Ergebnissen in externe SQL Datenbanken
3. MLOps & CI/CD
   • Pflege und Anpassung der GitLab Pipelines für Deployment und Tests
   • Monitoring von Modellqualität und Datenqualität
   • Umgang mit Service Principals, Managed Identities und Secrets (Key Vault)
   Fähigkeiten
   Programmier und Technologie Stack
   • Python (sehr gut)
   • PySpark / Spark SQL (sehr gut)
   • Erfahrung mit Databricks (Workflows, Cluster, Repos, UC, Delta Lake)
   • GitLab CI/CD (Pipelines, Runner, Deployment Strategien)
   • REST APIs (Requests, Auth, OpenAPI Spezifikationen)
   • SQL (für Analyse + Schreiben in externe Datenbanken)

Was wir erwarten:

• Python (sehr gut)
• PySpark / Spark SQL (sehr gut)
• Erfahrung mit Databricks (Workflows, Cluster, Repos, UC, Delta Lake)
• GitLab CI/CD (Pipelines, Runner, Deployment Strategien)
• REST APIs (Requests, Auth, OpenAPI Spezifikationen)
• SQL (für Analyse + Schreiben in externe Datenbanken)

Über uns:

Cabo Personal steht seit über 29 Jahren für Zuverlässigkeit, Flexibilität und den fairen und freundlichen Umgang mit Arbeitnehmern und Kunden. Wir wissen wovon wir sprechen und was für Sie zählt und wichtig ist. Ein wichtiger Teil unserer Kernkompetenz ist ein positives Dreiecksverhältnis zwischen Kunden, Mitarbeitern und uns. Dabei achten wir immer auf den Menschen, dessen Persönlichkeit und Qualifikation. Eine unbefristete Lizenz zur Arbeitnehmerüberlassung durch die Regionaldirektion NRW ist für uns selbstverständlich.

Haben wir Dein Interesse geweckt?

Dann freuen wir uns auf Deine vollständigen Bewerbungsunterlagen, unter Angaben der Referenznummer, Gehaltswunsch und des frühestmöglichen Eintrittstermins.