- Ideamotive
- Wrocław, 02
- Full-Time
- 5 days ago
Spark / Data Lakehouse Developer.
Before you go
Before you leave us, sign up for our email alerts
We don't do job spam, just the best digital jobs delivered straight to your inbox.
Spark / Data Lakehouse Developer: our view in 3 lines...
- The Role:This role is for an experienced developer who builds Spark-based data processing and data lakehouse solutions.
- The Person:The person will design Spark jobs that reconcile data between MongoDB ODS and source systems, build data quality rules and alerts, and tune Spark performance and deployments.
- Requirements:The ideal candidate has at least 4 years of practical experience with Apache Spark in production environments, along with PySpark, Spark-SQL, MongoDB Spark Connector, Apache Iceberg, Jenkins, Prometheus and Grafana.
About the role
Stanowisko: Spark / Data Lakehouse Developer
Lokalizacja: Remote work
Forma zatrudnienia: B2B
Wynagrodzenie: 125 - 145 PLN/ h B2B
Poszukujemy doświadczonej osoby na stanowisko Spark / Data Lakehouse Developer, która będzie odpowiedzialna za projektowanie i implementację rozwiązań rekoncyliacji danych w warstwie ODS opartych o MongoDB, synchronizację z systemami źródłowymi oraz budowę i utrzymanie warstw danych w architekturze Data-Lakehouse.
Główne zadania:
- Projektowanie i implementacja Spark-SQL / PySpark jobs do porównywania danych w ODS (MongoDB) vs systemów źródłowych
- Budowanie reguł jakości danych, wykrywanie duplikatów, braków, anomalii i generowanie raportów/alertów
- Łączenie Spark z MongoDB przy użyciu MongoDB Spark Connector oraz optymalizacja odczytów (partitioning, $match push-down, schema-aware reads)
- Projektowanie odpornej, wersjonowanej warstwy raw → bronze → silver → gold (Delta Lake / Iceberg / Hudi)
- Implementacja CI/CD dla schematów tabel, migracji i wersjonowania
- Tuning Spark (partitioning, caching, broadcast joins, Adaptive Query Execution) oraz kosztowa optymalizacja zapytań w Data Lakehouse
- Konfiguracja metryk (Prometheus + Grafana), logów oraz śledzenia (OpenTelemetry, Dynatrace) dla procesów batch/stream
- Definiowanie SLA/SLO oraz alertów (data freshness, job failures)
- Automatyzacja deploymentów Spark aplikacji (Docker + Kubernetes, Spark Operator)
- Diagnoza problemów z rekordami, opóźnieniami i niezgodnościami danych oraz utrzymywanie dokumentacji technicznej
- Prowadzenie warsztatów i code-review w zespole
Wymagania:
- Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych (PySpark, Spark-SQL, DataFrames, Structured Streaming)
- Doświadczenie w odczycie i zapisie danych z/do MongoDB przy użyciu Spark Connector, znajomość modelowania dokumentowego i indeksowania
- Praktyka z Apache Iceberg – zarządzanie tabelami wersjonowanymi, optymalizacja zapisów (upserts/merge)
- CI/CD: Jenkins – automatyzacja budowy, testów (spark-unit, integration) i deploymentu Spark aplikacji
- Programowanie / scripting: Python (PySpark), SparkSQL
- Monitoring & Observability: Prometheus + Grafana
- Metodyki Agile: Scrum lub Kanban, doświadczenie w Jira/Confluence
Mile widziane:
- Doświadczenie z Delta Lake lub Apache Hudi
- Narzędzia śledzenia i logów: OpenTelemetry, Dynatrace
- Wdrażanie aplikacji: Docker, Kubernetes, Spark Operator
Proces rekrutacji:
- Rozmowa wstępna
- Rozmowa techniczna
- Decyzja
Zainteresowany/a? Aplikuj już teraz!

