HOME Data Engineering & Architecture Spark / Data Lakehouse Developer
Ideamotive VERIFIED EMPLOYER

Spark / Data Lakehouse Developer.

Remote Data Engineering & Architecture Full-Time

Spark / Data Lakehouse Developer: our view in 3 lines...

  • The Role:This role is for an experienced developer who builds Spark-based data processing and data lakehouse solutions.
  • The Person:The person will design Spark jobs that reconcile data between MongoDB ODS and source systems, build data quality rules and alerts, and tune Spark performance and deployments.
  • Requirements:The ideal candidate has at least 4 years of practical experience with Apache Spark in production environments, along with PySpark, Spark-SQL, MongoDB Spark Connector, Apache Iceberg, Jenkins, Prometheus and Grafana.

About the role

Stanowisko: Spark / Data Lakehouse Developer

Lokalizacja: Remote work

Forma zatrudnienia: B2B

Wynagrodzenie: 125 - 145 PLN/ h B2B

Poszukujemy doświadczonej osoby na stanowisko Spark / Data Lakehouse Developer, która będzie odpowiedzialna za projektowanie i implementację rozwiązań rekoncyliacji danych w warstwie ODS opartych o MongoDB, synchronizację z systemami źródłowymi oraz budowę i utrzymanie warstw danych w architekturze Data-Lakehouse.

Główne zadania:

  1. Projektowanie i implementacja Spark-SQL / PySpark jobs do porównywania danych w ODS (MongoDB) vs systemów źródłowych
  2. Budowanie reguł jakości danych, wykrywanie duplikatów, braków, anomalii i generowanie raportów/alertów
  3. Łączenie Spark z MongoDB przy użyciu MongoDB Spark Connector oraz optymalizacja odczytów (partitioning, $match push-down, schema-aware reads)
  4. Projektowanie odpornej, wersjonowanej warstwy raw → bronze → silver → gold (Delta Lake / Iceberg / Hudi)
  5. Implementacja CI/CD dla schematów tabel, migracji i wersjonowania
  6. Tuning Spark (partitioning, caching, broadcast joins, Adaptive Query Execution) oraz kosztowa optymalizacja zapytań w Data Lakehouse
  7. Konfiguracja metryk (Prometheus + Grafana), logów oraz śledzenia (OpenTelemetry, Dynatrace) dla procesów batch/stream
  8. Definiowanie SLA/SLO oraz alertów (data freshness, job failures)
  9. Automatyzacja deploymentów Spark aplikacji (Docker + Kubernetes, Spark Operator)
  10. Diagnoza problemów z rekordami, opóźnieniami i niezgodnościami danych oraz utrzymywanie dokumentacji technicznej
  11. Prowadzenie warsztatów i code-review w zespole

Wymagania:

  1. Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych (PySpark, Spark-SQL, DataFrames, Structured Streaming)
  2. Doświadczenie w odczycie i zapisie danych z/do MongoDB przy użyciu Spark Connector, znajomość modelowania dokumentowego i indeksowania
  3. Praktyka z Apache Iceberg – zarządzanie tabelami wersjonowanymi, optymalizacja zapisów (upserts/merge)
  4. CI/CD: Jenkins – automatyzacja budowy, testów (spark-unit, integration) i deploymentu Spark aplikacji
  5. Programowanie / scripting: Python (PySpark), SparkSQL
  6. Monitoring & Observability: Prometheus + Grafana
  7. Metodyki Agile: Scrum lub Kanban, doświadczenie w Jira/Confluence

Mile widziane:

  1. Doświadczenie z Delta Lake lub Apache Hudi
  2. Narzędzia śledzenia i logów: OpenTelemetry, Dynatrace
  3. Wdrażanie aplikacji: Docker, Kubernetes, Spark Operator

Proces rekrutacji:

  1. Rozmowa wstępna
  2. Rozmowa techniczna
  3. Decyzja

Zainteresowany/a? Aplikuj już teraz!

Published November 18, 2026
Location Wrocław, Poland
Job Type Full-Time