- Be
- Warsaw, 14
- Full-Time
- 13 days ago
Data Engineer.
Before you go
Before you leave us, sign up for our email alerts
We don't do job spam, just the best digital jobs delivered straight to your inbox.
Data Engineer: our view in 3 lines...
- The Role:This role is for a data engineer who builds and maintains data pipelines on Databricks and Delta Lake for international organisations.
- The Person:The person will design and build batch and streaming data pipelines, integrate data from sources including CDC, build bronze, silver and gold layers, implement data quality and lineage, optimise processing performance and collaborate with architects, analysts and the BI team.
- Requirements:The ideal candidate has at least 3 years as a Data Engineer, very good knowledge of SQL and Python including PySpark, and practical experience with Databricks and Delta Lake.
About the role
Be | Shaping the Future Poland, część Engineering Group, to firma doradcza w obszarze technologii i biznesu, założona w 2013 roku. Pomagamy organizacjom z sektora usług finansowych i innych branż przekładać złożone wymagania na niezawodne, kompleksowe rozwiązania end-to-end, korzystając z doświadczenia w inżynierii oprogramowania, chmurze i infrastrukturze, danych oraz zapewnianiu jakości.
Data Engineer - Databricks / Lakehouse (M/K)
Szukamy osoby na stanowisko Data Engineer, która będzie pozyskiwać, integrować, przetwarzać i udostępniać dane za pomocą niezawodnych pipeline’ów w architekturze lakehouse. W tej roli skupisz się na procesach ETL/ELT w trybie batch i streaming, integracji danych (w tym CDC), warstwach danych w architekturze medalionowej, jakości i lineage danych oraz optymalizacji wydajności.
Twoje zadania
- Projektujesz i budujesz pipeline’y danych (ETL/ELT) w trybie batch i streaming
- Integrujesz dane z różnych źródeł, w tym z wykorzystaniem CDC
- Budujesz warstwy danych bronze/silver/gold na Databricks i Delta Lake
- Wdrażasz mechanizmy jakości danych, lineage i obserwowalności
- Optymalizujesz wydajność przetwarzania danych
- Współpracujesz z architektami, analitykami i zespołem BI
Wymagania
- Masz co najmniej 3 lata doświadczenia w roli Data Engineera
- Bardzo dobrze znasz SQL i Pythona, w tym PySpark
- Masz praktyczne doświadczenie z Databricks i Delta Lake
- Masz doświadczenie w budowie procesów ETL/ELT w trybie batch i streaming
- Znasz architekturÄ™ medalionowÄ… (bronze/silver/gold)
- Biegła znajomość języka polskiego oraz angielskiego na poziomie min. B2
Mile widziane
- Doświadczenie z CDC i przetwarzaniem strumieniowym, np. Structured Streaming, Kafka lub Event Hubs
- Znajomość GCP/BigQuery
- Certyfikat Databricks Data Engineer Associate lub Professional
Dlaczego warto do nas dołączyć
- Konkurencyjna stawka B2B, dopasowana do Twojego doświadczenia i projektu
- Długoterminowe projekty dla wiodących międzynarodowych organizacji
- Ciągły rozwój dzięki wewnętrznym DevTalkom, online i stacjonarnie
- Zgrany, międzynarodowy zespół w ramach Engineering Group
- Opcjonalne pakiety Medicover, Multisport i Mindgram na preferencyjnych warunkach
- Bezpłatny dostęp do siłowni w naszym biurze Q22
- Program poleceń: premia za każdą udaną rekomendację

