- RITS
- Warsaw, 14
- Full-Time
- 17 days ago
Senior Data Engineer (ETL / GCP).
Before you go
Before you leave us, sign up for our email alerts
We don't do job spam, just the best digital jobs delivered straight to your inbox.
Senior Data Engineer (ETL / GCP): our view in 3 lines...
- The Role:This role is for a senior data specialist who designs and builds data pipelines that load large volumes of data into warehouses and cloud platforms.
- The Person:The person will design, build and develop ETL/ELT pipelines in batch and streaming modes, create processes that load data into BigQuery, and optimise SQL queries and GCP processing costs.
- Requirements:The ideal candidate has senior experience with ETL/ELT pipelines, good SQL knowledge, practical BigQuery skills, experience in Python and/or Rust, and knowledge of batch and streaming data processing.
About the role
RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.
Senior Data Engineer (ETL / GCP)
Szczegóły współpracy
Model współpracy: Hybryda - Warszawa
Forma współpracy: B2B
Stawka: 160 PLN/h netto
Okres współpracy: ponad 12 miesięcy
O projekcie
Poszukujemy Senior Data Engineera do zespołu, który rozwija procesy zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud i systemów kampanijnych. Budujemy rozwiązania, które przetwarzają duże wolumeny danych w trybie batch i w czasie zbliżonym do rzeczywistego. Z naszych danych powstają datamarty, analizy, raporty, segmentacje klientów oraz spersonalizowane oferty i kampanie. Jeśli chcesz budować niezawodne pipeline’y danych w środowisku hybrydowym i chmurowym, zapraszamy do kontaktu!
Twoje zadania:
- Projektowanie, budowa i rozwój pipeline’ów ETL/ELT działających w trybie batch i streaming.
- Tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake oraz platformę kampanijną.
- Integracja danych z systemów on-premise, chmury GCP, baz danych, plików, API i systemów zdarzeniowych.
- Projektowanie logicznych i fizycznych modeli danych oraz przygotowywanie warstw danych i datamartów tematycznych.
- Tworzenie i optymalizacja zapytań SQL w relacyjnych i kolumnowych bazach danych.
- Programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście.
- Budowa przepływów zdarzeniowych z wykorzystaniem Kafki lub Pub/Sub.
- Dbanie o jakość, kompletność, spójność i terminowość danych.
- Optymalizacja wydajności procesów i kosztów przetwarzania w GCP.
- Wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania.
- Przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania.
- Testy, wsparcie wdrożeń, diagnozowanie incydentów i utrzymanie rozwiązań.
- Tworzenie dokumentacji technicznej i rozwój rozwiązań zgodnie z podejściem DevSecOps.
Wymagania:
- Doświadczenie na poziomie senior w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych.
- Dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych.
- Praktyczna znajomość BigQuery: projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów.
- Doświadczenie w programowaniu w Pythonie i/lub Ruście.
- Znajomość przetwarzania danych w trybie batch i streaming.
- Znajomość architektury sterowanej zdarzeniami (Kafka lub Pub/Sub).
- Doświadczenie w projektowaniu logicznych i fizycznych modeli danych.
- Znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL.
- Znajomość Linuxa w stopniu pozwalającym na samodzielną pracę i diagnozowanie problemów.
- Umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne.
Mile widziane:
- Doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage.
- Znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow.
- Doświadczenie z Kubernetes, Dockerem i CI/CD.
- Znajomość Informatica PowerCenter lub innych narzędzi ETL.
- Doświadczenie w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym.
- Znajomość systemów kampanijnych, segmentacji klientów lub marketing automation.
- Doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability.
- Znajomość zagadnień bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych.
- Znajomość AutomateNOW.
Czego szukamy poza technologiÄ…?
- Samodzielności, odpowiedzialności i konsekwencji w realizacji zadań.
- Dbałości o jakość, niezawodność i utrzymywalność rozwiązań.
- Dobrej organizacji pracy i umiejętności szybkiego przyswajania wiedzy.
- Umiejętności efektywnej współpracy w zespole.
- Doświadczenia we współpracy z klientem biznesowym.
- Dobrych umiejętności komunikacyjnych i analitycznego podejścia do problemów.

