- AD4 Octógono
- Madrid, Madrid
- Full-Time
- 11 days ago
- €25,000–€32,000
Data Engineer - Spark/Scala/AWS - REMOTO.
Before you go
Before you leave us, sign up for our email alerts
We don't do job spam, just the best digital jobs delivered straight to your inbox.
Data Engineer - Spark/Scala/AWS - REMOTO: our view in 3 lines...
- The Role:This role is for a data engineer who builds and maintains large-scale data processing pipelines for financial and regulatory reporting.
- The Person:The person will design, develop, maintain and optimise data processing pipelines using Spark and Scala, implement ETL processes, orchestrate batch processes with AWS Step Functions, and perform data validation and reconciliation with SQL and Amazon Athena.
- Requirements:The ideal candidate has at least 2 years of Data Engineering experience with Apache Spark, Scala, Hadoop, AWS EMR, AWS Glue, AWS Lambda, AWS Step Functions, Terraform, SQL, and Amazon Athena.
About the role
En AD4 Octógono estamos buscando talento
Buscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.
La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.
Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.
Requisitos imprescindibles
- Experiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.
- Conocimientos sólidos de Apache Spark, Scala y Hadoop.
- Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.
- Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.
- Conocimientos de servicios AWS:
- AWS EMR.
- AWS Glue.
- AWS Lambda.
- AWS Step Functions.
- Experiencia en orquestación, planificación y monitorización de procesos batch.
- Conocimientos de Terraform para configuración de infraestructura.
- Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.
- Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.
- Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.
- Conocimientos de scripting con Bash y Python.
- Experiencia trabajando en entornos Unix/Linux.
- Control de versiones con Git y herramientas de construcción como Maven.
- Conocimientos de procesos CI/CD y herramientas como Jenkins.
- Experiencia con Jira.
- Inglés C1, imprescindible para la comunicación en un entorno profesional internacional.
️ Funciones y responsabilidades
Desarrollo e ingeniería de datos
- Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.
- Implementar procesos ETL y transformaciones complejas de información.
- Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.
- Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.
Arquitectura y servicios AWS
- Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.
- Trabajar con AWS EMR, Glue y Lambda.
- Gestionar ejecuciones parametrizadas y flujos de procesamiento.
- Participar en la configuración y automatización de infraestructura mediante Terraform.
Calidad y validación de datos
- Desarrollar y ejecutar procesos de validación y reconciliación de datos.
- Realizar controles de calidad mediante SQL y Amazon Athena.
- Detectar valores nulos, duplicados e inconsistencias.
- Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.
Operación y soporte de producción
- Monitorizar y solucionar incidencias en procesos productivos.
- Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.
- Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.
- Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.
- Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.
Se valorará especialmente
- Experiencia en banca o servicios financieros.
- Conocimiento de procesos de reporting regulatorio.
- Experiencia en banca minorista, empresarial o corporativa.
- Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.
- Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.
- Conocimientos de Control-M para planificación y gestión de procesos batch.
- Familiaridad con plataformas de Business Intelligence, especialmente Power BI.
- Experiencia elaborando documentación técnica y operativa.
Competencias personales
- Capacidad analítica y resolución estructurada de problemas.
- Autonomía y responsabilidad sobre los entregables.
- Orientación a resultados y atención al detalle.
- Capacidad para investigar incidencias y encontrar su causa raíz.
- Organización y gestión de prioridades.
- Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.
- Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.
¿Qué ofrecemos?
- Salario: 25000€ - 32000€
- Modalidad Remota
- Participación en un proyecto especializado en ingeniería y procesamiento de datos.
- Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.
- Trabajo sobre procesos de datos críticos y reporting regulatorio.
- Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.
Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte!
AD4 Octógono – People & Technology
