Senior Data Engineer Big Data & Cloud

Diseñar y desplegar una plataforma de datos escalable basada en Big Data y cloud, creando pipelines de ingesta y procesamiento con Spark en Cloudera, y gestionando almacenamiento y búsqueda.

• Diseñar y desarrollar la plataforma de datos y arquitectura de pipelines en Cloudera/Spark.
• Implementar procesos batch y streaming con Spark, Kafka y HDFS/Hive/Kudu/Solr en entornos GCP.
• Gestionar CI/CD, control de versiones (Git/Bitbucket) y despliegues (Jenkins) dentro de equipos Scrum.

• Más de 3 años diseñando y desarrollando pipelines con Apache Spark en el ecosistema Cloudera.
• Conocimiento profundo de Apache Kafka a nivel de arquitectura y desarrollo.
• Experiencia en Cloud (GCP) y herramientas asociadas (BigQuery, Pub/Sub, Dataflow, Cloud Functions, Cloud Storage) y Python/SQL.