Data Engineer – Migración de Cloudera a GCP
Activa · Comprobada hace 14 horas
Remoto
Descripción del puesto
Profesional de ingeniería de datos con foco en migración de cloudera a Google Cloud Platform, con experiencia en HDFS, GCS y Dataproc. Enfocado en gobernanza, seguridad y optimización de pipelines en entornos cloud.
- Diseñar y migrar pipelines de datos desde Cloudera hacia Dataproc y Dataproc Serverless.
- Implementar procesamiento en Spark (Scala, PySpark) y Spark Streaming, gestionando Kafka en GCP.
- Validar, monitorizar y optimizar la calidad de datos y la gobernanza con Hive Metastore, Apache Ranger, Dataplex, IAM y BigQuery Policy Tags.
Requisitos clave
- Experiencia con HDFS y Google Cloud Storage, y migración de workloads a Dataproc y Dataproc Serverless.
- Dominio de Apache Spark (Scala/PySpark) y Spark Streaming, con Kafka gestionado en GCP.
- Conocimientos de Kudu, Hive Metastore, Apache Ranger, Dataplex, Cloud IAM y BigQuery Policy Tags para gobernanza y seguridad de datos.
Más ofertas de Informática / Tecnología en Madrid
Responsable de Proyectos S.I -Retail-
Alcampo · Madrid (Madrid)
Responsable de Seguridad Digital
Alcampo · Madrid (Madrid)
Especialista en Soluciones de IA y Seguridad Microsoft
Esprinet Iberica · Madrid (Madrid)
Presales Consultant Networking | HPE Aruba & Juniper
Esprinet Iberica · Madrid (Madrid)
Presales Consultant-Data Security
Esprinet Iberica · Madrid (Madrid)
Tech_Técnico Junior Red Team
Telefónica · Madrid (Madrid)