Data Engineer – Migración de Cloudera a GCP

Profesional de ingeniería de datos con foco en migración de cloudera a Google Cloud Platform, con experiencia en HDFS, GCS y Dataproc. Enfocado en gobernanza, seguridad y optimización de pipelines en entornos cloud.

• Diseñar y migrar pipelines de datos desde Cloudera hacia Dataproc y Dataproc Serverless.
• Implementar procesamiento en Spark (Scala, PySpark) y Spark Streaming, gestionando Kafka en GCP.
• Validar, monitorizar y optimizar la calidad de datos y la gobernanza con Hive Metastore, Apache Ranger, Dataplex, IAM y BigQuery Policy Tags.

• Experiencia con HDFS y Google Cloud Storage, y migración de workloads a Dataproc y Dataproc Serverless.
• Dominio de Apache Spark (Scala/PySpark) y Spark Streaming, con Kafka gestionado en GCP.
• Conocimientos de Kudu, Hive Metastore, Apache Ranger, Dataplex, Cloud IAM y BigQuery Policy Tags para gobernanza y seguridad de datos.