Data Engineer – Big Data & Cloud

Tecdata · Madrid (Madrid)

Activa · Comprovada fa 19 hores

Remot3 anysJornada completa
Avisa'm de noves ofertes com aquesta

Descripció del lloc

Puesto técnico orientado al diseño y evolución de plataformas de datos. Enfocado a entornos Cloudera y Google Cloud Platform, con énfasis en pipelines de ingesta y transformación de datos.

  • Diseñar arquitecturas de datos batch y real time
  • Desarrollar y mantener procesos de ingesta, almacenamiento y transformación con Spark, Scala, BigQuery, dbt, SQL y Python
  • Colaborar con el cliente y equipos IT y de negocio para la planificación y resolución de incidencias

Requisits clau

  • Diseñar y desarrollar procesos batch y real time con Apache Spark en Cloudera
  • Conocer Kafka, HDFS/Hive, Kudu y Solr y trabajar con GCP (BigQuery, Pub/Sub, Dataflow, Cloud Functions)
  • Experiencia con Git/Bitbucket, Jenkins y CI/CD; Trabajo en Scrum y control de procesos con Control-M