Rol técnico centrado en diseñar y optimizar pipelines de datos en Azure Databricks, integrando fuentes diversas y asegurando la calidad y el rendimiento de datos.
Diseñar y construir pipelines de datos escalables en Databricks.
Integrar datos de fuentes como Azure Storage, SFTP y Fabric usando Apache Spark.
Monitorear y optimizar pipelines para garantizar precisión, integridad y rendimiento.
Requisitos clave
Experiencia mínima de 6 años en Databricks/Azure Databricks y Spark.
Dominio de Python o Scala para procesamiento de datos.
Conocimiento de Data Factory, Unity Catalog y SQL.