Big Data Developer

Desarrollar y mantener pipelines de data lake utilizando Apache Spark, Scala y SQL para casos de uso de riesgo de mercado. Diseñar soluciones de procesamiento de datos a gran escala y optimizar rendimiento, fiabilidad y escalabilidad.

• Diseñar, desarrollar y mantener pipelines de data lake con Apache Spark, Scala y SQL.
• Orquestar flujos por lotes y dependencias con Control-M y Airflow.
• Implementar procesos de ingestión, transformación, validación y publicación de datos para casos de riesgo de mercado.

• 2+ años de experiencia en big data, data lakes o plataformas en la nube.
• Dominio práctico de Apache Spark, Scala y SQL.
• Conocimiento de data lake, calidad de datos, trazabilidad y pipelines de producción.