Senior Solutions Architect – Large Scale Neural Networks Inference

Nvidia · Otro / No especificado

Activa · Comprovada fa 2 hores

8 anys

Descripció del lloc

Rol de nivel senior centrado en la arquitectura de inferencia de IA a escala para clientes en EMEA. Enfocado en optimización de rendimiento y coste de pipelines de inferencia.

  • Guiar la estrategia de inferencia para un portafolio de clientes en EMEA desde concepto hasta despliegue en producción
  • Identificar retos de inferencia (latencia, eficiencia, coste por token, memoria, red de baja latencia) en implementaciones de clientes
  • Diseñar y optimizar pipelines de inferencia de alto rendimiento usando Nvidia Dynamo, TensorRT-LLM, VLLM, SG Lang y otros backends, para mejorar utilización de GPUs y eficiencia del clúster

Requisits clau

  • 8+ años de experiencia en infraestructura AI/ML y despliegue a escala
  • Experiencia profunda en optimización de inferencia de transformadores (cuantización int4/fp8, decoding especulativo, disaggregated inference, batching continuo, KV cache, wideep para MoE)
  • Conocimiento de jerarquías de memoria GPU y redes de baja latencia; capacidad para liderar iniciativas técnicas