AI Model Evaluation & Monitoring Specialist

Job description

En Logicalis Spain estamos buscando 1 perfil de AI Model Evaluation & Monitoring Specialist . El equipo de Data, Analytics & IA de Logicalis trabaja con clientes nacionales e internacionales, llevando a cabo importantes proyectos de ingeniería de datos, inteligencia artificial y analítica avanzada, estrategia del dato, gobierno, integración y arquitectura, abarcando todo el ciclo de vida del dato. REQUISITOS TÉCNICOS: +2 años de experiencia en GenAI, especialmente en auditoría, evaluación y monitorización de modelos. Experiencia sólida con LLMs en entornos productivos . Experiencia con AWS (Bedrock, SageMaker, Lambda, CloudWatch) y ecosistemas de operación de modelos. Conocimientos de: Prompt engineering y optimización de prompts por modelo, frameworks de evaluación de LLMs ( RAGAS, DeepEval u otros). A/B testing , experimentación y análisis comparativo de modelos y gobernanza de IA y ciclo de vida de modelos. Nivel de inglés fluido. RESPONSABILIDADES: Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en calidad, consistencia, latencia y coste, identificando riesgos. Monitorizar cambios de modelos (versiones, deprecaciones, ajustes de comportamiento) y analizar su impacto en...