Ingeniero de Pruebas de Desarrollo de Software de IA

Empresa de soluciones digitales busca un Ingeniero de Pruebas de Desarrollo de Software de IA (AI-SDET) para liderar la adopción de herramientas y prácticas de IA en QA, validar salidas de LLM, RAG y agentes autónomos, y capacitar al equipo en nuevas metodologías. Se requiere experiencia en Python, pruebas de IA/ML y automatización.

Descripción del puesto

Somos Network Solutions, una empresa con décadas de experiencia ayudando a las personas a conectarse y a mantenerse a la vanguardia. Estamos desde los inicios de internet y seguimos construyendo el futuro. Como la autoridad original en identidad digital, aseguramos nombres de dominio, protegemos marcas y resguardamos la infraestructura en la que confían las empresas. Empoderamos a nuestros clientes para que posean y administren los activos que los definen en línea, al tiempo que brindamos seguridad de nivel empresarial para protegerlos contra amenazas virtuales. Nuestro equipo aprovecha herramientas modernas aceleradas por IA para optimizar la gestión de la presencia digital de las empresas, sacando el máximo provecho de nuestras décadas de experiencia. El equipo de Network Solutions está aquí para ayudar a las empresas en línea a proteger lo que es suyo y construir el mañana. Por eso, millones confían en nosotros cada día para proteger sus dominios, marcas y sitios web. Network Solutions busca un/a AI-SDET para ser un agente de cambio en nuestro Gremio de QA, introduciendo herramientas impulsadas por IA, marcos de evaluación y automatización inteligente que modernicen la forma en que trabaja nuestro equipo de ingeniería de calidad. Validarás resultados de LLM, pipelines RAG y flujos de trabajo de agentes autónomos, mientras capacitas y actualizas a los ingenieros de QA en prácticas emergentes de IA. El candidato ideal aporta entre 4 y 10+ años de experiencia en ingeniería, con 2 a 4 años enfocados en IA/ML, sólidas habilidades en Python y una capacidad probada para impulsar cambios de procesos dentro de los equipos de ingeniería. RESPONSABILIDADES CLAVE 1. Liderazgo de cambio y habilitación de equipos - Fomentar la adopción de herramientas y prácticas de prueba impulsadas por IA en todo el Gremio de QA. - Identificar brechas en los procesos actuales de QA e introducir soluciones impulsadas por IA para abordarlas, desde la generación automatizada de pruebas hasta marcos de autocuración. - Dirigir talleres, almuerzos informativos y sesiones de intercambio de conocimientos para actualizar a los ingenieros de QA en herramientas y metodologías de IA. - Servir como experto interno en estándares de calidad de IA, herramientas emergentes y mejores prácticas. - Colaborar con líderes de QA, gerentes de ingeniería y equipos de producto para integrar prácticas de calidad de IA en el SDLC. 2. Ingeniería de calidad de IA y LLM - Diseñar y mantener marcos de evaluación (Evals) que cubran la detección de alucinaciones, la fundamentación (groundedness), la toxicidad, el sesgo, la regresión de prompts, el determinismo y la validación de salvaguardas de seguridad. - Construir pipelines de validación automatizada para resultados de LLM utilizando aserciones estructuradas, puntuación semántica y métricas basadas en embeddings. - Validar arquitecturas RAG, incluidas estrategias de chunking, calidad de embeddings, precisión de recuperación, re-ranking y relevancia de búsqueda vectorial. - Probar flujos de trabajo de orquestación multiagente, memoria y retención de contexto de agentes, e integraciones de MCP (Model Context Protocol). - Crear conjuntos de datos sintéticos y de referencia para escenarios de pruebas de IA. - Evaluar la latencia, el uso de tokens, el costo del modelo, el rendimiento (throughput) y la escalabilidad de los sistemas de IA. 3. Ingeniería de automatización - Desarrollar y mantener marcos escalables de automatización de UI y API utilizando Python, Robot Framework y Playwright/Selenium/Cypress. - Automatizar pruebas en APIs REST, GraphQL, sistemas basados en eventos, servicios de streaming, webhooks, microservicios y arquitecturas de micro-frontend (MFE). - Construir bibliotecas de automatización reutilizables, utilidades y flujos de trabajo de pruebas asistidas por IA. - Integrar la automatización y las puertas de calidad en pipelines de CI/CD (GitHub Actions, Jenkins, GitLab CI/CD, Azure DevOps). 4. Validación de plataformas y agentes de IA - Validar agentes de IA construidos sobre LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel y SDKs de OpenAI. - Trabajar con bases de datos vectoriales, incluidas Pinecone, Weaviate, ChromaDB, Qdrant y FAISS. - Validar flujos de trabajo de IA que involucren llamada a herramientas (tool calling), llamada a funciones (function calling), planificación y ejecución de agentes, salidas estructuradas y sistemas multimodales. - Monitorear el comportamiento del sistema de IA utilizando plataformas de observabilidad, logging y tracing. 5. DevOps, cloud y confiabilidad - Trabajar dentro de entornos Docker y Kubernetes. - Realizar pruebas y despliegues basados en la nube en AWS, Azure, OCI y GCP. - Validar la confiabilidad y resiliencia de sistemas distribuidos. - Contribuir a las mejores prácticas de shift-left y ingeniería de calidad en toda la organización. CALIFICACIONES REQUERIDAS Indispensable: - Sólida experiencia en programación en Python. - Profundo conocimiento de los principios de pruebas de software e ingeniería de calidad. - Experiencia práctica con pruebas de IA/LLM, ingeniería de prompts, ingeniería de contexto y Evals de IA. - Experiencia práctica con sistemas RAG, agentes de IA y bases de datos vectoriales. - Experiencia con pipelines de CI/CD, Docker, Kubernetes y al menos una plataforma cloud importante (AWS, Azure, OCI o GCP). - Experiencia con pruebas de API, pruebas de microservicios y automatización de UI. - Dominio de SQL y experiencia en validación de datos. - Capacidad demostrada para influir en equipos de ingeniería e impulsar la adopción de nuevas herramientas y procesos. - Sólidas habilidades analíticas, de depuración y resolución de problemas. - Experiencia trabajando en entornos Agile/Scrum. Preferible: - Experiencia con Robot Framework y Playwright. - Conocimiento de LangChain, LangGraph, LlamaIndex, CrewAI o Semantic Kernel. - Familiaridad con MCP (Model Context Protocol). - Experiencia práctica con herramientas de IA para desarrolladores como Cursor, GitHub Copilot, Claude o Gemini. - Exposición a flujos de trabajo de MLOps, pruebas de rendimiento, pruebas de seguridad o requisitos de gobernanza y cumplimiento de IA. - Experiencia con pruebas de contratos, pruebas de caos o ingeniería de resiliencia. - Experiencia en AI Red Teaming o pruebas de seguridad de LLM (inyección de prompts, jailbreaks, fuga de datos). - Familiaridad con pruebas de accesibilidad y pruebas multiplataforma/multidispositivo. EDUCACIÓN - Se prefiere título de Grado o Máster en Ciencias de la Computación, Ingeniería, IA/ML o un campo relacionado. - Se valora mucho la experiencia práctica equivalente y un portafolio demostrable de proyectos. PERFIL DE ÉXITO El candidato adecuado para este puesto es más que un ingeniero sólido. Buscamos a alguien que: - Experimente activamente con herramientas de IA y cree proyectos paralelos, prototipos o contribuciones de código abierto. - Pueda tender puentes entre las prácticas tradicionales de ingeniería de calidad y los enfoques modernos nativos de IA. - Se comunique claramente, influya sin autoridad y genere confianza en los equipos de ingeniería, producto y liderazgo. - Aporte una mentalidad de mejora continua y una inclinación a la acción. - Aprenda y aplique rápidamente marcos, herramientas y arquitecturas de IA emergentes. Por qué te encantará trabajar con nosotros. Hemos evolucionado; ofrecemos tres escenarios de entorno de trabajo. Puedes sentirte como un "Newfolder" en un entorno de trabajo desde casa, híbrido o presencial. Equilibrio vida-trabajo. Nuestro trabajo es emocionante y significativo, pero sabemos que el equilibrio es clave para vivir bien. Celebramos las diferencias de los demás. Estamos orgullosos de nuestra cultura de diversidad e inclusión. Fomentamos una cultura de pertenencia. Nuestra empresa y nuestros clientes se benefician cuando los empleados aportan su yo auténtico al trabajo. Tenemos programas que nos unen en temas importantes y brindamos oportunidades de aprendizaje y desarrollo para todos los empleados. Contamos con más de 20 grupos de afinidad donde puedes establecer contactos y conectar con "Newfolders" a nivel mundial. Nos preocupamos por ti. Ofrecemos excelentes beneficios: cobertura médica OSDE 310, revisiones salariales mensuales, reembolso de matrícula, reembolso de internet, clases de inglés in-company, LinkedIn Learning, bono por programa de referidos, 5 días extra de vacaciones (F5), bono anual y la oportunidad de trabajar en proyectos globales con un equipo multicultural. ¿A dónde podemos llevarte? Somos fans de ayudar a nuestros empleados a aprender diferentes aspectos del negocio, ser desafiados con nuevas tareas, recibir mentoría y hacer crecer sus carreras. ¡Despliega nuevas posibilidades con #teamnewfold! #NetworkSolutions

Responsabilidades

• Liderar la adopción de herramientas y prácticas de IA en QA.
• Identificar y solucionar brechas en procesos de QA con soluciones basadas en IA.
• Ejecutar talleres y sesiones de conocimiento para capacitar a ingenieros de QA en IA.
• Ser experto interno en estándares de calidad de IA, herramientas emergentes y mejores prácticas.
• Colaborar con líderes de QA, gerentes de ingeniería y equipos de producto para integrar prácticas de calidad de IA en el SDLC.
• Diseñar y mantener frameworks de evaluación (Evals) para IA/LLM.
• Construir pipelines de validación automatizada para salidas de LLM.

Skills requeridas

Beneficios

• OSDE 310 Health Care
• Revisiones salariales mensuales
• Reembolso de matrícula
• Reembolso de Internet

Trabajos similares

Senior Software Development Engineer in Test - Real Estate - LATAM

Truelogic

Remoto

Más ofertas de Web

Explorar empleos relacionados