Senior QA Engineer
BeyondBuenos Aires
Presencial
hace 1 mes
A convenirDirecto de la empresa
Empresa busca un Ingeniero Senior de QA Automation con experiencia en sistemas de IA para unirse a un equipo cross-funcional en LATAM. El rol se enfoca en construir el sistema de validación para la calidad de salida de modelos RAG, incluyendo precisión, citas y acceso.
Si te copa la IA y querés ser clave en la calidad de sistemas de vanguardia, este puesto remoto es para vos. Vas a diseñar la validación de modelos RAG, un desafío técnico para quienes buscan crecer en este campo.
Sobre el Proyecto Software Mind está construyendo un asistente de IA privado y aislado por tenant para la industria de títulos y liquidación de bienes raíces. La plataforma es un sistema "retrieval-first" (RAG) que ingiere correos electrónicos históricos, documentos y metadatos estructurados en un índice vectorial por tenant, y ofrece respuestas fundamentadas, citadas y con peso experto a través de una interfaz de preguntas y respuestas estilo chat con inicio de sesión único y registro de auditoría completo. La plataforma es nativa de AWS con un backend Python/FastAPI, frontend Vue.js, vector store OpenSearch/Pinecone y OpenAI/Anthropic/Bedrock como proveedor de LLM. Te unirás a un equipo senior y multifuncional con base en LATAM, donde la experiencia práctica en entrega de IA, no solo la familiaridad, es la expectativa base. Construirás el "validation harness" que determina si el sistema de IA cumple con los estándares de precisión; este es tu entregable principal. Esto no es automatización de pruebas genérica. Necesitas entender qué significa "correcto" para un sistema de recuperación basado en RAG y diseñar frameworks de prueba que puedan detectar fallos de recuperación, citas alucidadas, deriva de la puntuación de confianza y violaciones de acceso RBAC. Responsabilidades: - Diseñar e implementar el "validation harness" para la calidad de la salida RAG: precisión de recuperación, corrección de citas y "grounding". - Construir suites de pruebas automatizadas para la "AI Extraction Gateway" en implementaciones Simple RAG y Complex RAG. - Desarrollar y ejecutar casos de prueba de rúbrica de precisión en colaboración con el BA y el Experto en la Materia designado. - Automatizar pruebas de regresión para la calibración de la puntuación de confianza y el comportamiento de ponderación de fuentes. - Probar la aplicación de RBAC y los controles de acceso a vistas filtradas por rol. - Validar la completitud del registro de auditoría y la trazabilidad del ciclo de vida del documento. - Construir y mantener la suite de pruebas del pipeline de ingesta incremental. - Contribuir a los "go/no-go decision packs": producir informes de precisión y documentación de evidencia de pruebas. Tech Stack: - Python, pytest, AWS, REST API Testing, Jira, Confluence Must-Have Skills & Experience: - +90% de inglés escrito y oral (al menos nivel B2) con excelentes habilidades de comunicación. - Más de 6 años en ingeniería de automatización de QA; se requiere seniority senior. - Fuertes habilidades en ingeniería de automatización de pruebas. - Python preferido (pytest o framework equivalente). - Experiencia en pruebas de API y "contract testing". - Comodidad diseñando frameworks de prueba para sistemas no deterministas o probabilísticos. - Experiencia en entornos ágiles/scrum con gestión de pruebas basada en Jira. Nice-to-Have: - Experiencia previa probando sistemas RAG, salidas de LLM o relevancia de búsqueda semántica; este es un fuerte diferenciador. - Familiaridad con frameworks de evaluación de IA: RAGAS, TruLens o enfoques de evaluación basados en rúbricas personalizadas. - Antecedentes en pruebas sensibles al cumplimiento: validación de pistas de auditoría, verificación de control de acceso o entornos de datos regulados. Aceptamos aplicaciones de países de LATAM.