Data Engineer
Solvd
Remoto
hace 7 meses
A convenirDirecto de la empresa
Empresa de infraestructura energética para la era de la IA busca un Ingeniero de Datos Senior para escalar su infraestructura de datos en AWS, trabajando con datos industriales y series temporales de alto volumen.
Atractivo para ingenieros de datos experimentados que buscan escalar infraestructuras en AWS. Ideal para aquellos con interés en datos industriales y series temporales.
ON.energy está construyendo la infraestructura de energía que hace posible la era de la IA. A medida que la demanda de IA supera lo que la red y los centros de datos tradicionales pueden soportar, ON.energy proporciona una nueva clase de tecnología de energía probada a escala de gigavatios y confiable para las principales empresas de nube e IA del mundo. Nuestros sistemas ya están desplegados en campus hiperscale de 2.5 GW, validados por los principales laboratorios nacionales de EE. UU. y certificados para operación segura en red por las principales empresas de servicios públicos. Con productos reales en el campo, estamos escalando más rápido de lo que puede la red, transformando la energía de un cuello de botella a una ventaja competitiva para las empresas que construyen el futuro. Buscamos un Ingeniero de Datos Senior práctico para unirse a un equipo pequeño (2 Ingenieros de Datos + 1 Analista de Datos). Ayudarás a escalar nuestra infraestructura de datos basada en AWS, trabajando principalmente con fuentes de datos industriales y datos de series de tiempo de alto volumen. Las responsabilidades incluirán: - Interactuar directamente con los usuarios finales para comprender cómo consumen los datos y diseñar soluciones que satisfagan sus necesidades. - Diseñar, desarrollar y mantener pipelines ETL/ELT escalables para procesamiento por lotes y en tiempo real, incluida la ingesta de series de tiempo de alta frecuencia. - Evolucionar el Data Lakehouse, optimizando el almacenamiento, el rendimiento y la consistencia de los datos. - Gestionar flujos de trabajo de orquestación con dependencias complejas y manejo de errores. - Implementar gobernanza de datos, controles de seguridad y políticas de auditoría en todo el ecosistema AWS, aprovechando servicios como AWS Lake Formation para permisos y gobernanza centralizados del data lake. - Optimizar el rendimiento y el costo (FinOps); identificar y resolver cuellos de botella técnicos. - Colaborar con el Analista de Datos para entregar conjuntos de datos listos para producción y optimizados para análisis. - Construir monitoreo, alertas y pruebas de calidad de datos para la confiabilidad de la plataforma. Requisitos: - Se requiere título de Licenciatura en Ciencias de la Computación, Ingeniería Informática o una disciplina estrechamente relacionada. - Como mínimo, 5 años de experiencia en Ingeniería de Datos, Ingeniería de Analítica o roles relacionados. - Profunda experiencia práctica con servicios de datos centrales de AWS: Glue, Athena, Step Functions, Lambda, Kinesis y Lake Formation. - Experiencia práctica con Apache Iceberg (requerido). - Dominio experto en Python (PySpark / Python Shell) y SQL avanzado (funciones de ventana, CTEs, ajuste del plan de ejecución). - Sólida comprensión de las herramientas ETL/ELT y las mejores prácticas de modelado dimensional (Kimball). - Experiencia en la preparación de arquitecturas de datos para herramientas de visualización e informes operativos/de gestión. - Experiencia práctica con motores NoSQL (por ejemplo, DynamoDB) y bases de datos SQL relacionales. - Infraestructura como Código: Terraform o AWS CloudFormation. Experiencia preferida: - Apache Airflow (se prefiere experiencia en MWAA) u orquestación nativa de AWS. - Familiaridad con dbt, Airbyte o Fivetran. - Experiencia en la automatización de CI/CD para trabajos de Glue o despliegues de Lambda. Habilidades blandas: - Mentalidad de par senior: lidera a través de revisiones de código y mentoría, no de jerarquía. - Tomador de decisiones pragmático que elige la herramienta adecuada para las necesidades de costo, eficiencia y proyecto. - Fuerte sentido de propiedad sobre la calidad de los datos de extremo a extremo y la disponibilidad del sistema. - Comunicador claro que puede traducir las necesidades del negocio en soluciones técnicas. Para roles basados en EE. UU. - Lo que obtendrás: - Salario competitivo + elegibilidad para bonificación anual basada en el desempeño - Seguro médico, dental y de visión - 401(k) con contrapartida de la empresa - Tiempo libre remunerado y días festivos de la empresa Para roles basados en México - Lo que obtendrás: - Salario competitivo + elegibilidad para bonificación anual - Bono de Navidad (Aguinaldo): 30 días - Seguro de gastos médicos mayores y seguro de vida - Tiempo libre remunerado y días festivos (según política local) Para todos los roles: - Oportunidades de desarrollo y crecimiento profesional - Oportunidad de crecer con un equipo impulsado por la misión que da forma al futuro de la energía limpia - Igualdad de Oportunidades: ON.energy se compromete con la igualdad de oportunidades de empleo y a mantener un entorno de trabajo libre de acoso, discriminación o represalias. - Acomodaciones: Si necesita una adaptación durante el proceso de solicitud, envíe un correo electrónico a recruitment@onenergystorage.com - Los beneficios varían según el rol y la ubicación y están sujetos a cambios.