Data Engineer
Huzzle
Remoto
hace 11 días
A convenirDirecto de la empresa
Consultora busca Ingeniero de Datos con experiencia en Python (PySpark) y Azure Synapse Analytics para desarrollar procesos ETL, modelado de datos y optimización de rendimiento. Trabajo remoto para Latinoamérica.
Ideal para desarrolladores apasionados que buscan un entorno dinámico y colaborativo.
Bluelight es una consultora de software líder dedicada a diseñar y desarrollar tecnología innovadora que mejora la vida de los usuarios. Con un firme compromiso de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de vanguardia, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en Estados Unidos y América Central/del Sur, Bluelight se encuentra en una emocionante fase de expansión, buscando continuamente talento excepcional para unirse a su comunidad dinámica y diversa. Como ETL Data Engineer, desempeñarás un papel fundamental en el equipo de ingeniería de datos de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de los datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para entregar datos de alta calidad para insights y toma de decisiones, este puesto es ideal para un profesional apasionado por el desarrollo de software que prospera en un entorno dinámico y de ritmo rápido donde las opiniones y los esfuerzos de todos son valorados. Al unirte a la consultora de software en crecimiento de nuestro cliente, tendrás la oportunidad de contribuir a proyectos desafiantes y líderes en el mercado dentro de una comunidad colaborativa que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. Responsabilidades: - ETL Data Engineering: Desarrollar y mantener procesos de ETL Data Engineering utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines, para garantizar extracciones, transformaciones y cargas de datos eficientes. - Data Warehousing: Aplicar tu experiencia en data warehousing, comprendiendo esquemas en estrella, hechos y dimensiones, para diseñar y construir estructuras de almacenamiento de datos efectivas en un Massively Parallel Processing (MPP) SQL Pool. - Data Source Expertise: Extraer datos de diversas fuentes, incluyendo REST APIs, tablas de bases de datos SQL y archivos CSV. - Azure Synapse Analytics Expertise: Utilizar tu profundo conocimiento de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Data Fabric Concepts: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como data lakes, lakehouses, delta lakes y data cataloging, para mejorar las capacidades de gestión de datos. - Data Modeling: Colaborar con arquitectos de datos para crear modelos y esquemas de datos que se alineen con los requisitos del negocio. - Data Quality: Implementar procesos de validación y calidad de datos para mantener la precisión y consistencia de los datos. - Performance Tuning: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de ETL de datos para cumplir con los SLAs. - Monitoring and Troubleshooting: Monitorear trabajos de ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de los pipelines de datos. - Documentation: Mantener documentación completa de los procesos de ETL Data Engineering, flujos de datos y transformaciones de datos. - Collaboration: Trabajar en estrecha colaboración con equipos multifuncionales para comprender los requisitos de datos y brindar soporte para iniciativas relacionadas con datos. - Security and Compliance: Garantizar la seguridad de los datos y el cumplimiento de los estándares de gobernanza y privacidad de datos. Calificaciones: - Título de Grado en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con data engineering o data science (ej. Azure Data Engineer) como un plus. - Experiencia comprobada en ETL Data Engineering con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos desde REST APIs, tablas de bases de datos SQL y archivos CSV. - Dominio en el uso de recursos de Azure Synapse Analytics, incluyendo Notebooks, Pipelines, Linked Services y Azure Key Vault. - Capacidad demostrada para escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimiento de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Sólidas habilidades de resolución de problemas y analíticas, con una gran atención al detalle. - Excelentes habilidades de comunicación, tanto verbales como escritas, con la capacidad de trabajar en colaboración en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, machine learning y análisis de datos preferida. - Experiencia con herramientas de visualización de datos (ej. Power BI, Tableau) y Metodologías Ágiles como un plus.