Data Engineer
Huzzle
Remoto
hace 11 días
A convenirDirecto de la empresa
Empresa de consultoría busca un Ingeniero de Datos con experiencia en Python (PySpark) y Azure Synapse Analytics para desarrollar procesos ETL y estructuras de data warehousing. El puesto es 100% remoto para Latinoamérica.
Ideal para profesionales apasionados por el desarrollo de software que buscan un entorno dinámico y colaborativo.
Bluelight es una consultora de software líder dedicada a diseñar y desarrollar tecnología innovadora que mejora la vida de los usuarios. Con un firme compromiso de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de vanguardia, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en Estados Unidos y América Central/del Sur, Bluelight se encuentra en una emocionante fase de expansión, buscando continuamente talento excepcional para unirse a su comunidad dinámica y diversa. Como Ingeniero de Datos ETL, desempeñarás un papel fundamental en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de los datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para entregar datos de alta calidad para insights y toma de decisiones, este puesto es ideal para un profesional apasionado por el desarrollo de software que prospera en un entorno dinámico y de ritmo rápido donde las opiniones y los esfuerzos de todos son valorados. Al unirte a la consultora de software en crecimiento de nuestro cliente, tendrás la oportunidad de contribuir a proyectos desafiantes y líderes en el mercado dentro de una comunidad colaborativa que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. Responsabilidades: - Ingeniería de Datos ETL: Desarrollar y mantener procesos de ingeniería de datos ETL utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines, para garantizar extracciones, transformaciones y cargas de datos eficientes. - Data Warehousing: Aplicar tu experiencia en data warehousing, comprendiendo esquemas de estrella, hechos y dimensiones, para diseñar y construir estructuras de almacenamiento de datos efectivas en un Massively Parallel Processing (MPP) SQL Pool. - Experiencia en Fuentes de Datos: Extraer datos de diversas fuentes, incluyendo APIs REST, tablas de bases de datos SQL y archivos CSV. - Experiencia en Azure Synapse Analytics: Utilizar tu profundo conocimiento de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Conceptos de Data Fabric: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como data lakes, lakehouses, delta lakes y catalogación de datos, para mejorar las capacidades de gestión de datos. - Modelado de Datos: Colaborar con arquitectos de datos para crear modelos y esquemas de datos que se alineen con los requisitos del negocio. - Calidad de Datos: Implementar procesos de validación y control de calidad de datos para mantener la precisión y consistencia de los datos. - Optimización de Rendimiento: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de datos ETL para cumplir con los SLAs. - Monitoreo y Solución de Problemas: Monitorear trabajos ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de los pipelines de datos. - Documentación: Mantener documentación completa de los procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos. - Colaboración: Trabajar en estrecha colaboración con equipos multifuncionales para comprender los requisitos de datos y brindar soporte para iniciativas relacionadas con datos. - Seguridad y Cumplimiento: Garantizar la seguridad de los datos y el cumplimiento de los estándares de gobernanza de datos y privacidad. Calificaciones: - Título de Grado en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Azure Data Engineer) como un plus. - Experiencia comprobada en ingeniería de datos ETL con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos desde APIs REST, tablas de bases de datos SQL y archivos CSV. - Dominio en el uso de recursos de Azure Synapse Analytics, incluyendo Notebooks, Pipelines, Linked Services y Azure Key Vault. - Capacidad demostrada para escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimiento de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Sólidas habilidades de resolución de problemas y analíticas, con una gran atención al detalle. - Excelentes habilidades de comunicación, tanto verbales como escritas, con la capacidad de trabajar en colaboración en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, machine learning y análisis de datos preferida. - Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y Metodologías Ágiles como un plus.