Data Engineer
Huzzle
Remoto
hace 11 días
A convenirDirecto de la empresa
Estamos buscando un Data Engineer (Azure) para trabajar en un entorno remoto en América Latina. El candidato debe tener experiencia en ingeniería de datos con Python (PySpark) y Azure Synapse Analytics.
Ideal para desarrolladores apasionados que buscan un entorno dinámico y colaborativo.
Bluelight es una consultoría de software líder dedicada a diseñar y desarrollar tecnología innovadora que mejora la vida de los usuarios. Con un compromiso inquebrantable de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de vanguardia, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en los Estados Unidos y América Central y del Sur, Bluelight se encuentra en una emocionante fase de expansión y busca continuamente talento excepcional para unirse a su comunidad dinámica y diversa. Como Ingeniero de Datos ETL, desempeñarás un papel crítico en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para entregar datos de alta calidad para obtener información y toma de decisiones, esta posición es ideal para un profesional apasionado del desarrollo de software que prospera en un entorno dinámico y acelerado donde se valoran las opiniones y esfuerzos de todos. Al unirte a la consultoría de software en crecimiento de nuestro cliente, tendrás la oportunidad de contribuir a proyectos desafiantes y destacados en un entorno colaborativo que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. Responsabilidades: - Ingeniería de datos ETL: Desarrollar y mantener procesos de ingeniería de datos ETL utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines, para garantizar extracciones, transformaciones y cargas de datos eficientes. - Almacenamiento de datos: Aplicar tu experiencia en almacenamiento de datos, comprendiendo esquemas en estrella, hechos y dimensiones, para diseñar y construir estructuras efectivas de almacenamiento de datos en un grupo de procesamiento masivo en paralelo (MPP) SWL. - Experiencia en fuentes de datos: Extraer datos de diversas fuentes, incluidas API REST, tablas de bases de datos SWL y archivos CSV. - Experiencia en Azure Synapse Analytics: Utilizar tus profundos conocimientos de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Conceptos de Data Fabric: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como lagos de datos, casas de datos, lagos delta y catalogación de datos, para mejorar las capacidades de gestión de datos. - Modelado de datos: Colaborar con arquitectos de datos para crear modelos y esquemas de datos que se alineen con los requisitos comerciales. - Calidad de datos: Implementar comprobaciones de calidad de datos y procesos de validación para mantener la precisión y consistencia de los datos. - Ajuste de rendimiento: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de datos ETL para cumplir con los SLA. - Monitoreo y solución de problemas: Monitorear trabajos ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de la canalización de datos. - Documentación: Mantener documentación integral de los procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos. - Colaboración: Trabajar en estrecha colaboración con equipos multifuncionales para comprender los requisitos de datos y brindar soporte para iniciativas relacionadas con datos. - Seguridad y cumplimiento: Garantizar la seguridad de los datos y el cumplimiento con los estándares de gobierno y privacidad de datos. Calificaciones: - Licenciatura en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Ingeniero de Datos de Azure) siendo un plus. - Experiencia comprobada en ingeniería de datos ETL con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos desde API REST, tablas de bases de datos SQL y archivos CSV. - Competencia en el uso de recursos de Azure Synapse Analytics, incluidos Notebooks, Pipelines, Servicios vinculados y Azure Key Vault. - Capacidad demostrada para escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimiento de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Fuertes habilidades para resolver problemas y analizar datos, con una gran atención al detalle. - Excelentes habilidades de comunicación, tanto verbal como escrita, con la capacidad de trabajar de manera colaborativa en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, aprendizaje automático y análisis de datos preferiblemente. - Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y Metodologías Ágiles un plus.