Data Engineer
Huzzle
Remoto
hace 11 días
A convenirDirecto de la empresa
Se busca Azure Data Engineer para trabajar de manera remota en Latinoamérica. Responsable de diseñar, desarrollar y mantener procesos de integración de datos utilizando Python (PySpark) y Azure Synapse Analytics.
Ideal para desarrolladores apasionados que buscan un entorno dinámico y colaborativo.
Bluelight es una consultoría de software líder dedicada al diseño y desarrollo de tecnología innovadora que mejora la vida de los usuarios. Con un compromiso inquebrantable de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de vanguardia, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en los Estados Unidos y América Central y del Sur, Bluelight se encuentra en una emocionante fase de expansión y busca constantemente talento excepcional para unirse a su comunidad dinámica y diversa. Como Ingeniero de Datos ETL, jugarás un papel fundamental en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para brindar datos de alta calidad para obtener información y tomar decisiones, esta posición es ideal para un profesional apasionado del desarrollo de software que prospera en un entorno dinámico y acelerado donde se valoran las opiniones y esfuerzos de todos. Al unirte a la consultoría de software en crecimiento de nuestro cliente, tendrás la oportunidad de contribuir a proyectos desafiantes y destacados en un entorno colaborativo que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. Responsabilidades: - ETL Data Engineering: Desarrollar y mantener procesos de ingeniería de datos ETL utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines, para garantizar extracciones, transformaciones y cargas de datos eficientes. - Data Warehousing: Aplicar tu experiencia en almacenamiento de datos, comprendiendo esquemas en estrella, hechos y dimensiones, para diseñar y construir estructuras efectivas de almacenamiento de datos en un grupo de procesamiento masivo en paralelo (MPP) SWL. - Data Source Expertise: Extraer datos de diversas fuentes, incluidas API REST, tablas de bases de datos SWL y archivos CSV. - Azure Synapse Analytics Expertise: Utilizar tus profundos conocimientos de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Data Fabric Concepts: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como lagos de datos, casas de lago, lagos delta y catalogación de datos, para mejorar las capacidades de gestión de datos. - Data Modeling: Colaborar con arquitectos de datos para crear modelos de datos y esquemas que se alineen con los requisitos comerciales. - Data Quality: Implementar comprobaciones de calidad de datos y procesos de validación para mantener la precisión y coherencia de los datos. - Performance Tuning: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de datos ETL para cumplir con los SLA. - Monitoring and Troubleshooting: Monitorear trabajos ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de la canalización de datos. - Documentation: Mantener documentación integral de los procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos. - Collaboration: Trabajar en estrecha colaboración con equipos multifuncionales para comprender los requisitos de datos y brindar soporte para iniciativas relacionadas con datos. - Security and Compliance: Garantizar la seguridad de los datos y el cumplimiento con los estándares de gobierno y privacidad de datos. Calificaciones: - Licenciatura en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Ingeniero de Datos de Azure) siendo un plus. - Experiencia comprobada en ingeniería de datos ETL con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos de API REST, tablas de bases de datos SQL y archivos CSV. - Competencia en el uso de recursos de Azure Synapse Analytics, incluidos Notebooks, Pipelines, Servicios Vinculados y Azure Key Vault. - Capacidad demostrada para escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimiento de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Fuertes habilidades de resolución de problemas y análisis, con atención meticulosa al detalle. - Excelentes habilidades de comunicación, tanto verbal como escrita, con la capacidad de trabajar de manera colaborativa en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, aprendizaje automático y análisis de datos preferida. - Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y Metodologías Ágiles un plus.