Data Engineer
Solvd
Remoto
hace 7 meses
A convenirDirecto de la empresa
Empresa Fintech busca un/a Ingeniero/a de Datos Senior para diseñar, construir y evolucionar su plataforma Lakehouse en AWS y Snowflake, enfocada en datos transaccionales de alto volumen y procesamiento casi en tiempo real.
Atractivo para ingenieros de datos experimentados que buscan trabajar en una plataforma de pagos innovadora en América Latina, con tecnologías como AWS y Snowflake.
Acerca de Cobre: Cobre es la plataforma líder en pagos instantáneos B2B de Latinoamérica. Resolvemos los desafíos más complejos de movimiento de dinero de la región construyendo infraestructura financiera avanzada que permite a las empresas mover dinero de forma más rápida, segura y eficiente. Permitimos pagos comerciales instantáneos —locales o internacionales, directos o vía API— todo desde una única plataforma. Diseñada para fintechs, PSPs, bancos y equipos de finanzas que exigen velocidad, control y eficiencia. Desde pagos en tiempo real hasta tesorería automatizada, convertimos procesos financieros complejos en experiencias simples. Cobre es la primera plataforma en Colombia que permite a las empresas pagar a beneficiarios bancarizados y no bancarizados dentro del mismo ciclo de pago y a través de una única interfaz. ¡Estamos construyendo la infraestructura de pagos empresariales de Latinoamérica! Qué buscamos: Buscamos un Ingeniero de Datos Senior para diseñar, construir y evolucionar nuestra plataforma Lakehouse moderna, orientada a eventos y casi en tiempo real sobre AWS + Snowflake. Este es un rol de plataforma de datos, enfocado en datos transaccionales de alto volumen, procesamiento casi en tiempo real y bases arquitectónicas sólidas. Nuestro ecosistema de datos está construido alrededor de: - Ingesta orientada a eventos usando Confluent Cloud (Kafka). - Ingesta CDC desde bases de datos vía AWS DMS. - Conectores personalizados para fuentes internas y de terceros específicas. - Procesamiento casi en tiempo real y por lotes. - AWS S3 + S3 Tables (Apache Iceberg) como almacenamiento principal del Lakehouse. - Arquitectura Medallion (Bronze / Silver / Gold). - Glue & DBT como capa de transformación. - Snowflake para las capas Silver y Gold, analítica y gobernanza. Jugarás un papel clave en la definición de cómo fluyen los datos desde la fuente hasta el Lakehouse y la analítica, asegurando la confiabilidad, escalabilidad, observabilidad y gobernanza. Qué harías: Ingesta de datos orientada a eventos y casi en tiempo real - Diseñar y mantener pipelines de ingesta orientada a eventos usando Confluent + AWS + Snowflake. - Ingerir streams CDC desde bases de datos transaccionales usando AWS DMS. - Construir y mantener conectores de ingesta personalizados para fuentes internas y externas. - Asegurar la consistencia, el orden, la idempotencia y la reproducibilidad de los datos en pipelines casi en tiempo real. Lakehouse y Capa de Almacenamiento - Ser dueño de la arquitectura Lakehouse basada en S3 y Apache Iceberg en S3 Tables. - Diseñar tablas Iceberg optimizadas para cargas de trabajo por lotes y casi en tiempo real. - Gestionar la evolución del esquema, estrategias de particionamiento, compactación y time travel. - Implementar y evolucionar las capas Bronze, Silver y Gold alineadas con los patrones de ingesta orientada a eventos. Transformaciones y Procesamiento - Construir pipelines ELT casi en tiempo real y por lotes usando AWS Glue, Python, DBT y Snowflake. - Implementar modelos incrementales optimizados para datasets derivados de streaming. - Asegurar que las transformaciones sean modulares, testeables y listas para producción. Observabilidad, Calidad y Confiabilidad - Implementar observabilidad de datos y monitoreo en las capas de ingesta y transformación. - Rastrear la frescura, el volumen, los cambios de esquema y las métricas de calidad de datos. - Definir estrategias de alerta y monitoreo para detectar proactivamente problemas de pipelines y datos. - Implementar verificaciones de calidad de datos, contratos y reglas de validación. Habilitación de Analítica y Gobernanza - Exponer datasets curados a través de Snowflake como una capa de acceso gobernada. - Colaborar en estrategias de control de acceso, retención de datos y linaje. - Asegurar la consistencia entre el almacenamiento del Lakehouse y el consumo analítico. Propiedad de la Plataforma - Contribuir a las decisiones arquitectónicas en ingesta, almacenamiento y consumo. - Equilibrar las compensaciones entre latencia, costo, escalabilidad y confiabilidad. - Definir estándares, plantillas y mejores prácticas para la plataforma de datos. Qué necesitas: Requisitos indispensables - Más de 5 años de experiencia como Ingeniero de Datos (flexible según la profundidad). - Fuerte experiencia con arquitecturas de datos orientadas a eventos. - Experiencia práctica con Kafka / Confluent en entornos de producción. - Experiencia ingiriendo datos vía CDC (AWS DMS, Appflow o herramientas similares). - Sólida experiencia diseñando pipelines de datos casi en tiempo real. - Experiencia con AWS (S3, Glue, Lambda, EventBridge, Firehose, etc.). - SQL y Python avanzados. - Experiencia en producción usando DBT. - Experiencia práctica con Snowflake, incluyendo transformación de datos, modelado y gobernanza. Sería deseable - Experiencia con frameworks de procesamiento de streams en tiempo real (Apache Flink, Kafka Streams, etc.). - Infraestructura como Código (Terraform / Terragrunt). - Experiencia con sistemas transaccionales o fintech de alto volumen. - Familiaridad con contratos de datos, registros de esquemas y herramientas de observabilidad de datos. Quiénes prosperarán en este rol: - Ingenieros que disfrutan de sistemas orientados a eventos y procesamiento casi en tiempo real. - Personas que piensan en plataformas, no en pipelines puntuales. - Ingenieros cómodos tomando decisiones arquitectónicas. - Perfiles que disfrutan trabajando cerca de eventos de negocio centrales y datos transaccionales. Qué explicita este rol: - Kafka / Confluent es la capa de ingesta principal. - CDC + eventos son ciudadanos de primera clase. - El procesamiento casi en tiempo real es central, no una ocurrencia tardía. - Snowflake sirve como nuestro ecosistema central de acceso y gobernanza, superando con creces una simple interfaz de consulta S3. - Expectativas claras de nivel Mid / Senior. - La observabilidad y la confiabilidad son parte del trabajo, no un "plus". - El procesamiento casi en tiempo real es central, y valoramos mucho la experiencia en sistemas de tiempo real. No es un buen encaje si: - Te enfocas en BI/dashboards o analítica solo con SQL. - Solo has trabajado con ETL por lotes. - Buscas un rol junior o solo de ejecución. - No te interesan los sistemas orientados a eventos y casi en tiempo real.