Ingeniero/a Databricks

Empresa de consultoría busca Ingeniero/a Databricks con experiencia en Spark, Delta Lake y MLflow para unirse a su equipo remoto. El rol implica el desarrollo y optimización de pipelines de datos, integración con soluciones cloud y soporte a soluciones de IA/ML.

Descripción del puesto

En RevStar, construimos lo que importa como Ingeniero/a de Databricks. RevStar es un Partner de Databricks que lanza una práctica agnóstica a la nube enfocada en servicios de Datos, Machine Learning (ML) e Inteligencia Artificial (AI). Nuestra misión es ayudar a las empresas a modernizar sus plataformas de datos, optimizar flujos de trabajo analíticos e implementar soluciones escalables impulsadas por IA utilizando Databricks. Nos apasiona lo que construimos y cómo lo construimos. Desde la arquitectura y el diseño hasta la codificación y la entrega, abordamos cada proyecto con una mentalidad ágil, analizando continuamente los objetivos y las necesidades del negocio para asegurar resultados óptimos. En RevStar, fomentamos una cultura colaborativa y remota donde los equipos comparten ideas libremente, innovan juntos y crecen tanto individual como colectivamente. Al unirte a nosotros, tendrás la oportunidad de trabajar con tecnologías de vanguardia en diversas industrias, entregando productos de valor para clientes que priorizan la calidad y el rendimiento. Creemos en la búsqueda de la mejora, no solo en el desarrollo de aplicaciones cloud-native, sino en la creación de experiencias y resultados significativos que importan. Buscamos un/a Ingeniero/a de Databricks altamente calificado/a para unirse a nuestro equipo. Este rol será práctico, trabajando en estrecha colaboración con arquitectos/as, científicos/as de datos y clientes para construir, optimizar y desplegar soluciones de datos e IA de alto rendimiento. Como Ingeniero/a de Databricks, serás responsable de construir y optimizar pipelines de datos, implementar frameworks de procesamiento de datos y habilitar soluciones de IA/ML dentro de Databricks. Trabajarás en la ingesta, transformación y orquestación de datos, asegurando escalabilidad, rendimiento y seguridad. Este es un rol técnico práctico, que requiere experiencia en Apache Spark, Delta Lake y MLOps, así como experiencia trabajando con arquitecturas de datos a gran escala. Colaborarás con arquitectos/as y stakeholders de negocio para asegurar que las soluciones se alineen con las necesidades del cliente y las mejores prácticas. Por encima de todo, el/la candidato/a ideal encarna los valores fundamentales de RevStar: Automaestría: Tenemos un alto estándar en cómo pensamos, comunicamos y mejoramos. Propiedad: Somos dueños de los resultados, no solo del esfuerzo. Destino Compartido: Nos levantamos o caemos juntos. Responsabilidades Clave: Ingeniería de Datos y Desarrollo de Pipelines: - Desarrollar y optimizar pipelines de datos utilizando Apache Spark y Delta Lake dentro de Databricks. - Implementar flujos de trabajo ETL/ELT, asegurando la ingesta, transformación y almacenamiento eficientes de datos. - Diseñar soluciones basadas en arquitectura Lakehouse que escalen a través de fuentes de datos estructuradas y no estructuradas. - Integrar Databricks con soluciones de almacenamiento en la nube (Azure Data Lake, AWS S3, Google Cloud Storage) para una gestión de datos fluida. Optimización de Rendimiento y Automatización: - Optimizar trabajos de Spark para escalabilidad, eficiencia de costos y baja latencia. - Implementar soluciones de monitoreo y alerta para rastrear el rendimiento de los trabajos y detectar fallos. - Desarrollar procesos automatizados de validación de datos, pruebas y aseguramiento de la calidad. Gestión de Integración IA/ML y MLOps: - Apoyar el entrenamiento y despliegue de modelos de ML dentro de Databricks, integrando con MLflow para seguimiento de experimentos y versionado de modelos. - Colaborar con científicos/as de datos e ingenieros/as de ML para habilitar soluciones de IA escalables. - Implementar pipelines de ingeniería de características e integrar modelos en entornos de producción. Seguridad, Gobernanza y Mejores Prácticas: - Asegurar la seguridad de los datos, el control de acceso y el cumplimiento de estándares de la industria (GDPR, HIPAA, SOC 2, etc.). - Seguir las mejores prácticas de Databricks para linaje de datos, gobernanza y gestión de metadatos. - Documentar procesos, configuraciones y mejores prácticas para uso interno y de clientes. Requisitos Indispensables: - Más de 3 años de experiencia práctica en ingeniería de datos, con enfoque en procesamiento de big data y arquitecturas cloud-native. - Más de 2 años de experiencia práctica con Databricks, incluyendo Apache Spark, Delta Lake y MLflow. - Certificaciones Databricks (Obligatorio): Databricks Certified Data Engineer Associate (o superior). - Dominio de Python, SQL y frameworks basados en Spark. - Experiencia en el desarrollo y optimización de pipelines ETL/ELT a gran escala. - Fuerte comprensión de la arquitectura Lakehouse y soluciones de datos agnósticas a la nube. - Familiaridad con pipelines CI/CD e Infraestructura como Código (IaC) para Databricks (ej. Terraform, Databricks CLI). - Conocimiento de las mejores prácticas de gobernanza de datos, seguridad y cumplimiento. - Experiencia trabajando en entornos de desarrollo Ágil, siguiendo las mejores prácticas de DevOps/MLOps. Requisitos Deseables: - Certificaciones Databricks adicionales (ej. Databricks Certified Machine Learning Associate). - Experiencia con soluciones de streaming en tiempo real (ej. Kafka, Kinesis, Event Hub). - Familiaridad con herramientas de almacenamiento en la nube y orquestación (ej. Apache Airflow, Prefect). - Antecedentes en integración de IA/ML dentro de Databricks, asistiendo en ingeniería de características y despliegue de modelos. - Experiencia trabajando en roles de cara al cliente o entornos de consultoría. Beneficios para Puestos Full-Time W2: - Tiempo libre remunerado (Paid Time Off): Tómate el tiempo que necesites para recargar energías y mantener la productividad. - Entorno de trabajo remoto-first: Colabora desde cualquier lugar mientras te mantienes conectado/a con nuestro equipo global. - Cobertura médica integral: Médico, Dental, Visión. - Plan de jubilación 401(k): Planifica tu futuro con acceso a un programa 401(k) patrocinado por la empresa. - Estipendio anual de aprendizaje y desarrollo: Invierte en tus habilidades con conferencias, certificaciones o cursos. - Mentoría y coaching entre pares: Aprende de ingenieros/as, gerentes de producto y arquitectos/as experimentados/as para acelerar tu crecimiento. - Oportunidades de crecimiento profesional: Exposición a tecnologías de vanguardia en AWS GenAI, datos y nube en diversas industrias. - Salidas de empresa y oportunidades de voluntariado: Construye relaciones y contribuye a la comunidad. - Cultura colaborativa e innovadora: Trabaja junto a talento de primer nivel en un entorno dinámico y de apoyo que valora la curiosidad y la iniciativa.

Responsabilidades

• Develop and optimize data pipelines using Apache Spark and Delta Lake within Databricks
• Implement ETL/ELT workflows
• Design Lakehouse architecture-based solutions
• Integrate Databricks with cloud storage solutions
• Optimize Spark jobs for scalability, cost efficiency, and low latency
• Implement monitoring and alerting solutions
• Develop automated data validation, testing, and quality assurance processes

Skills requeridas

Beneficios

• Paid Time Off
• Remote-First Working Environment
• Comprehensive Health Coverage
• 401(k) Retirement Plan

Trabajos similares

Senior Data Engineer

Solvd

Presencial

Más ofertas de RevStar

Explorar empleos relacionados