Ingeniero Big Data - Integración de Datos y CDC
Stefanini · Peru · posted today ago
Listing supplied by Himalayas. 101 Careers did not originate this post and applications are handled by the employer.
About this role
¡Sé parte de Stefanini!
Buscamos un Ingeniero de Datos con experiencia en integración de datos y mecanismos de captura de cambios (CDC), responsable de implementar, configurar, probar y estabilizar flujos de replicación de datos desde Oracle hacia Apache Kafka y PostgreSQL.
El profesional participará en la implementación de una arquitectura de integración basada en Oracle, LogMiner, Debezium, Kafka Connect, Apache Kafka y JDBC Sink, asegurando la integridad, continuidad y trazabilidad de los datos durante su procesamiento y transferencia.
Se valorará la experiencia con herramientas CDC como Debezium, Oracle GoldenGate, IBM IIDR, Qlik Replicate, AWS DMS u otras tecnologías equivalentes.
- Implementar y configurar flujos de integración y replicación de datos mediante tecnologías CDC.
- Participar en la configuración de Apache Kafka, incluyendo topics, particiones, offsets, replication factor y políticas de retención.
- Configurar y validar los mecanismos de integración entre Oracle, Kafka y PostgreSQL.
- Implementar y configurar conectores de captura y escritura de datos, utilizando Kafka Connect, Debezium y JDBC Sink, según la arquitectura definida.
- Ejecutar pruebas de integración para validar operaciones INSERT, UPDATE y DELETE.
- Realizar pruebas de integridad, consistencia y reconciliación de datos entre origen y destino.
- Diagnosticar problemas de integración, retrasos en la captura de datos, errores de conectividad y procesamiento.
- Participar en pruebas de rendimiento, recuperación y continuidad operativa.
- Coordinar con los equipos de DBA, Infraestructura, Redes y Seguridad para la implementación de la solución.
- Elaborar documentación técnica, procedimientos de recuperación y manuales de operación.
- Realizar transferencia de conocimiento al equipo responsable del soporte y operación.
Tecnología / conocimiento
- Apache Kafka -Intermedio
- Herramientas CDC-Intermedio
- SQL - Intermedio
- Apache Spark - Intermedio, sujeto a validación de necesidad
- Linux - Intermedio
- Oracle - Experiencia en consultas, transacciones y validación de datos
- Integración de datos - Experiencia en proyectos productivos
- Kafka Connect: workers, connectors y tasks.
- PostgreSQL: integración y validación de datos.
- Oracle LogMiner y manejo de REDO / Archived REDO.
- Java / JVM.
- Alta disponibilidad (HA), recuperación y continuidad de procesos.
- Monitoreo de lag, latencia, throughput y performance.
- Manejo de datos LOB: CLOB, BLOB y NCLOB.
- Automatización con Bash o Python.
- Redes y conectividad: DNS, puertos y NTP.
Originally posted on Himalayas