IDS Comercial logo

Data Engineer / Remoto

IDS Comercial
Part-time
Remote
Brazil
R$50,000 - R$60,000 BRL monthly
Programming

Data Engineer - Dev. Back End

Modalidad: Remoto


Requisitos:

  • Ingles avanzado
  • 5 años de experiencia en el rol
  • Experiencia con Python para escribir canalizaciones de datos y capas de procesamiento de datos
  • Amplia experiencia y manejo SQL, optimizadas para la transformación de datos y la implementación de reglas comerciales.
  • Demuestra experiencia actualizada en ingeniería de datos y desarrollo de canales de datos complejos.
  • Experiencia en modelos ágiles
  • Experiencia en Airflow y Github.
  • Demuestra experiencia actualizada en ingeniería de datos y desarrollo de canales de datos complejos.
  • Experiencia en modelos ágiles
  • Diseñar, desarrollar, implementar y ajustar sistemas y canalizaciones distribuidos a gran escala que procesen grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.
  • Demuestra experiencia en la redacción de consultas complejas y altamente optimizadas en grandes conjuntos de datos.
  • Experiencia laboral comprobada con tecnologías de Big Data Hadoop, Hive, Kafka, Presto, Spark, HBase.
  • Altamente Competente en SQL (Consultas y Procedimientos Almacenados).
  • Experiencia con tecnologías en la nube (GCP y Azure Blob Storage)
  • Experiencia con modelo relacional, almacenes de datos de memoria deseables (Oracle, Cassandra, Druid)
  • Proporciona y respalda la implementación y las operaciones de los canales de datos y soluciones analíticas.
  • Experiencia en ajuste del rendimiento de sistemas que trabajan con grandes conjuntos de datos.
  • Experiencia en servicio de datos REST API – Consumo de Datos
  • IDE como: Intellij IDEA, Eclipse, Visual Studio Code.
  • Construya servicios web con frameworks Python (Django, Fast o Flask)
  • SO Windows y Linux y habilidades con consola.
  • Diseñar, desarrollar, implementar y ajustar sistemas y canalizaciones distribuidos a gran escala que procesen grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.
  • Experiencia laboral con Big Data Technologies Hadoop, Hive, Kafka, Presto, Spark, HBase, Automic y Aorta


Actividades

  • Capacidad para guiar a los equipos de ingeniería de datos.
  • Capacidad para comprender los requisitos finales y analizar las soluciones de principio a fin.
  • Demuestra experiencia actualizada en ingeniería de datos, desarrollo de canalizaciones de datos complejas
  • Diseñar, desarrollar, implementar y ajustar sistemas distribuidos a gran escala y canalizaciones que procesan grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.

Habilidades blandas

  1. Comunicación: puede explicar problemas de ingeniería con socios y universidades, escribir documentación fácil de entender y utilizar eficazmente los diferentes
  2. Trabajo en equipo: Integración colaborativa con diferentes áreas para resolver desafíos de datos ejecutando reuniones multifuncionales efectivas, dando y recibiendo retroalimentación.
  3. Gestión: Experiencia previa como líder técnico.
#LI-Onsite