cornerlines

Data Engineer

Vouloir exploiter les données c'est bien. Mais pouvoir les stocker et les sélectionner pour traiter des données pertinentes c’est mieux ! Pour ce faire, les entreprises ont besoin de collaborateurs alliant compétences techniques et compréhension business : les Data Engineer. Mais qui sont ces profils si rares sur le marché ?

Description du job

Un Data Engineer est quelqu’un ayant un background technique (en développement logiciel le plus fréquemment).
Il peut être un Software Engineer (Ingénieur Logiciel) reconverti dans le Big Data.
Les Data Engineers vont construire l’architecture du système Big Data. Ils opteront pour des outils de stockage adaptés au type de données et au ratio stockage/query. Ils utilisent la plupart du temps des bases de données NoSQL et se baseront sur le cloud pour les infrastructures. Ils savent également employer des technologies comme le Airflow et Spark pour orchestrer et traiter convenablement ces grands volumes de données.
Les Data Engineers doivent s’assurer de pouvoir collecter, transformer et stocker les données de différentes sources. Pour cela, ils développent des solutions qui permettent de traiter un gros volume de data dans un temps limité.
Ce travail préparatoire permettra d’avoir des données « propres », utilisables avec des techniques de Machine Learning. En d’autres termes, le travail d’un Data Engineer est de préparer le terrain pour qu’un Data Scientist puisse se servir des données « propres » afin de les exploiter de façon plus complexe, tirer des tendances (Insights), prédire, inférer avec les algorithmes de machine learning. Il doit savoir également travailler de concert avec le Data Analyst, qui s’occupe de l’agrégation des données.
Avec un intérêt pour le Développement et Opérations (DevOps), il est donc en collaboration directe avec les autres rôles de la data. Il sait doser l’aspect mise en production avec les itérations rapides du développement.

Technos

Logo MySQLLogo MongoDBLogo Hadoop

Salaires

Comment devenir un super Data Engineer ?

La majorité des Data Engineers ont une parcours école d’ingénieur spécialisée en informatique ou bien un Master Big Data à l’Université. Certains Data Engineer sont aussi d’ancien Software Engineer (Ingénieur logiciel) ou Ingénieur Big Data.

Ecole d'ingénieur

Top 10 des écoles d’ingénieurs : Centrale, Polytechnique, Les mines etc.

Stage / Alternance

Les stages & les expériences en alternance vont vous donner énormement de légitimité pour votre premier CDI. Choisissez-les avec attention

Projets perso

Même s'il est difficile d'avoir des projets personnels chez soi, car on est pas dans des environnements critiques, il est important de comprendre le fonctionnement des choses en profondeur.

Meetup

Les meilleurs Data Engineers sont ceux qui font partie d'une communauté sur laquelle ils peuvent s'épauler et partager.

Culture tech

Il est vital d'être à jour sur les nouveautés tant le monde de la Data évolue vite.