Fiche métier - Data ingénieur

Technicien de haut vol, l’ingénieur data est un développeur informatique dont la principale mission est de mettre en place la collecte de données brutes, c’est-à-dire la matière première de son activité, en vue de transformer ces données pour que les différentes équipes de l’entreprise, notamment les Data Scientists et les Data Analysts, puissent les exploiter et les analyser. Il veille également au stockage des données dans un Data Warehouse, qu’il va concevoir et construire pour rendre les données exploitables par les analystes.

Occupant un poste clé dans l’entreprise, c’est lui qui va définir, développer, déployer et veiller au bon fonctionnement des outils et des infrastructures nécessaires à l’analyse des données, ce qui va permettre à l’entreprise de prendre des décisions opérationnelles.

La solution qu’il va créer doit permettre de traiter de gros volumes de données, c’est pourquoi il va développer des outils visant à manier de tels volumes de données et préparer les données brutes obtenues en les intégrant, en les consolidant et en les nettoyant pour s’assurer qu’elles soient « propres » et de haute qualité. Il va également industrialiser le traitement de ces données pour les envoyer en production, en développant des pipelines de données. Il est donc en lien avec les équipes métiers et les équipes qui analysent les données. Il veille aussi à la sécurité et à l’exploitabilité des données en créant une solution adéquate et en testant les données. Enfin, le data engineer a pour mission de gérer des bases de données ainsi que des systèmes de traitement à grande échelle et de s’assurer que tout fonctionne correctement. Sa mission consiste donc également à tester le data product après analyse par les Data scientists, afin de vérifier qu’il fonctionne comme prévu en back-end.

Fort d’un excellent relationnel, il interagit fréquemment avec les Data Scientists et les Data Analysts et travaille toujours en équipe.

L’ingénieur de data dispose à la fois de compétences techniques et informatiques pointues, mais aussi d’une très bonne organisation et de bonnes compétences relationnelles. Il aura notamment besoin des compétences suivantes :

• Maîtrise des technologies Big Data et des frameworks d’ingestion et de traitement des données open source ;
• Connaissance experte des langages SQL, Python et R ;
• Maîtrise des langages SAS, C/C++, Java, Python, Ruby, Julia, MatLab, Scala, Tensorflow et SQL ;
• Maîtrise de MySQL, PostgreSQL et Microsoft SQL Server et des outils ETL ;
• Maîtrise des systèmes d’exploitation, notamment UNIX et Linux ;

Il doit également :

• Savoir créer des pipelines de données sécurisés et de qualité ;
• Savoir configurer une Data Warehouse (entrepôt de données) ;
• Savoir construire et concevoir des applications à grande échelle ;
• Être technophile et s’intéresser aux données et à leur valeur/utilité pour l’entreprise ;
• Participer à la rédaction de bonnes pratiques d’architecture et de sécurité ;
• Être organisé, réactif et avoir l’esprit d’équipe ;
• Avoir un esprit critique ;
• Être capable de résoudre des problèmes en faisant preuve de créativité ;
• Faire preuve de rigueur et être force de proposition, être autonome ;
• Esprit d’analyse et de synthèse ;
• Maîtrise écrite et orale de l’anglais ;

L’ingénieur data peut être amené à travailler au sein de startups ou de grands groupes, dans divers secteurs, et plus particulièrement au sein du service informatique dédié au Big Data ou de l’unité Data Science. Sa principale mission est de rendre exploitables les données brutes qui ont été collectées, mais il peut aussi intervenir en aval d’un projet, en contribuant à l’industrialisation des modèles. Il accompagne ainsi les Data Scientists en relisant et en optimisant le code, en assurant l’exploitabilité des solutions et en procédant à des tests automatisés. Il joue un rôle clé pour ces derniers, car ils ont besoin de données de qualité pour pouvoir effectuer leurs travaux de Data science. En effet, tout écart ou incohérence a une incidence sur les algorithmes d’apprentissage machine (machine learning) et donc sur les résultats obtenus.

Il remplit les missions suivantes :

• Recueillir les besoins en matière de collecte et de stockage de données auprès des services de l’entreprise qui en font la demande et qui utiliseront les solutions créées ;
• Concevoir des solutions qui permettent de traiter d’importants volumes de pipelines de données ;
• Développer des solutions techniques pour la collecte et le stockage de données (au moyen d’API et du framework Hadoop) ;
• Tester les données et s’assurer de leur bon fonctionnement ;
• Automatiser le nettoyage des données selon le cahier des charges ;
• Assurer le respect des dispositions du RGPD ;
• Veiller à la sécurité et à la lisibilité des données pour les équipes chargées de l’analyse de celles-ci ;
• Animer l’équipe chargée des différentes étapes entourant le traitement des données ;
• Dans certains cas, effectuer des analyses décisionnelles à partir des données qu’il a traitées (croisement de données et travaux de consolidation) ;
• Se former en permanence sur les nouvelles technologies et langages dans le domaine (veille informatique) afin de contribuer à l’avancement des projets.