Ingénieur MLOps, un métier unique de l'IA

Précédemment, nous avons déjà présenté plusieurs métiers comme l'ingénieur des données ou l'ingénieur Machine Learning.

En parallèle de ces métiers, on trouve celui d'ingénieur MLOps, bien que ce nom ne semble pas très évocateur, il s'agit d'un métier nécessaire dans l'industrie de l'IA.

Sans ce métier, ces mêmes ingénieurs des données et ingénieurs Machine Learning auraient beaucoup plus de difficultés à collaborer ensemble.

Pourquoi c'est un métier ?

Un peu de contexte

Lorsqu’on parle de notre métier, certains noms sont plus faciles à porter que d’autres comme le métier de boulanger qui est très simple à imaginer, ce qui n’est pas du tout le cas pour le métier d’ingénieur en Machine Learning Operations (ou ingénieur MLOps).

Ce faisant, quelques explications s’imposent sur l’appellation de Machine Learning Operations : il s'agit d'une fusion entre “Machine Learning” désignant un sous-domaine de l’intelligence artificielle, et “Developer Operations” qui est un métier déjà existant en informatique.

Le métier de Developer Operations, également appelé “DevOps” est relativement récent dans l’histoire de l’informatique puisqu’il est né vers la fin des années 2000, pour résoudre une nécessité industrielle majeure.

A cette époque, les équipes de développement (Dev) et d’exploitation (Ops) travaillaient séparément :

• Les développeurs créent du code pour ensuite le confier aux administrateurs systèmes (les développeurs étaient souvent évalués sur leur rapidité à livrer)
• Les administrateurs devaient faire tourner ce code en production (ils étaient évalués sur la stabilité des systèmes)

Les objectifs respectifs des équipes étaient contradictoires : les développeurs pensaient que les administrateurs leur faisaient perdre du temps, et les administrateurs pensaient que les développeurs cherchaient à compromettre les systèmes en place.

Cette barrière entre les personnes qui créent les logiciels (Dev) et celles qui les font tourner (Ops) créait des tensions dans les entreprises et devait être supprimée.

L’ingénieur DevOps était donc chargé de supprimer cette barrière, en facilitant la collaboration entre ces équipes via des pratiques et des outils utilisés en commun. In fine, ce métier permet aux équipes de livrer plus vite, réduire les erreurs et s’adapter plus rapidement.

Pour en revenir au métier d’ingénieur MLOps, son rôle principal est similaire, à savoir permettre aux équipes de livrer plus vite, réduire les erreurs et s’adapter plus rapidement. Mais dans le cadre du machine learning, il y a des complexités supplémentaires.

Dans le développement classique, le code est relativement stable une fois déployé. Mais dans l’industrie de l’IA, un modèle peut se dégrader au fil du temps même sans changer le code, simplement parce que les données évoluent. Donc il faut non seulement gérer le lancement en production, mais aussi surveiller les performances des modèles dans le temps.

Au final, l’ingénieur MLOps est celui qui fait le lien entre les équipes de développement qui conçoivent un modèle d’IA, dont les compétences sont adaptées aux défis spécifiques liés à ce secteur.

Les tâches de l'ingénieur MLOps

Le métier d’ingénieur MLOps est un hybride entre le développement et la coordination d’équipe. En conséquence, l’ingénieur MLOps doit être capable d’accomplir des tâches purement techniques, dont voici plusieurs exemples :

• Tester différentes configurations de modèles d’IA et choisir les meilleures
• Déployer des modèles d’IA en production
• Assurer le monitoring et la surveillance des modèles déployés, en particulier pour détecter une baisse de performance et planifier un entraînement du modèle

Mais un autre rôle principal de l’ingénieur MLOps est d’être le liant entre plusieurs métiers de l’IA. Nous avons déjà présenté plusieurs métiers spécifiques à l’IA dans cette newsletter, notamment le métier d’ingénieur des données qui cherche à obtenir les meilleures données possibles, ou encore l’ingénieur Machine Learning qui conçoit les algorithmes pour les modèles d’IA.

Les objectifs de ces métiers peuvent être différents voire divergents, et ils nécessitent une compréhension mutuelle que l’ingénieur MLOps doit apporter pour que les équipes soient aussi efficaces que possible.

Cela implique entre autres d’établir des normes et des bonnes pratiques pour les équipes, de créer et maintenir les documentations et de travailler au quotidien avec plusieurs équipes différentes.

Les compétences requises

Compétences techniques

Compréhension des algorithmes de Machine Learning. L'ingénieur MLOps doit comprendre comment fonctionnent les modèles (régression, classification, réseaux de neurones, etc.). Il ne doit pas être capable de les inventer, mais de les debugger, d'optimiser leurs hyperparamètres, et de diagnostiquer les problèmes.

Maîtrise des frameworks tels que TensorFlow, PyTorch, Scikit-learn ou Keras.L'ingénieur MLOps doit maîtriser au minimum deux frameworks pour pouvoir travailler dans différents environnements.

Savoir coder en Python. Python est le langage communément utilisé dans le machine learning, et il faut également connaître les bonnes pratiques de développement.

Maîtrise des outils liés aux DevOps, tels que Docker qui permet de packager un modèle d’IA et toutes ses dépendances dans un conteneur isolé (une étape indispensable avant la mise en production), et Kubernetes qui est l’outil standard pour automatiser le déploiement, optimiser l’utilisation de l’infrastructure sur laquelle est basé un modèle d’IA, ou encore gérer les pannes.

Savoir utiliser des plateformes spécifiques au MLOps comme Airflow ou MLFlow qui, seules ou combinées, permettent d’automatiser et d’industrialiser toutes les étapes de création d’un modèle d’IA.

Compétences humaines

Travail en équipe. Puisque l’ingénieur MLOps fait le lien entre d’autres équipes, la collaboration est la compétence humaine primordiale pour ce métier. Cela implique notamment de comprendre les workflows, les outils et les contraintes des différentes équipes.

Communication. L’ingénieur MLOps doit être capable de traduire les contraintes et/ou les complexités techniques des équipes du projet. En parallèle, il doit documenter et communiquer les bonnes pratiques de développement de telle sorte que tout le monde puisse les suivre (personne ne respecte les pratiques de développement si la communication est mauvaise).

Résolution de problèmes. Quand un modèle fonctionne mal, le problème peut venir de plusieurs sources comme les données, l’infrastructure ou le modèle lui-même. L’ingénieur MLOps doit être en capacité d’utiliser les logs et les outils appropriés pour apporter la solution adaptée.

Adaptation. Le métier d’ingénieur MLOps implique de travailler avec plusieurs équipes différentes, dans une industrie qui demande d’actualiser ses connaissances et d’adopter de nouveaux outils régulièrement, d’où la nécessité de pouvoir s’adapter rapidement.

Accéder à ce métier

Le métier d’ingénieur MLOps implique beaucoup de compétences différentes et des responsabilités assez importantes dans une entreprise, donc il est très difficile voire impossible de prétendre à ce poste sans expérience professionnelle au préalable.

La plupart du temps, les personnes travaillant en tant qu’ingénieur MLOps ont d’abord acquis une expérience professionnelle dans un domaine précis (Machine Learning, Data Science…) pour ensuite se renseigner sur les autres domaines :

• Un Ingénieur des données va chercher à apprendre Docker, Kubernetes et tous les outils spécifiques liés au MLOps
• Un ingénieur Machine Learning va chercher à comprendre comment créer des datasets ou mettre en place des pipelines

Malgré tout, certaines expériences qu’elles soient professionnelles ou autodidactes peuvent faciliter l’accès à ce métier:

• Toutes les expériences liées au développement Python, au développement de APIs, ou à la gestion de bases de données peuvent servir
• Les expériences positives liées à la coordination entre plusieurs équipes sont une qualité pour ce métier
• Avoir exercé dans des métiers où la collecte, la transformation et la valorisation de la donnée sont régulières est également salué

Pour finir, même si nous n’avons pas forcément le diplôme et/ou l’expérience professionnelle adaptée pour devenir ingénieur MLOps, il y a énormément d’initiatives à prendre comme avoir un profil GitHub organisé dans lequel on partage les projets auxquels on contribue, ou même participer à des hackathons.

Les initiatives possibles sont nombreuses, et cela débloque généralement des opportunités professionnelles.

La rémunération d'un ingénieur MLOps

Tous les métiers liés aux DevOps sont souvent les mieux rémunérés, car ils nécessitent à la fois des compétences techniques et des compétences pour coordonner une équipe. En somme, ce genre de métier nécessite des profils relativement rares, et la rémunération est adaptée en ce sens.

L’ingénieur MLOps rentre tout à fait dans cette description. Il y a même plus de demande à l’heure actuelle pour les ingénieurs MLOps que pour d’autres métiers liés au DevOps car l'IA attire particulièrement l'attention aujourd'hui.

Un ingénieur MLOps débutant dans une entreprise française obtient un salaire compris entre 40 000 € et 55 000 € bruts par an. Dans le cas d’une startup, ce salaire peut être complété par des stock options ou des BSPCE (Bons de Souscription de Parts de Créateur d'Entreprise), une pratique assez fréquente dans les petites entreprises.

Cet intervalle est valable pour un ingénieur MLOps débutant dans une entreprise basée en France, mais en réalité l’estimation des salaires dépend d’un grand nombre de facteurs :

• Le salaire annuel brut d’un senior (+5 ans d’expérience) basé en France est situé entre 55 000 € et 75 000 € bruts annuels
• Le secteur d'activité joue également un rôle important, les entreprises technologiques et la finance offrant souvent les meilleures rémunérations.
• Enfin, la rémunération est différente selon les pays, en fonction du coût de la vie et de la demande du pays concerné pour ces profils. Les États-Unis sont le pays le plus demandeur en compétences liées à l’IA, ce qui fait que le salaire brut d’un ingénieur MLOps est d’au moins $100 000 par an, même pour les profils peu expérimentés.

Voilà qui conclut la présentation de ce métier spécifique à l’IA, et ce n’est qu’un métier parmi la multitude qui ont été créés spécifiquement pour répondre aux besoins de cette industrie.

Si l’idée d’apprendre des compétences liées à l’IA, ou la volonté de contribuer professionnellement à ce secteur vous intéresse, Alyra vous propose de vous y former !

{{cta-moyen-dia}}