Introduction à l’apprentissage profond (deep learning) de l'intelligence artificielle

Le deep learning ou apprentissage profond est un sous-domaine du machine learning ou apprentissage machine, sous-domaine de l'intelligence artificielle, figure 1.

Par intelligence artificielle on comprend l'acte de faire reproduire par des machines des tâches qui sont jugées comme complexes par les humains, typiquement : faire raisonner une machine, apprendre à une machine la planification de tâches, ou encore apprendre à une machine à représenter des connaissances d'une manière structurée…

Figure 1.  L'intelligence artificielle et ses sous-domaines

Le deep learning ou apprentissage profond, regroupe actuellement les méthodes les plus efficaces et les plus performantes appliquées dans la communauté de l'apprentissage automatique.

Les méthodes d'apprentissage machine ne sont pas récentes mais datent des années 60. Dès les débuts de l'informatique, les pionniers avaient imaginé des systèmes et des principes d'apprentissage à base de réseaux de neurones. Les bases de ce fonctionnement ont été développés sur des machines depuis 1986 avec notamment les travaux de Geoffrey Hinton, universitaire canadien (figure 2 à gauche). Jusqu'en 2006, d'autres méthodes ont pris le dessus et les méthodes d'intelligences artificielles par réseaux de neurones ont été mises de côté. C'est grâce à une idée de Geoffrey Hinton que ces techniques sont revenues à la mode.

En 2012, Geoffrey Hinton et son équipe nommée "SuperVision" participent à un concours de traitement d'images sur la base de données ImageNet. Le concours consiste à traiter le contenu d'un million d'images, dont quelques exemples sont présentés figure 2 à droite.

Sources : Wikimedia et ImageNet Large Scale Visual Recognition Challenge Figure 2.  Geoffrey Hinton (à gauche) et quelques exemples d'images tirées de la base de donnée ImageNet (à droite)

Le challenge ILSVRC (ImageNet Large Scale Visual Recognition Challenge) porte sur la reconnaissance d'objets par une machine dans ce pool d'un million d'images ! C'est-à-dire qu'il faut que la machine soit capable de reconnaître si une coccinelle est présente dans une image ou si l'on voit de la neige, etc. Il faut finalement que la machine réalise une classification du contenu d'images très diverses. En amont, toutes ces images ont été finement annotées manuellement. Les résultats du traitement des images par les machines des différents compétiteurs sont ensuite comparés aux annotations initiales. Le but du concours consiste à déterminer quel est l'algorithme qui se rapproche le plus de "la vérité" annotée par des humains.

L'idée géniale de Geoffrey Hinton est l'utilisation de cartes graphiques d'ordinateurs pour faire ses calculs. En effet, les cartes graphiques, bien connues des amateurs de jeux vidéos, sont capable d'effectuer des calculs énormes très rapidement. Il se trouve que grâce à l'utilisation des cartes graphiques et de son algorithme d'apprentissage profond, l'équipe de Geoffrey Hinton gagne très largement devant l'Université de Tokyo, d'Oxford, l'équipe Xerox/INRIA, …

Par la suite, en 2013, Geoffrey Hinton, rejoint l'entreprise Google, tout en restant professeur à l'université de Toronto. Les pionniers de ce domaine de l'intelligence artificielle ont à peu près tous suivi ce chemin, car c'est principalement les grandes entreprises privées qui disposaient d'une grande quantité de données, leur permettant d'améliorer encore les méthodes d'apprentissage profond. Par exemple, le français Yan LeCun a rejoint l'entreprise Facebook. À partir de 2012, dans les concours de traitement d'images, les algorithmes employés sont issu de l'apprentissage profond.

Médiatiquement, dans ces années, on commence à beaucoup entendre parler de l'intelligence artificielle et de l'apprentissage profond. En 2016, l'intelligence artificielle est encore mise en lumière lorsque, pour la première fois, une machine bat un humain au jeu de GO, jeu qui a une logique combinatoire encore plus importante que celle des échecs. Ces victoires de la machine sur l'homme découlent du fait qu'il y a, maintenant par rapport à quelques années en arrière, de plus grandes bases de données disponibles pour entraîner les machines et des moyens de calculs beaucoup plus rapides.

Nous présentons ici quelques applications de l’apprentissage profond, en restant sur l'aspect image.

Comme nous venons de le voir, une machine peut classer le contenu d'images : reconnaître qu'il y a un chien, un léopard, etc. figure 3 à gauche. Ensuite, il est possible de regrouper des images de même contenu au sein d'une banque d'images. Par exemple, figure 3 à droite, la machine est capable de retrouver toutes les images dans lesquelles il y a une fleur violette ou des éléphants et de les regrouper ensemble.

Figure 3.  Exemples de classifications et d'associations de contenu d'images

Il est encore possible d'aller plus loin dans la compréhension du contenu des images. On peut détecter des objets (figure 4 à gauche) et segmenter (ou détourer) les objets dans des scènes complexes. Un exemple est donné figure 4 à droite, où des humains marchant dans la rue sont précisément repérés. Cela s'avère d'ailleurs une fonction indispensable pour des projets de type véhicule autonome.

Figure 4.  Exemples de détections et de segmentations d'objets à l'intérieur d'images

Dans le domaine de l'imagerie médicale, l'apprentissage profond peut aussi jouer un rôle de détection et prédiction. Par exemple, la figure 5a présente différentes images de grains de beauté bénins ou malins. Des travaux ont montré que la distinction a été réalisée avec une précision meilleure par la machine que par des experts, pas toujours tous unanimes. Ces méthodes affichent aussi de très bons résultats dans la détection de certains cancer dont le cancer du sein par mammographie.

L'apprentissage profond peut aussi être utilisé dans le domaine biologique pour suivre, par exemple figure 5b, les grands mammifères marins à l'aide de la vision satellite.

Figure 5.  Applications actuelles pratiques de l'apprentissage profond : imagerie médicale et suivi d'espèces en biologie

Une application plus fondamentale et encore en développement de l'intelligence artificielle est la possibilité de décrire sémantiquement une image, c'est-à-dire que la machine soit capable de produire un texte qui correspond au contenu de l'image. Par exemple, figure 6 : "il y a un chat assis dans une valise posée par terre".

Figure 6.  Description sémantique du contenu d'une image : "il y a un chat assis dans une valise posée par terre"

Dans le domaine de l'agronomie (figure 7) il est aussi possible de détecter si des graines sont viables ou non, de suivre la croissance des racines par rayons X, ou encore de détecter des mauvaises herbes sur des lits de mâche.

Figure 7.  Applications de l'intelligence artificielle dans le domaine de l'agriculture

Nous venons de voir que les domaines d'application sont très nombreux et divers, nous proposons maintenant de voir un peu plus en détail le principe de ces méthodes d'apprentissage.

Nous rappelons d’abord les principes généraux du champ de l’apprentissage automatique, dont l’apprentissage profond est, comme nous venons de le voir, un sous-domaine. Nous nous concentrons ici sur le cas d’un algorithme de classification. D’autres tâches d’apprentissage automatique existent (segmentation, régression, système de recommandation, etc.) mais peuvent être dérivées à partir du cas de la classification.

Le but d’un algorithme de classification est d’associer de façon automatique une étiquette à un objet. Nous nous plaçons dans le domaine de la vision par ordinateur, où l’objet est une image et l’étiquette peut être par exemple un mot qui décrit le contenu dans l’image.

Initialement, l’apport principal de ces algorithmes était une accélération de cet étiquetage lorsque le nombre d’objets en faisait une charge trop fastidieuse pour des humains. Aujourd’hui, certains de ces algorithmes ont progressé au point d’obtenir des performances super-humaines sur certaines tâches. Nous nous limitons ici au cas des algorithmes dits supervisés, c’est-à-dire ceux qui sont entraînés sur un ensemble d’images dont les étiquettes sont connues.

Nous détaillons à présent les étapes d’un tel apprentissage, illustrées en figure 8.

Nous considérons, pour illustration, une classification binaire où l’on cherche à déterminer la présence ou l’absence de pommes dans des images. Les étapes décrites sont valables pour n’importe quel algorithme d’apprentissage supervisé.

Figure 8.  Schéma représentant les étapes d’entraînement d’un algorithme d’apprentissage automatique pour une détection de pommes dans des images

Une fois l’algorithme entraîné, il peut être utilisé pour réaliser des prédictions, c’est-à-dire des propositions d’étiquettes sur un jeu d’images qu’on ne lui a jamais présenté. Visuellement, cela correspond à placer un point dans l’espace des caractéristiques et de lui attribuer une étiquette en fonction de sa position par rapport à la frontière de décision.

L’exemple d’algorithme d’apprentissage automatique supervisé le plus simple est celui des « k plus proches voisins ». On présente d’abord à l’algorithme les vecteurs de caractéristiques et les étiquettes du jeu d’entraînement. Puis, pour déterminer l’étiquette d’un nouvel élément, on calcule les k plus proches éléments parmi ceux du jeu d’entraînement. Plusieurs possibilités existent pour calculer cette distance, la plus populaire étant la distance euclidienne entre les vecteurs de caractéristiques. L’étiquette la plus représentée parmi ces plus proches voisins est attribuée à ce nouvel élément. Afin d'illustrer cet exemple, on pourra se reporter à  : l'extrait de la vidéo, proposée dans la section 7 au sujet de la frontière de décision, des voisins et des erreurs possibles (à partir de 6 min15).

En pratique, lorsque l’on souhaite entraîner un algorithme de classification à partir d’une jeu, on sépare ce jeu en plusieurs sous-ensembles que l’on appelle des « blocs » (sets en anglais). On conserve typiquement entre 60 et 80% des images comme bloc d’entraînement, et on utilise le reste comme bloc dit de test. Ce bloc ne sert pas à entraîner l’algorithme, mais est utilisé pour évaluer les performances de ce dernier sur des images hors de son bloc d’entraînement. La performance obtenue sur le bloc de test agit donc comme un indicateur de la performance de l’algorithme en déploiement sur de nouvelles images.

De plus, pour beaucoup de ces algorithmes, il est nécessaire de fixer des hyperparamètres, c’est-à-dire des paramètres concernant le fonctionnement de l’algorithme lui-même. Par exemple, la valeur k et la métrique de distance sont les hyperparamètres de l’algorithme des « k plus proches voisins ». Pour fixer ces hyperparamètres, on a souvent recours à une autre division du jeu, que l’on appelle bloc de validation. L’idée est alors, pour chaque combinaison d’hyperparamètres que l’on souhaite tester, d’effectuer un entraînement sur le bloc d’entraînement, puis d’effectuer une prédiction sur le bloc de validation. La performance atteinte sur ce bloc est alors un indicateur de la qualité des hyperparamètres pour cette tâche. L’ensemble d’hyperparamètres menant à la performance de validation la plus élevée est alors conservé. Pour entraîner un algorithme d’apprentissage, il est donc très courant de diviser le jeu d’images disponible en trois blocs : entraînement, validation et test.

L’apprentissage profond est un paradigme d’apprentissage automatique inspiré de l’anatomie du cerveau humain. Cet apprentissage est associé à une structure algorithmique que l’on appelle un réseau de neurones. Le neurone biologique est une cellule complexe, mais seul son fonctionnement basique a servi d’inspiration au neurone informatique. Le parallèle entre neurone biologique et neurone informatique est illustré figure 9.

Les variables écrites en vert sont les paramètres du neurone. Source de l’image du neurone biologique : Wikipedia. Figure 9.  Schéma d’un neurone informatique superposé à un schéma de neurone biologique

Un neurone biologique reçoit des signaux électriques d’autres neurones en amont via des points d’entrées (x₀, x₁, x₂ et x₃). Ces signaux sont accumulés à l’intérieur du corps du neurone, et si la somme de ces signaux dépasse un certain seuil, le neurone s’active et envoie à son tour un signal à des neurones en aval. Un neurone informatique approxime ces principes. Il accepte en entrée un nombre fixe de nombres réels (représentant les signaux des neurones en amont) et produit en sortie (y) une valeur réelle (représentant le signal envoyé aux neurones en aval). Cette sortie est calculée à partir des entrées via l’équation :

$y=f({\displaystyle \stackrel{n}{\sum _{\mathrm{i=0}}}}{w}_i{x}_i+b)$

qui représente l’accumulation de signaux électriques.

Les entrées sont multipliées par des valeurs w_i que l’on appelle les poids, qui représentent la force de la connexion entre ce neurone et les neurones en amont. La fonction f est une fonction dite d’activation. Il s’agit d’une fonction non-linéaire croissante.

Les premières implémentations de réseaux définissaient f comme une fonction seuil : f renvoie 1 si son argument est strictement positif et 0 sinon, mais d’autres fonctions furent proposées au fil des années comme la fonction unité linéaire rectifiée (Rectified Linear Unit en anglais, ou ReLU). Cette fonction représente l’activation du neurone si celui-ci a accumulé suffisamment de potentiel électrique. La valeur b, que l’on appelle le biais, représente l’appétence ou la résistance du neurone à s’activer. Les poids et le biais (souvent désignés collectivement sous le nom de « poids ») sont les paramètres du neurone : ce sont ces valeurs qui sont modifiées au cours d’un entraînement.

Un neurone informatique peut constituer à lui seul le support d’un algorithme d’apprentissage pour certaines tâches bien définies. En constituant un jeu d’entraînement composé de paires d’entrées réelles et des sorties binaires attendues, et en présentant séquentiellement ces exemples au neurone, il existe un algorithme d’entraînement qui définit comment modifier les poids de celui-ci afin de converger vers la classification attendue.

Cependant, la capacité d’un neurone unique est trop faible pour qu’il soit appliqué ailleurs que sur des cas jouets. Les algorithmes d’apprentissage profond sont basés sur des ensembles de neurones que l’on appelle des réseaux. On appelle « architecture » la structure selon laquelle les neurones sont reliés entre eux. Les premières architectures s’appelaient les perceptron multi-couche (Multi-Layer Perceptron en anglais, ou MLP). Dans un MLP, les neurones sont connectés à la fois parallèlement et séquentiellement selon une organisation en couches (figure 10).

La première couche est constituée d’un certain nombre de neurones qui prennent en entrée les données. Les sorties des neurones de cette couche servent d’entrée à une deuxième couche de neurones, et ainsi de suite, jusqu’à une dernière couche dont on identifie la sortie à proposition faite par le réseau pour l’étiquetage de l’entrée. Cette structure en couches est inspirée de l’architecture neuronale du cerveau humain.

On identifie la sortie de la dernière couche y à la prédiction du réseau, que l’on compare à la véritable étiquette attendue l. Figure 10.  Un perceptron multi-couche ou MLP composé de trois couches

La phase d’entraînement d’un réseau se déroule de la façon suivante. Tous les paramètres sont initialisés aléatoirement. Un exemple issu du bloc d’entraînement est présenté au réseau. Le réseau calcule une sortie, que l’on compare à l’étiquette et on en calcule une mesure de performance. Un algorithme que l’on appelle la rétro-propagation d’erreur permet alors de calculer la contribution de chaque poids du réseau à la sortie proposée et donc à la performance pour cet exemple. La connaissance de ces contributions permet de connaître la forme locale de la fonction de performance en fonction des valeurs des poids. Une itération d’un algorithme d’optimisation est alors appliquée pour modifier les valeurs des poids afin d’améliorer la performance du réseau sur cet exemple. Un nouvel exemple est présenté et le cycle recommence. L’entraînement se poursuit jusqu’à ce que la performance se stabilise ou selon d’autres critères d’arrêt. On dit alors que le réseau a convergé ou bien est entraîné. Le réseau peut ensuite être utilisé en prédiction pour produire des étiquettes sur des données qu’on ne lui a jamais présentées.

En tant que nouvelle technologie l’apprentissage profond soulève des questions sur son usage. Elles sont d’ordres diverses. Bien sûr l’usage de cette méthode d’IA peut poser des problèmes éthiques. L’équilibre des bases de données d’apprentissage va conditionner le résultat de l’algorithme. Quand il s’agit de données liées à nos sociétés, il convient donc de veiller à la bonne représentativité de cette société pour éviter des biais (âge, genre, couleur de peau, ...). C’est une question délicate dans la mesure où cette société est elle-même en évolution. Un autre aspect éthique porte sur l’interprétabilité des décisions prises par les algorithmes. Cette décision résulte du passage de l’information dans l’ensemble du réseau dans des espaces de dimension qui dépasse notre entendement et ne s’exprime pas de façon sémantique.

Ceci est particulièrement problématique pour des applications dans le domaine médical ou encore pour des questions de justice qui nécessitent une justification et une incertitude exprimés en des termes compréhensibles par des humains. L’interprétabilité est donc une thématique de recherche très actuelle en IA.

L’usage de l’IA déclenche de nombreux autres débats autour de questions éthiques. L’impact sociétal de l’IA concerne également la question de l’emploi. Certains emplois sont menacés par les performances supra-humaines des algorithmes comme ceux à base d’apprentissage profond. Les partisans technophiles de ces algorithmes indiquent que de nouveaux emplois de "data-scientist" sont créées pour développer justement ces algorithmes.

Figure 12.  Machine learning versus deep leanring

Un aspect peu discuté est que le niveau de 
 qualification pour développer ces algorithmes n’est pas forcément très élevé. En effet, les codes des algorithmes d’apprentissage profond sont largement disponibles. Le travail du data-scientist consiste donc principalement à annoter les données et à régler les hyperparamètres. Le temps de développement est considérablement réduit par rapport aux approches classiques où l’algorithme était programmé. Une solution logicielle peut ainsi être obtenue en moins d’une semaine là où il fallait plus d’un an au début des années 2000. Certains travaux d’annotation de données sont même réalisés sur des plateformes d’annotation en ligne qui mobilisent des armées de petites mains pour des sommes dérisoires. L’apprentissage non supervisé est donc une thématique de recherche très actuelle en IA.

Un dernier aspect, moins souvent médiatisé, est la consommation énergétique de ces méthodes d’IA. Il est désormais connu que le stockage des données sur les data centers représente une part importante (plus grande que celle de l’aviation civile par exemple) de la contribution de l’activité humain à l’effet de serre. Les méthodes d’apprentissage profond qui sont, comme on l’a expliqué, gourmandes en données sont également de grandes consommatrices d’énergies. Elles nécessitent une parallélisation des étapes de convolution par des composants de type cartes graphiques. La recherche de nouvelles architectures de réseaux de neurones plus éco-responsables est donc une thématique de recherche très actuelle en IA.

Une démonstration de réseaux de neurones en ligne est disponible sur le site Playground.tensorflow.org via une interface très intuitive. On y retrouve tous les éléments présentés dans ce document. Les élèves peuvent voir les réseaux de neurones en action pour une tâche de classification binaire sans avoir à programmer. Un exemple d’utilisation pédagogique de cette interface est proposée sur la vidéo de la chaîne youtube de l’auteur.

L’utilisation des réseaux de neurones amène un certain nombre de questions éthiques abordées dans la vidéo, figure 13.

Figure 13.  L'apprentissage machine par David Rousseau, intervention donnée dans le cadre du Patronage laïque Jules Vallès. Durée : 58 min19