Intelligence artificielle et jeu de Nim (2/2) - Codage et applications

C'est encore un jeu à deux joueur·ses (J1 et J2) à information complète, sans hasard, se terminant en un nombre fini de coups par une victoire de J1 ou J2. Donc J1 ou J2 a une stratégie gagnante. Ce jeu illustre le fait que, parfois, un argument permet de dire qui a la stratégie gagnante, sans toutefois pouvoir l'expliciter comme pour le jeu de Nim.

On part d'une tablette de chocolat rectangulaire de quatre par sept, figure 1.

La règle du jeu est la suivante : chacun·e à son tour enlève un morceau de la tablette, celui·celle qui prend le carré rouge (empoisonné), en haut à droite, a perdu.

Figure 1.  Initialisation du jeu du Choco Chomp

Comment prend-on un morceau de tablette ? On choisit un carré et on enlève tout ce qui se trouve en bas à gauche de ce carré. Voici un exemple de début de partie. J1 choisit ce carré :

Figure 2.  J1 choisit le carré vert - Jeu du Choco Chomp

Il enlève donc toute la partie verte, figure 3.

Figure 3.  On ôte de la tablette toutes les cases vertes - Jeu du Choco Chomp

J2 se retrouve donc avec la tablette suivante, figure 4.

Figure 4.  Au J2 de choisir un carré - Jeu du Choco Chomp

Le J2 choisit par exemple le troisième carré en partant de la gauche et deuxième en partant du haut, on arrive alors à la tablette figure 5.

Figure 5.  Au J1 de choisir un carré - Jeu du Choco Chomp

Et ainsi de suite….

Pour ce jeu, on peut montrer que J1 a nécessairement une stratégie gagnante, sans pour autant être capable de l'expliciter. La preuve repose sur le vol de stratégie. Commençons par imaginer que J1 commence par ne prendre que le coin en bas à gauche, figure 6.

Figure 6.  J1 choisit le carré du coin en bas à gauche - Jeu du Choco Chomp

Soit ce coup est gagnant pour J1 (fait partie d'une stratégie gagnante), ce qui signifie que quelque soit le coup de J2, il existe un coup de J1 tel que quelque soit le coup de J2, il existe un coup de J1, etc., tel que, à la fin, J1 gagne. Sinon, c'est qu'il existe un coup de J2 tel que quelque soit le coup de J1, il existe un coup de J2, etc., tel que, à la fin, J2 gagne. Ceci signifie que, dans ce deuxième cas, et à partir de la situation ci-dessus, c'est J2 qui a une stratégie gagnante. Mais dans ce deuxième cas, le premier coup de J2, J1 aurait pu le faire et lui voler sa stratégie gagnante. C'est donc bien J1 qui a une stratégie gagnante. Ce raisonnement fonctionne car le coup "prendre le carré en bas à gauche" est inclus dans tous les autres coups possibles.

Mais cette preuve d'existence est non constructive, elle démontre l'existence d'une stratégie gagnante pour J1 mais ne la donne pas effectivement.

On peut ensuite faire un programme par exploration d'arbre pour avoir la suite de positions gagnantes mais si la tablette de départ devient trop grande, même un ordinateur ne pourra pas le faire.

Une variante connue du jeu de Nim est la suivante : on part de quatre rangées d'allumettes (avec respectivement une, trois, cinq et sept allumettes). Chacun·e son tour, on retire entre une et trois allumettes d'une seule rangée. Celui·celle qui prend la dernière a perdu.

Ce jeu est appelé le jeu de Marienbad et a été popularisé par le film d'Alain Resnais et d'Alain Robbe-Grillet : L'année dernière à Marienbad (1961).

C'est encore un jeu à deux, à information complète, sans hasard, se terminant en un nombre fini de coups par la victoire d'un·e des deux joueur·ses. Il y a donc une stratégie gagnante pour l'un·e des deux. Mais pour qui ? Et quelle est-elle ? Après avoir cherché, on pourra consulter la référence [3].

Le morpion est aussi un jeu à deux à information complète, sans hasard, mais cette fois, il y a une possibilité de match nul. En observant l'arbre de jeu, on peut montrer que les deux joueur·ses ont une stratégie de match nul. En fait, on peut même montrer que J1 peut jouer n'importe où au premier coup et a la possibilité de s'assurer le match nul.

Il est possible de faire une machine purement physique illustrant l'apprentissage par renforcement sur le jeu de morpion. En effet, le·la joueur·se qui commence peut rencontrer, en tenant compte des symétries, 304 positions différentes au cours de la partie, ce qui reste raisonnable.

Donald Michie a construit en 1961 une telle machine en boîtes d'allumettes pour illustrer qu'un pur apprentissage par renforcement pouvait être efficace. Il en existe une à la MMI, à Lyon (figure 7).

Figure 7.  La M.I.A.M et ses 304 boîtes d'allumettes

Vous pourrez retrouver toutes les informations sur cette machine appelée MIAM (machine intelligente/idiote apprenant le morpion) [4]. Il lui faut quand même jouer environ 120 parties pour devenir très bonne, c'est-à-dire pour assurer le nul à (presque) tous les coups.

La conduite autonome est une application prometteuse de l'apprentissage par renforcement. Le véhicule n'a pas à connaître le code de la route, il suffit pour l'ordinateur d'apprendre de ses erreurs. Un conducteur intervient lorsqu'une erreur est commise, chaque intervention est une punition comme nous l'avons vu dans le cas du jeu de Nim. L'algorithme est récompensé lorsque qu'il effectue un trajet sans intervention. Pour plus de détails et une application avec un simulateur de voiture on pourra consulter la vidéo d'une équipe de l'Inria travaillant sur un algorithme de conduite de bout-en-bout [5].

L'entreprise Wayve (basée à Londres) montre in-situ l'apprentissage d'un véhicule autonome, dans la vidéo accessible par la figure 8. On peut voir un premier exemple d'apprentissage par renforcement d'une voiture qui ne connait pas le code de la route et n'a pas accès à une carte. La voiture apprend à rester sur la route à l'aide des interventions (punitions) de l'opérateur présent dans l'habitacle [6].

Figure 8.  Apprentissage par renforcement pour la conduite autonome, expérience menée par l'entreprise Wayve Source : Wayve [6]

L'optimisation du trafic routier, par le biais du contrôle des feux tricolores du réseau routier, peut aussi récemment bénéficier des algorithmes d'apprentissage par renforcement [7]. Ici, la problématique est de rendre le trafic routier le plus fluide, c'est-à dire laisser passer le plus de véhicules possibles, sans gêner la sécurité, lors d'une intersection. L'apprentissage par renforcement permet de résoudre ce problème de maximisation.

Les méthodes d'apprentissage par renforcement sont aussi utilisées dans l'industrie pour améliorer la préhension ou le mouvement des robots [8].

La plupart des problèmes de manipulation d'objets ne peuvent pas être modélisés avec assez de précision. Il est particulièrement compliqué de résoudre, par exemple, un problème comme la réorientation d'objets. L'entreprise Open AI entraîne, à l'aide de simulations, une main robotisée à manipuler des objets [9]. La machine apprend à l'aide d'un algorithme par renforcement. Une fois bien entraînée et à l'aide d'autres algorithmes d'intelligence articficielle, la situation est transposée au monde réel. On peut voir dans la vidéo accessible par la figure 9, les résultats obtenus pour une main faisant pivoter un cube afin de montrer la bonne face par rapport à la consigne donnée.

Figure 9.  Apprentissage par renforcement pour la dextérité d'une main robotique, Open AI Source : Open AI [9]

Dans le domaine énergétique, les méthodes d'apprentissage par renforcement peuvent aussi aider à optimiser l'efficacité des installations.

Par exemple, DeepMind (dont on a déjà parlé avec AlphaGo) travaille pour limiter la consommation énergétique des data center utilisés par Google [10][11]. L'objectif est ici de minimiser la dépense énergétique nécessaire au refroidissement des serveurs, tout en gardant les contraintes de sécurité sur les appareils.

Dans son billet [11], Deep Mind annonce une économie d'énergie de l'ordre de 30% depuis la mise en place de la gestion par AI.

Figure 10.  Performance versus entrainement pour la consommation énergétique (Google Search, Gmail, You Tube) - Deep Mind Source : DeepMind [11]

Nous venons de donner quelques exemples d'applications utilisant l'apprentissage par renforcement. Le champ des possibles est évidemment beaucoup plus large : finance, moteurs de recommandation sur les sites web ou réseaux sociaux, jeux vidéos, médecine…