Traitement du signal et des images : description et applications en 3 questions à Pierre Borgnat.

Cette thématique est née pendant la seconde guerre mondiale, dans les années 1940-1950, de la rencontre de la communauté de l'ingénierie électrique et électroniciens avec des mathématiciens. Les motivations en jeu étaient d’abord très générales et concernaient des problèmes de détection (radar, sonar) et de téléphonie. D'un côté les électroniciens fabriquaient les instruments de mesure et de l'autre les mathématiciens amenaient des outils de type transformée de Fourier ou processus aléatoires pour étudier les signaux en question.

Petit à petit le traitement du signal et des images est devenu une discipline à part entière, à la croisée de :

Parmi les travaux fondateurs, on peut citer celui de Claude Shannon sur la théorie mathématique de la communication datant de 1948 [1]. Dans cet article l'auteur pose les bases à la fois de la représentation des signaux numériques échantillonnés mais aussi des résultats importants pour comprendre à quelle vitesse on peut faire de la communication type téléphone. Ces résultats sont toujours une des bases de ce que l’on fait en téléphonie mobile. On peut aussi citer, dans la communauté française, les travaux de Blanc-Lapierre sur les signaux aléatoires, dans les années 1950. À partir de cette époque, des universitaires ont commencé à s'intéresser à ces problèmes, ce qui a donné naissance à une communauté en traitement du signal et des images en France assez active et classée quasiment deuxième dans le monde derrière les Etats-Unis.

[1] Claude E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal, vol. 27, p. 379-423 et 623-656, Juillet et octobre 1948.

Historiquement la première application en traitement du signal concernait la question de la prédiction. Cela consiste à observer dans le temps ce qui se passe pendant quelques échantillons d'un signal donné (10, 20, 100, selon la mémoire dont on dispose) pour chercher à prédire ce qui va se passer pour ce signal dans le futur. La prédiction peut, par exemple, être utilisée pour des problèmes de contrôle. On peut aussi citer l'exemple du filtrage de Kalman, qui consiste à suivre une prédiction linéaire dans le temps, utilisé dans la mission Apollo pour la navigation jusqu'à la lune.

Pour des applications plus modernes, beaucoup de travaux ont été réalisés en acoustique : traitement de la musique ou de la parole. On peut citer en exemple les situations où l’effet cocktail entre en jeu, c'est-à-dire lorsque plusieurs personnes sont en train de parler les unes autour des autres. Il est possible de disposer plusieurs micros en différents lieux d’une pièce qui vont enregistrer les signaux émis, et ainsi voir chaque discours avec des amplitudes un peu différentes. Une question importante est de réaliser ce qui s’appelle la séparation de source, c’est-à-dire être capable de re-isoler chaque personne en train de parler. La séparation de source peut aussi être appliquée à un orchestre afin de séparer la contribution de chaque instrument. Ces méthodes ont données lieu depuis les années 1980 à énormément de travaux.

Une autre application récente importante concerne le domaine des télécommunications. L’explosion du téléphone portable ou de l’Internet mobile a renouvelé les questions posées sur l'enregistrement d'un signal de parole, mais aussi sa compression, sa transmission efficace et condensée sur des ondes hertzienne afin de faire fonctionner tous les téléphones mobiles actuellement en service.

Dans la partie liée au traitement des images, un renouveau important a eu lieu à partir des années 1980 grâce à l'apparition des méthodes dites temps-échelle basées sur la transformation en ondelettes. Ce renouveau est dû à la rencontre entre des chercheurs du domaine de la géophysique et des mathématiciens. Ils se sont rendu compte que des méthodes proposées par le géophysicien Jean Morlet (inventeur du mot « ondelette ») pouvaient se formaliser, ce qui a donné lieu à une révolution numérique de représentations des signaux et des images liées à la transformée en ondelettes. Ces travaux ont aboutit notamment, dans les années 2000, à intégrer dans le format jpeg 2000 une partie de représentation en ondelettes pour la compression des images.

Le principe de la transformée en ondelettes et compression d'une image est présenté dans les figures 1 et 2.

L'utilisation de la transformée en ondelettes va permettre de représenter une image initiale, donnée dans la figure 1 - a, sous la forme d'une approximation et de détails, figure 1 - b.

Les approximations sont obtenues par convolution par une fonction d'échelle (un filtre passe-bas), et les détails ou coefficients d'ondelettes par convolution par la fonction d'ondelettes, puis en réduisant le nombre de points par deux. Le principe est d'itérer ce processus et de transformer l'approximation courante en une nouvelle approximation ayant 2 fois moins de points. Sur la figure 1- b le processus est présenté pour une seule itération, donc à l'échelle 1.

Source - © 2013 P. Borgnat

a - Image initiale, b - Image tranformée en ondelette, échelle 1.

Figure. Illustration du principe du format jpeg 2000

On effectue trois fois de suite l'itération, ainsi on passe d'une approximation de 512 x 512 pixels et 3 types de détails (horizontaux, verticaux et diagonaux) à une approximation de 64 x 64 pixels et toujours 3 niveaux de détails donnés par les coefficients d'ondelettes. Sur la figure 2 - a et - b, on note qu'il y a beaucoup de vert, qui code les coefficients aux valeurs proches de 0. L'image peut alors être compressée dans le domaine de la transformée en ondelettes en mettant à 0 rigoureusement les petits coefficients. La figure 2 - a représente la transformée en ondelettes compressée lorque l'on garde 20 % des coefficients avant de reconstruire l'image. La différence entre l'image reconstruite figure 2 - c et l'image initiale est quasi-invisible.

Dans la figure 2 - b on a gardé seulement 4 % des coefficients avant de reconstruire l'image et l'on peut voir figure 2 - d que des artéfacts commencent à apparaître.

Source - © 2013 P. Borgnat

Illustration du principe du format jpeg 2000. Transformées en ondelettes de l'image initiale compressées en gardant 20 % des coefficients d'ondelettes (a,c) et 4 % des coefficients (b,d).

Figure. Transformation de l'image initiale en variant les coefficients d'ondelettes

Références:

• Ondes et ondelettes, Barbara Burke Hubbard. La saga d'un outil mathématique, 2000.
• A numerical Tour of Signal Processing, Gabriel Peyré.

Un dernier axe méthodologique partiellement lié aux ondelettes consiste à ne plus s’intéresser uniquement à des signaux qui sont stationnaires. Depuis les années 1970 les chercheurs se sont intéressés à des signaux qui évoluent dans le temps, entraînant un important développement de méthodes non-stationnaires qui permettent de suivre l'évolution dans le temps d’un signal. Typiquement, un discours est un signal acoustique non-stationnaire dans le temps qu’il faut modéliser par des méthodes spécifiques et en particuliers les méthodes de décomposition dites temps-fréquence.

Le premier outil pour le traitement d'un signal numérique ou analogique, vient de l’idée que l’on peut passer dans le domaine de Fourier (XIX^ème siècle), c’est-à-dire ne pas regarder uniquement ce qui se passe en temps ou en espace pour une image, mais regarder aussi quelles sont les fréquences qui sont présentes dans le signal ou dans l’image. Une bonne façon de réaliser la transformée de Fourier consiste à prendre en compte la taille d’une image ou la limite de durée d’observation d'un signal, et essayer d’estimer quelles fréquences sont présentes. Il est aussi possible de faire du filtrage pour éventuellement enlever des parties des composantes fréquentielles qui ne représentent que du bruit et donc pas l’information que l’on cherche à extraire. C’est le point de départ du traitement du signal et des images analogiques ou numériques.

Le deuxième outil permet d’aller vers ce que l’on fait actuellement quasiment exclusivement  : le traitement numérique. Cela consiste à transformer un signal analogique en un signal numérique. La première étape est l’échantillonnage où l'on va prélever des points du signal, en nombre discret, comptable, de façon à pouvoir les mettre dans une mémoire d’ordinateur qui ne fonctionne que de manière discrète. La base de l’échantillonnage est justement décrite dans l’article de Shannon de 1948.

Un exemple bien connu concerne l’échantillonnage au cinéma. On sait que la vue est très peu sensible à plus de 24 images par seconde, ce choix pour la fréquence d’échantillonnage permet de dire que l’on a une assez bonne représentation de la séquence video.

La deuxième étape est la quantification du signal. Les échantillons ne doivent plus prendre des valeurs continues mais des valeurs discrètes qui soient compatibles avec des formats de stockage sur l’ordinateur (valeur binaire, format flottant...), c'est-à-dire un nombre fini de valeurs possibles. La combinaison de ces deux opérations (échantillonnage et quantification) permet, étant donné une mesure analogique que l’on suit dans le temps, de la transformer en un signal numérique. Le point important est que l’on a des résultats théoriques qui nous disent à quel point le signal numérisé représente bien le signal analogique initial.

Ces deux outils sont les principaux. Il y en a un troisième que je ne développerai pas ici et qui consiste en l’implémentation pratique de ces méthodes, c'est-à-dire comment réaliser pratiquement ces étapes. Actuellement la partie électronique permet de numériser les signaux et par la suite l’informatique va faire le calcul effectif de la transformée de Fourier.

Puis, dans les développement récents il y a tous les outils modernes de traitement du signal programmés sur ordinateur, en passant dans des langages de programmation divers comme le C, le Python, le matlab…

On peut citer :

Des collègues de l'ENS de Lyon, chercheurs en traitement du signal, se sont investis dans des expériences qui visent à observer des ondes gravitationnelles (projet VIRGO en Italie, figure 3).

Source - © 2013 E. Chassande-Mottin

Figure. a - photo de l'intallation Virgo, b - schéma de l'interféromètre, L= 3 km

Ils se sont appuyés sur des méthodes temps-fréquence pour détecter la coalescence d’étoiles binaires. Les ondes gravitationnelles n'ont encore jamais été observées. Les prédictions théoriques, qui remontent à la théorie de la relativité générale d'Einstein, proposent que si deux étoiles tournent l’une autour de l’autre très rapidement dans la phase de coalescence (figure 4 - a), c’est à dire quand l’une va rentrer dans l’autre, le système, en tournant de plus en plus rapidement, va émettre une onde à une fréquence qui va augmenter dans le temps, figure 4 - b.

Ces signaux étant noyés dans du bruit, seule une approche de type temps-fréquence qui en donne une carte à deux variables (temps en abscisse, fréquence en ordonnée) permettrait de voir un excès d'énergie sur cette trajectoire de fréquence qui varie dans le temps, (ici entre 37,5 et 38 s) puisque certains points de l'image temps-fréquence sortent du bleu foncé, figure 4 - c.

Source - © 2013 E. Chassande-Mottin

Figure. a - système coalescent d'étoiles binaires, b - chirp : sinus à fréquence locale variable, c - carte temps-fréquence (la couleur code les valeurs, le bleu pour les faibles valeurs d'énergie à ce temps et à cette fréquence)

Pour cette expérience ils utilisent l'interféromètre Virgo (figure 3), pour tenter de détecter une déformation de l’espace-temps produite par l’onde gravitationnelle qui emettra une fréquence croissante avec le temps. Le traitement du signal intervient ici pour le suivi dans le temps de fréquence instantanée dans un environnement très bruité.

Référence :E. Chassande-Mottin

J’ai travaillé dans le domaine de la turbulence où l'on s'intéresse à l’évolution d’un fluide à grande vitesse. On va trouver une vitesse mesurée en un point qui est très erratique, très peu prédictible, aléatoire mais cet aléatoire se structure précisément avec des idées d’invariance d’échelles : des gros tourbillons qui se cassent en plus petits tourbillons etc. Et dans cet exemple-là le traitement statistique du signal intervient en particulier avec les outils de temps-échelle pour estimer les lois d’échelle sur les vitesses.

Le traitement statistique des signaux peut aussi être utilisé pour étudier des phénomènes de type marche aléatoire, comme un polymère soumis à des fluctuations de température.

Si on s’éloigne de la physique, un domaine actuel point de rencontre entre traitement du signal, informatique et traitement statistique, est l’étude des réseaux et graphes de terrain. On a de plus en plus de moyens pour mesurer des données relationnelles entre des gens ou des objets. On parle beaucoup du web social. Avec ces différentes communautés, il y a un point de convergence pour chercher à étudier des objets qui ne sont pas simplement décrits par des signaux dans le temps ou des images (en 2 ou 3D) mais qui sont des données relationnelles que l’on peut représenter par des graphes.

L'analyse de graphes de terrain est à la rencontre de nombreuses communautés : des chercheurs en algorithmique des réseaux, traitement statistique, physique statistique qui viennent avec leurs outils théoriques, des chercheurs en sciences humaines (sciences sociales en particulier) qui posent les bonnes questions sur les données, des experts pour enregistrer des données numériques tels que des informaticiens des réseaux et télécommunications. Cela renouvelle un champ interdisciplinaire qui permet d’appliquer ces outils vers des objets moins classiques.

Dans notre groupe nous avons réalisé un travail d’analyse statistique sur les communications par Internet. Dans les années 1990 suite à l’explosion des réseaux de communications entre ordinateurs et en particulier l’Internet et le web, le nombre de terminaux connectés s’est démultiplié. Les chercheurs du domaine se sont rendu compte que même si ce système est complètement artificiel car construit par l’homme, le nombre de terminaux connectés est tellement grand que les flux de communication ne peuvent plus être bien compris ni modélisés.

Par exemple, on se sait plus répondre à la question de la demande attendue en télécommunication à un instant t de la journée. Puisque l’on ne sait plus modéliser ces réseaux à cause de leur trop grande taille, le traitement statistique du signal intervient ici, en proposant de réaliser des mesures sur ces réseaux afin d'élaborer des modèles prédictifs. Certes ces modèles ne permettent pas de comprendre exactement ce que fait chaque personne sur le réseau, mais ils permettent efficacement d’obtenir des idées du type de trafic (dense, large), de détecter des anomalies sur le réseau, des intrusions, des pannes, ou encore des évènements inattendus (par exemple le phénomène de flash crowd). Et ce sont des choses qui impactent énormément les opérateurs de télécommunications.

Une autre application plus récente est l’analyse des déplacements en Vélo’v, service de vélos de la ville de Lyon.

Depuis une petite dizaine d’années les chercheurs issus de sociologie, de l’étude des transports et de l'étude des données ont voulu reprendre les questions sur la mobilité des personnes à l'aide des traces numériques des déplacements.

Depuis 4-5 ans, à Lyon, un groupe de travail a été monté avec des collègues en sociologie, en géographie, en économie des transports et en informatique sur l’analyse des déplacements en Vélo’v, figure 6 - a. Après avoir rencontré le Grand Lyon et l’opérateur Cyclocity (JC Decaux), nous avons pu lancer des analyses sur les déplacements pour essayer de comprendre les rythmes dans l’espace et dans le temps de l’utilisation des Vélo’v.

Source - © 2013 P. Borgnat

Figure. a - Réseau Vélo'v, b - évolution du nombre de locations horaires, c- profil moyen de locations horaires

La figure 6 - b présente l'évolution du nombre de locations horaires par heure (gris), jour (rouge) ou semaine (noir) sur les 2 premières années de fonctionnement du Vélo'v. De ce signal temporel on en déduit un modèle de profil moyen de locations horaires (figure 6 - c).

Les stations Vélo'v sont déployées uniformément dans l'espace de la ville (figure 7 - a).

Source - © 2013 P. Borgnat

Figure. a - Carte des stations Vélo'v, b - flux moyens de Vélo'v inférés, c - réseau de connections entre stations le lundi matin, d - réseau de connections entre stations le samedi après-midi

On peut mener une étude spatiale et temporelle de la dynamique des mouvements en Vélo'v. Sur la figure 7 - b, on a inféré quels étaient les flux moyens de Vélo'v dans les différentes rues de Lyon. Sur les figures 7 c et d, on représente sous forme de réseau les connections entre stations Vélo'v les lundis matins (c) et samedi après-midi (d); les couleurs indiquent des groupes de stations voyant beaucoup de trajets en Vélo'v entre elles à ce moment de la semaine. On peut constater un mode d'utilisation différent le samedi, où par exemple apparaît un groupe des stations du Parc de la Tête d'Or qui connecte aussi toutes les stations suivant les berges du Rhône et celles près de l'Hôtel de Ville. Ces cartes sont obtenues en utilisant des outils d'analyses de réseaux dynamiques venues du traitement du signal.

La problématique est là-encore la même que dans l'exemple des communications sur Internet, ou pour l'étude des propriétés de la turbulence, c’est-à-dire que l’on a énormément de données qui arrivent à grande vitesse. Il n'est pas possible de regarder tous les détails. Il faut alors mettre en place des procédures systématiques automatisées qui vont permettre de réduire le bruit (ici les fluctuations) et de tenir compte des évènements extraordinaires : incidents sur le réseau de bus, de Tram ou de métro qui va se répercuter par une croissance du trafic des Vélo’v, comportement des usagers en vacances ou en période scolaire, incidence des jours de pluie ou de beau temps...

Il faut donc être capable de mettre en regard tous ces facteurs explicatifs et cela demande de faire du traitement statistique de signaux de grandes dimensions : imaginer tous les déplacements possibles de toutes les stations Vélo’v.

Un objectif scientifique est de comprendre comment les usagers se sont emparés du Vélo’v, pour quels usages et quels motifs de déplacement.

Le deuxième objectif qui est plutôt celui de l’opérateur et du grand Lyon est d’améliorer le fonctionnement du Vélo’v, c’est-à-dire être capable de répondre à une question du type : si on ouvre une nouvelle gare (comme la gare Jean Macé dernièrement), ou alors si un nouveau quartier se peuple un peu plus (comme celui des Confluences à Lyon), est-on est capable de trouver la meilleure façon de redéployer les bornes de vélos pour répondre aux nouvelles demandes.

Références:

• Modélisation statistique cyclique des locations Vélo'v à Lyon, Pierre Borgnat. 22e Colloque sur le Traitement du Signal et des Images. GRETSI-2009, Dijon.
• A dynamical Network View of Lyon's Vélo'v Shared Bicycle System, Pierre Borgnat, dans Dynamics of Time-Varying Networks (N. Ganguly et al.ed.), 2013.
• Characterizing the speed and paths of shared bicycle use in Lyon, Pablo Jensen et al., Transportation Research Part D, vol. 15, no 8, p.522-524, 2010.

Cette dernière application s'éloigne du traitement du signal traditionnel. On y retrouve cependant un trait commun : la prise en compte des évolutions et des dépendances dans le temps des signaux mesurés.