Processus aléatoire et théorie de l'information

De nombreux phénomènes aléatoires se manifestent dans la nature : c'est le cas des fluctuations de la température, de la pression atmosphérique, etc. En électronique et en télécommunications, l'étude des processus aléatoires est utile notamment dans le contexte des communications numériques certains signaux sont impossibles à caractériser a priori. L'exploitation des processus aléatoires est aussi à la base de nombreuses approches en traitement du signal, que ce soit pour caractériser le contenu fréquentiel du signal (analyse spectrale), ou pour débruiter, coder et tatouer un signal de parole. Plus généralement, les sources d'information telles que le son, les images sont aléatoires et varient dans le temps.
Le cours de processus aléatoire/théorie de l'information vise donc à introduire les propriétés et les outils de traitement des phénomènes variant aléatoirement dans le temps. Il sert notamment pour les enseignements de traitement du signal et d'automatique.

probabilités

Partie Processus aléatoire :


1/Caractérisation des processus aléatoires :

Notion de moyenne,

illustrations d'un processus aléatoire dans le cas discret,

Densité de probabilité d'ordre supérieur,

propriétés des fonctions d'autocorrélation de d'autocovariance,

stationnarité et ergodicité


2/Chaînes de Markov Rappels sur la théorie des graphes orientés, chaînes de Markov à temps discret


Partie Théorie de l'information

1/ Estimation quantitative de l'information

Etude des sources: Entropie,entropie mutuelle et conditionnée,
Information mutuelle

Cas des sources ergodiques et markoviennes


2/ codage entropique

Redondance des symboles et des messages

Longueur moyenne d'un code, longueur optimale

Code de Shannon-Fano

Code de Huffman

support de cours