Théorie de l'information

Définitions et propriétés élémentaires de quantité d'information apportée par la réalisation d'un événementet l'entropie (au sens de Shannon) d'une v.a. (variable aléatoire) simple entropie conditionnelle d'une v.a., information mutuelle de deux v.a.
Théorie de codage, déchiffrabilité et ambiguïté, spontanéité de codes, Algorithme de Sardinas et Patterson, condition nécessaire et suffisante de Kraft-MCMillan pour l'existence d'un code déchiffrable avec les mots de longueurs données
Optimalité de codage (de v.a.), liens entre l'entropie d'une v.a. et la longueur moyenne des mots de code associé (théorèmes de Shannon), Algorithme de Huffman
Transmission d'information par les canaux bruités sans mémoire, quelques canaux importants, capacité d'un canal, calcul de capacité dans les cas simples, problème de décodage, schéma de décodage de borneuniforme d'erreur, théorème fondamental de Shannon sur la possibilité d'une transmission correcte avecprobabilité arbitrairement grande et de taux inférieur à la capacité (sans démonstration)

Probabilités discrètes

1. Généralités sur la théorie de l'information
2. Théorie du codage
3. Codes optimaux, algorithme de Huffman
4. Introduction aux canaux bruités, capacité

documents autorisés