Théorie de l'information - 3AMMA331

Objectif(s)

Connaître les fondamentaux de la théorie de l'information, du codage source (compression de données) et du codage canal (détection et correction d'erreurs), domaine en très forte évolution ces dernières années, pour pouvoir aborder ultérieurement les techniques les plus récentes.

Contenu(s)

• Théorie de l'information
  • Mesure de l'information
  • Sources, sources sans et à mémoire, source de Markov, extension d'une source, débit d'une source
  • Entropie, entropie mutuelle, entropie conditionnelle
  • Canaux de transmission, matrices de transition
  • Canaux sans perte, déterministe, sans bruit, binaire symétrique
  • Information mutuelle, définition de la capacité d'un canal
  • Canaux à bruit blanc additif et capacité
  • Deuxième théorème de Shannon (codage canal)
• Introduction au codage source
  • Inégalité de Kraft, théorème de Mac-Millan
  • Longueur moyenne, efficacité et redondance d'un code source
  • Premier théorème de Shannon
  • Codes de Shannon-Fano et de Huffman
  • Code de Lempel-Ziv
• Codes linéaires en blocs
  • Matrice génératrice, matrice de contrôle de parité
  • Distance et poids de Hamming
  • Code à répétition, code de parité, code de Hamming, code de Hamming étendu
  • Syndrome, décodage
• Codes cycliques
  • Représentation polynomiale
  • Polynôme générateur, polynôme de contrôle de parité, matrice génératrice
  • Principe des codeurs et décodeurs, décodeur de Meggit
  • Exemples de codes : code BCH, code de Golay, code Reed-Salomon

Mathématiques de premier cycle, combinatoire, probabilités et traitement du signal