Shannon et la théorie de l'information

Olivier Rioul 1, 2
1 COMNUM - Communications Numériques
LTCI - Laboratoire Traitement et Communication de l'Information
Abstract : Nous fˆetions en 2016 le centenaire de la naissance de Claude Shannon, un math ́ematicien et ing ́enieur am ́ericain consid ́er ́e comme le “p`ere de l’Aˆge de l’information”. Son nom ne vous dit peut-ˆetre pas grand chose : Hollywood a glorifi ́e d’autres h ́eros scientifiques comme Alan Turing ou John Nash. Shannon, lui, a eu une vie rang ́ee, modeste... et surtout ludique : adepte du monocycle et du jonglage, il s’est amus ́e `a construire des machines plus ou moins loufoques. Dans le mˆeme temps, il a fait des avanc ́ees th ́eoriques d ́ecisives dans des domaines aussi divers que les circuits logiques, la cryptographie, l’intelligence artificielle, l’investissement boursier, le wearable computing. . . et surtout, la th ́eorie de l’information. Son article fondateur de 1948 rassemble tellement d’avanc ́ees fondamentales et de coups de g ́enie que Shannon est aujourd’hui le h ́eros de milliers de chercheurs, lou ́e presque comme une divinit ́e. On peut dire, sans exag ́erer, que c’est le math ́ematicien dont les th ́eor`emes ont rendu possible le monde du num ́erique que nous connaissons aujourd’hui. Dans cet expos ́e on d ́ecrit ses contributions les plus marquantes : le paradigme de Shannon; les mod`eles probabilistes des donn ́ees; l’unit ́e logarithmique d’information; les limites de performances; l’entropie, l’entropie relative et la d ́efinition math ́ematique de l’information; la technique du codage al ́eatoire; la formule de capacit ́e. On va jusqu’`a pr ́esenter les id ́ees des d ́emonstrations des premier et second th ́eor`emes de Shannon avec des moyens ́el ́ementaires. Si le temps le permet, on abordera une preuve r ́ecente de l’in ́egalit ́e de la puissance entropique dont Shannon a eu l’intuition g ́eniale
Complete list of metadatas

https://hal.telecom-paristech.fr/hal-02300673
Contributor : Olivier Rioul <>
Submitted on : Sunday, September 29, 2019 - 2:39:07 PM
Last modification on : Thursday, October 17, 2019 - 12:36:59 PM

Identifiers

  • HAL Id : hal-02300673, version 1

Citation

Olivier Rioul. Shannon et la théorie de l'information. Premier Congrès Franco-Marocain de Mathématiques Appliquées, Apr 2018, Marrakech, Maroc. ⟨hal-02300673⟩

Share

Metrics

Record views

34