Entropie – La théorie de l’information définit la quantité d’information d’un message comme le nombre minimal
de bits nécessaires pour coder toutes les significations possibles de ce message. Formellement, l’entropie en
bits d’un message M est H(M) = Log2 (n) = Logx(n) / Logx(2), où n est le nombre de significations différentes
que peut prendre le message.
