L'entropia condicional és una extensió del concepte d'entropia de la informació en processos on intervenen diverses variables aleatòries no necessàriament independents.
Definició Suposem que és una variable aleatòria sobre un espai de probabilitat i sigui un esdeveniment. si pren valors sobre un conjunt finit , Es defineix de manera natural l'entropia condicional de donat com:De la mateixa manera si és una altra variable aleatòria que pren valors es defineix l'entropia condicional com:Es pot interpretar l'anterior magnitud com la incertesa de donat un valor particular de , Amitjanat per tots els valors possibles de ..
Propietats Trivialment s'esdevé que si i són variables independents. Donades dues variables que prenen un conjunt finit de valors: Com a conseqüència de l'anterior i que , Es té: .
Vegeu també Entropia de Shannon
Referències
Bibliografia Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford,
Categoria:Comunicació