thumb|200px|Josiah Willard Gibbs
În mecanica statistică, algoritmul Gibbs, introdus de J. Willard Gibbs în 1902, este un criteriu pentru alegerea unei distribuții de probabilitate pentru al unui sistem termodinamic, prin minimizarea valorii medii a logaritmului probabilității
sub condiția ca distribuția de probabilitate să satisfacă un set de constrângeri (de regulă valori așteptate) corespunzătoare mărimilor macroscopice cunoscute.
În 1948, Claude Shannon a interpretat opusul acestei mărimi, pe care a numit-o entropie informațională, ca o măsură a incertitudinii unei distribuții de probabilitate. În 1957, a arătat că această mărime poate fi interpretată ca informație lipsă despre sistem și a generalizat algoritmul Gibbs la sisteme în afara echilibrului, formulând și dezvoltând cadrul .
Fizicienii numesc rezultatul aplicării algoritmului Gibbs corespunzătoare constrângerilor impuse, în special pentru sisteme deschise, atunci când sunt cunoscute energia medie și numărul mediu de particule (vezi și ).
Rezultatul general al algoritmului Gibbs este o distribuție de probabilitate de entropie maximă. Statisticienii identifică astfel de distribuții ca aparținând .
Note
Categorie:Mecanică statistică Categorie:Entropie informațională