L'entropia come informazione

C’è un modo molto concreto di dare un numero all’ignoranza sul microstato: contare quante domande sì/no servono, in media, per individuarlo. Questa idea lega l’entropia della termodinamica alla misura dell’informazione.

Immagina un sacchetto con 3 palline: 2 blu e 1 rossa, tutte identiche al tatto. Quanti microstati ha questo macrostato? Sono i modi di disporre le 3 palline in 3 posizioni distinguibili:

$\Omega = \frac{3!}{2!\cdot 1!} = 3$

Per scoprire quale pallina sia in quale posizione servono in media $\log_2 3 \approx 1{,}58$ domande sì/no (i logaritmi in base 2 contano proprio il numero di domande binarie).

Con 6 palline (4 rosse, 2 blu) il numero di microstati cresce:

$\Omega = \frac{6!}{4!\cdot 2!} = 15 \qquad \log_2 15 \approx 3{,}9 \text{ domande}$

L'entropia come numero di domande

Più microstati ci sono, più domande servono per individuare quello vero: l’entropia è, in questo senso, la quantità di informazione che ci manca sul sistema.

Quest’idea — l’entropia come numero di domande necessarie — è la stessa che oggi usiamo per misurare la sicurezza di una password: una password di 4 cifre ha “entropia informatica” $\log_2 10^4 \approx 13{,}3$ bit. È sorprendente che la termodinamica del XIX secolo e la teoria dell’informazione del XX secolo, nate per scopi completamente diversi, siano così profondamente connesse: in entrambe l’entropia misura quanto non sappiamo su un sistema con molte configurazioni possibili.

Collegamenti

Argomenti: Entropia e secondo principio Concetti: Entropia Competenze: Interpretazione micro-macro

Esercizi collegati: Esercizio svolto — il caffè si raffredda · Doccia calda: ΔS dell’universo · Calore dal caldo al freddo: dimostrazione