Part4


060 — 利用者

所で、エントロピーは情報だと言う認識は、既に一般的ですか?


061 — ChatGPT

はい、エントロピーと情報が本質的に結びついていることは、現在では物理学の標準的な認識です。ただし、

エントロピーそのものが情報である

と言い切るより、

エントロピーは、巨視的な情報だけでは区別できない微視的状態の数、または微視的状態についての不確かさを測る量である

と表現する方が正確です。

ボルツマンの式は、

$$ S=k_{\rm B}\ln\Omega $$

です。

$\Omega$ は、観測された温度、圧力、体積などと両立する微視的状態の数です。例えば「温度300 K、体積1リットル」と分かっていても、全分子の位置と速度は分かりません。その条件と両立する分子配置が多いほど、エントロピーが大きい。

情報理論では、シャノン・エントロピーを

$$ H=-\sum_i p_i\ln p_i $$

と定義します。統計力学のギブス・エントロピーは、

$$ S=-k_{\rm B}\sum_i p_i\ln p_i $$

です。数式としてほぼ同じです。