什么是“熵”？

一、什么是“熵”？——用生活例子看懂核心

“熵”本质上是衡量“混乱程度”或“不确定性”的指标：混乱程度越高、可能性越分散，熵就越大；反之越有序、可能性越集中，熵就越小。

举个最直观的例子：

你房间里的书整齐摆放在书架**（只有1种固定状态），混乱度极低 → 熵很小；**

书被扔得满地都是（可能有无数种摆放位置），混乱度极高 → 熵很大。

再比如天气：

如果明天“100%下雨”（只有1种结果），不确定性为0 → 熵=0；

如果明天“50%下雨、50%晴天”（2种等概率结果），不确定性高 → 熵比0大；

如果明天“25%下雨、25%晴天、25%阴天、25%下雪”（4种等概率结果），不确定性更高 → 熵比上一种情况更大。

二、熵的计算方法——简单公式+步骤拆解

核心公式（针对“离散事件”，比如抛硬币、天气）：

假设一件事有 n 种可能结果，每种结果的概率是 p₁, p₂, ..., pₙ（所有概率加起来=1），那么熵 H 的计算公式是：