概率与统计

掷一枚骰子，下一次会是几？我们不知道。但如果六个面公平，每面出现的概率都是 1/6。不知道一次的结果，并不等于对这件事一无所知。

把结果记成随机变量 X：它可能取 1 到 6。给每种结果一个概率，就得到离散概率分布。概率都非负，所有可能结果的概率加起来等于 1。

长期重复时，频率可以帮助估计概率；但一次掷出 6 不会推翻 1/6 的模型，也不能仅凭六次试验就要求每面恰好一次。

现在有人告诉你：「这次结果是偶数。」你还会给 1、3、5 分配概率吗？当然不会。候选结果只剩 2、4、6，它们在公平骰子下各占 1/3。

竖线读作「在……条件下」。知道上下文后，下一个词的概率 P(词|前文)，与不看前文的 P(词)，正是两张不同的地图。

如果知道 B 不改变 A 的概率，就称 A 与 B 独立，此时 P(A∩B)=P(A)P(B)。两次独立掷骰子可以相乘；同一次的「是偶数」和「等于 6」却不能当作独立事件。

如果连续掷很多次，把所有点数加起来再除以次数，平均值通常会靠近 3.5。3.5 不在任何一个骰子面上，却是长期平均的目标。

期望就是按概率加权的平均。它不是最常出现的结果，也不是下一次必须出现的结果。回想向量加权和：规则相同，只是这次权重来自概率。

样本均值则是已经观察到的数据的平均。有限次采样会偏离期望；在独立同分布、期望存在等条件下，样本变多，平均值会逐渐稳定。

有两种骰子：A 公平地出 1 到 6；B 只出 1 或 6，各占一半。两者期望都是 3.5，但 B 永远离平均值很远，波动明显更大。

为什么要平方？直接平均正负偏差会抵消，平方让两边都算作波动。标准差再开根号，回到原来的单位：身高的标准差仍用厘米，而方差用平方厘米。

切换两种均值相同的分布，看方差如何变化。再加一个条件，看剩余概率怎么重新分配。点击采样，比较有限样本的均值和理论期望；也可以自定义权重，试试某个条件完全不可能发生时会怎样。

抽样时我们按分布随机选择一个结果，而不是永远选概率最大的那一个。语言生成也有类似区分。至于「这张分布整体有多难猜」以及「模型的地图画错了多少」，下一课交给熵与交叉熵。